最近誤差逆伝搬法を用いたニューラルネットについて
プログラムを組んで実装してみようと思ったのですが
あまり理解できていない部分があるのでよろしくお願いします。
私が作りたいのはフォントの違う数字画像の認識を
3つの特徴量(a,b,c)、3層のニューラルネット、
閾値関数にシグモイド関数、教師有り学習で作りたいのですが、
私の理解があっているかわからないのでご指摘をお願いします。
・入力層は特徴量が3つなのでニューロンは3つ(a,b,cを入力)。
・中間層は任意でいいということなので10つ。
・出力層は数字が0~9までなので10つ。
教師ベクトルの与え方なのですが
出力層(0~9番とします)において各数字に対応する番号のニューロンは1、それ以外は0、
つまり
出力層の0番の教師ベクトルは{1,0,0,0,0,0,0,0,0,0}
1番目の教師ベクトルは{0,1,0,0,0,0,0,0,0,0}
9番目の教師ベクトルは{0,0,0,0,0,0,0,0,0,1}
(シグモイド関数のため正確には0、1にはなりませんが・・)
とあらかじめ決めておき、
教師ベクトルの学習の際は
0の画像ならば出力層は{1,0,0,0,0,0,0,0,0,0}^T
となるように誤差逆伝搬を用いて中間層・出力層の重みの修正を行い、
同様に1~9の教師画像も対応する出力の番号以外0となるように
学習を行い、
識別を行いたい画像の特徴量を入力した際は
重みの修正は行わず
10この出力の誤差が最小となる教師ベクトルが第一候補、
誤差が最大となる教師ベクトルが第10候補
ということでよろしいのでしょうか?
でもそうすると重みの値が一番最後に学習した教師ベクトルに
対応する重みになっているから
ニューラルネット自体を10個つ用意する必要が
ありますよね・・・?
いま一つ理解できていないのでよろしくお願いします。
No.2ベストアンサー
- 回答日時:
>0~9のどの教師画像の特徴を与えても
>0なら{1.0.0.0.0.0.0.0.0.0}
>1なら{0.1.0.0.0.0.0.0.0.0}
>2なら{0.0.1.0.0.0.0.0.0.0}
>3・・・・
>となるような重みを見つけるということでしょうか?
>(それだと1つのネットワークでいけそうですが・・・・)
その通りです。
すべてのパターンを識別できる重みで構成されるネットワークを作成することがニューラルネットワークの目標です。
むしろ、仮に10個それぞれのネットワークを作ったとして、
実際に識別する際にどのネットワークを使うかがわかっている時点で、答えがわかっていませんか?
>逆伝搬による重みの修正は教師の学習の時だけで
>実際に識別する際には教師学習の時に見つかった理想の重みを
>用いるので修正は行わないということでいいのでしょうか?
そうです。識別時に学習は修正は行いません。っていうかむしろできないです。
これも同様に、実際に識別する際に、教師とする答えの値がわかっているなら識別する意味はないですよ。
No.1
- 回答日時:
誤差逆伝播法の計算式を良く見てみてください。
一回の逆伝播では、ニューロンの出力値は完璧になりません。
複数回学習を繰り返すことで、各ニューロンの入力と出力のパターンが固定されていきます。
つまり何回も学習しなければ、入力値の特徴を出力に反映させるネットワークは構成されません。
できれば0~9をランダムな順番で何周も学習させるのが一番だと思います。
人間が何事も一回で覚えられないのと一緒です。
いろんなパターンから特徴を導き出せるようにしましょう。
ご回答ありがとうございます。
ええと私が思っていたのは
0の教師画像の特徴3つを入力層に与えた場合
都合よく出力が{1.0.0.0.0.0.0.0.0.0}となるように
重みを出力層→中間層で修正し、その重みを使ってもう一度
出力を計算し、出力が{1.0.0.0.0.0.0.0.0.0}にならなければ
また出力層→中間層と重み修正をし・・・・
と繰り返すと思っていたのですが
ひとつの教師入力に対して理想の出力が得られる重みを考えるのではなく、
0~9のどの教師画像の特徴を与えても
0なら{1.0.0.0.0.0.0.0.0.0}
1なら{0.1.0.0.0.0.0.0.0.0}
2なら{0.0.1.0.0.0.0.0.0.0}
3・・・・
となるような重みを見つけるということでしょうか?
(それだと1つのネットワークでいけそうですが・・・・)
質問を重ねてしまいますが
逆伝搬による重みの修正は教師の学習の時だけで
実際に識別する際には教師学習の時に見つかった理想の重みを
用いるので修正は行わないということでいいのでしょうか?
勉強不足で申し訳ありませんがよろしくお願いします。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
何々の手前 という言葉の使い方。
-
「~の手前」使い方 その2
-
教師を親に持つ子供の性格
-
公立の中学校教員がFBを使って...
-
この内容を敬語を使って書き直...
-
教師って浮世離れしてますか?
-
知能、創造性の高い人とはどう...
-
高3男です。 薬剤師と理科教師...
-
理想の教師
-
担任も副担任も給料は変わらな...
-
いつも明るくポジティブだと思...
-
中学の教師です。 最近「やる気...
-
教師が生徒を抱きたいと思った...
-
先生が生徒に対して「お前」と...
-
高校の男性教師と、シたいです...
-
中学生です。 同じ学校の10歳上...
-
小学校の教諭が嫌いです。 人の...
-
教師の独身(男)の方は性欲をど...
-
偏差値の高い公立高校の教師は...
-
昔、体罰をしていた教師が校長...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
何々の手前 という言葉の使い方。
-
教師って浮世離れしてますか?
-
「~の手前」使い方 その2
-
在日韓国人の方で教師をしてい...
-
高3男です。 薬剤師と理科教師...
-
担任も副担任も給料は変わらな...
-
教師を親に持つ子供の性格
-
教師と保護者の不倫。
-
教師のあるべき姿について
-
高校1年生です。夏休みの課題で...
-
英語科主任はChief of English ...
-
教師と銀行員はどっちが将来性...
-
女教師の読み方
-
男性教師に聞きたいです これ言...
-
親が教師である家庭に育った場...
-
灼眼のシャナ 第4話 「惑いの...
-
不倫の多い職種
-
あなたのトラウマを教えてください
-
超巨乳女子高生はいますか?
-
ひろゆきのYouTubeでどうしても...
おすすめ情報