最近ニューラルネットについて勉強しています。
特に準ニュートン法での学習について考えています。
ある日手に入れたデータで学習したところ、誤差があまり小さくならなかったので(何度も学習を試し、ノイズ混入も試したので、ローカルミニマムに引っかかっている感じではないと思います)、中間層のユニット数を莫大に大きくしました(最初試したときの100倍以上です)。
しかし誤差が全然変らない、という結果が出ました。
このように、自由度を上げても学習しきらないことってあるんでしょうか。もしあるのなら、その原因は何でしょうか。また、学習しない原因となっている邪魔なデータを探す方法ってあるのでしょうか(出来れば視覚的に見えると嬉しいです)。
宜しくお願い致します。
No.2ベストアンサー
- 回答日時:
中間層をたっぷり取ってメチャクチャ過剰学習させても、また多層にしても、なお出力を教師信号と一致させられないということは生じうる。
その残差が特に大きいのはどんな入力であるか、というのをリストアップしてみれば、何か見つかるかも。というのは、極めて近い(あるいは全く同じ)入力に対して全然違う幾つかの出力を要求すれば、当然残差が大きくなっちゃう。言い換えれば、(汎化能力のある)滑らかな関数によって出力の違いを説明するには入力ベクトルの情報が決定的に足りない(肝心な成分が抜けている)ってことですね。
ところで、準ニュートン法は、どこから出発するかによって挙動が変わるのが難点であり、だから、大体このあたりで収束しそうだなという所までは他の(のろくても着実な)手段で探る方が良いかも。
返答有難うございます。
入力が同じなのに出力が異なるといったパターンが含まれていたようです(扱うデータの特性上、そうなっちゃってるみたいです・・・)。
準ニュートンは初期値にやっぱり依存しすぎますよね。最初は最急降下か何かであたりをつけて、ある程度行ったら切り替え、みたいな方が良いのでしょうか・・・
No.1
- 回答日時:
結局の所、
ローカルミニマムに引っかかっている
んです。
3層のモデルですか?
ニューラルネットワークは、実用上は、なかなか、うまく学習することは難しいです。はっきり言って、バックプロパゲーションを超えるうまい方法は知られていません。
とくに、入力データの非線形が強い場合には、相当難しいです。
中間層のニューロンを増やすと、自由度が増えるので、逆に学習がうまくいかない原因にもなります。
もちろん、中間層に十分な数のニューロンがないと、そもそも学習不能になる可能性もあります。
これが原因で、機械学習におけるニューラルネットワークの適用はSVMなんかに押されて一時期かなり下火になりました。
ところが、最近、強い非線形のデータを学習したい場合には、3層モデルで中間層のニューロン数を増やす、のではなく、多層(10層など)のネットワークにするという話が出て、機械学習におけるニューラルネットワークが復権してきています。
入力に近い層から各層毎に学習していく、Deep Learningという手法なんかが有名です。
(「googleの猫認識」で有名)
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 大学受験 娘の大学受験勉強 6 2022/06/30 19:58
- 高校 高校受験に向けて 私は今中学2年生です。 偏差値70以上の高校に行きたいと思っています。 ですが今の 5 2023/05/16 21:51
- 統計学 統計学の質問【帰無仮説】 高校の新学習指導要領では、統計的仮説検定の基本的な考え方が必修単元となった 5 2023/05/23 21:00
- その他(職業・資格) データ分析実務スキル検定(Citizen級)学習方法 1 2022/12/18 18:44
- 大学受験 高3。模試についてです。 通信制高校で中学は不登校。いままでは母が病気気味だったためバイトして家のこ 1 2022/08/01 19:47
- 神経の病気 前頭葉が壊死してしまった人でも前頭葉を鍛えるトレーニングの効果は出ますか? 5 2022/06/30 03:40
- 専門学校 小論文の添削をお願いします。 4 2022/10/28 10:30
- 高校受験 3ヶ月で偏差値5あげることはできますか? 中3 私は今年の6月に初めて模試を受け偏差値54、2回目の 0 2022/10/26 15:43
- その他(学校・勉強) 1日2時間以上、勉強できる集中力ってどうつけるんでしょうか??? 6 2022/05/25 21:35
- 大学院 早稲田 政経 から 早稲田法科大学院 2 2023/03/01 02:00
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
アイドルの写真について
-
「未使用」と「不使用」ってど...
-
ネットカフェから、メールでき...
-
ファイザーやモデルナは当時は...
-
Excelの“並び替え”で文字コード...
-
3Dプリンターを使う場合 パソコ...
-
スマホアプリのトラッキング 個...
-
エクセルのグラフのデータ系列...
-
PCの内蔵メモリにデータは残る?
-
ワードの差し込み印刷のデータ...
-
Excel Webクエリ
-
独身男性は既婚男性よりも不健...
-
高速フーリエ変換でデータ数が...
-
職務質問で聞かれたデータはど...
-
相関行列作成時の数字以外のデ...
-
データ用HDDの別のPCへの乗せ替え
-
差し込み印刷がうまくできません
-
排他的論理和の問題
-
カノニカル通信と非カノニカル...
-
SSDのフオーマットについて
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
「未使用」と「不使用」ってど...
-
PCの内蔵メモリにデータは残る?
-
日本通信の当月利用データ量は...
-
高速フーリエ変換でデータ数が...
-
3Dプリンターを使う場合 パソコ...
-
ネットカフェから、メールでき...
-
Excel Webクエリ
-
パレート図等で「N=100」とあ...
-
データeSIMのこと
-
XMLデータってなんですか?
-
Excelの“並び替え”で文字コード...
-
エクセルのグラフのデータ系列...
-
職務質問で聞かれたデータはど...
-
プロ野球の球団別の残塁数を載...
-
データ用HDDの別のPCへの乗せ替え
-
データのレプリカってなんですか?
-
2年ほど放置したあつ森を再開す...
-
差し込み印刷がうまくできません
-
エクセルで縦に並んだデータを...
-
ワードの差し込み印刷のデータ...
おすすめ情報