![](http://oshiete.xgoo.jp/images/v2/pc/qa/question_title.png?8acaa2e)
準ニュートン法の学習方法の中に出てくるヘッセ行列の逆行列の近似行列Hについてなんですが、よく最適化についての本に更新式が載っているのを見るのですけど、(DFP法やBFGS法)アルゴリズムの中に探索方向の計算についてあるんですが、4層のニューラルネットに準ニュートン法を導入すると、それぞれ入力層-中間層1と中間層1-中間層2と中間層2-出力層の3つの所でそれぞれ重みwや微分式∇f(w)の更新を行うと思うのですが、このときにHをそれぞれの層間で探索方向を用いて次のHを更新するみたいですが、このHはよく初期値として単位行列を設定しているようなのですが、これはそれぞれの層のユニット数を同じにする必要とかあるのでしょうか?例えば中間1-2層のユニット数は10個とか
A 回答 (4件)
- 最新から表示
- 回答順に表示
No.4
- 回答日時:
多層ニューラルネットなので, そのようにわけて考えるのが本来のやりかただろうと思います.
まぜて (150+900+930)×(150+900+930) とすれば性能はいいと思いますが, なんか邪道っぽい気がします.
No.3
- 回答日時:
こっそり #2 で書いてありますが, ヘッセ行列の次数は「重みの個数」と一致します (行列 H の次数も当然に一致する).
例えば, 「ある層に 5個, 次の層に 10個のユニットがあり, すべてのユニット間に結合がある」場合を考えてみます. この場合には 2つの層の間に 50個の結合があり, そのすべての結合に対して重みがありますからヘッセ行列は 50×50 の行列となります.
もちろん「あるユニットとあるユニットの間には結合がない」というようなときには (それに対応する重みも存在しないので) ヘッセ行列はもっと小さなものとなります.
ということで, 教師データの個数とも無関係です.
この回答への補足
度々すいません。。お礼に書いてあるのでは無く、入力層と中間層1の間で重み(w1)が150個なので、ヘッセ行列(H1)は150×150の行列で、中間層1-中間層2の間で重み(w2)が900個だからヘッセ行列(H2)は900×900の行列,中間層2-出力層は重み(w3)が930個より、ヘッセ行列(H3)は930×930の行列である。みたいに分けて行うのでしょうか?
補足日時:2009/12/28 19:29<例えば, 「ある層に 5個, 次の層に 10個のユニットがあり, すべてのユニット間に結合がある」場合を考えてみます. この場合には 2つの層の間に 50個の結合があり, そのすべての結合に対して重みがありますからヘッセ行列は 50×50 の行列となります.
やはりそっちでしたか。。自分がやっている実装では入力層のユニット数が5個(任意)、中間層1と2はそれぞれ30個、出力層は31個(教師データが31個のため)なので、全部の層間に139500個の重みが存在するということでヘッセ行列は139500×139500の行列になるということですね。
…これはもしかしてメモリの問題が関わってくるかもしれないですね。
Visual C++で実装を行っているのですが、素直に入力層のユニット数を2,3個にした方がいいかな。。
返信有難うございました。いろいろ試してみて頑張ってみます。
No.2
- 回答日時:
「ヘッセ行列」は 2階偏微分をならべた行列ですから, 重み w を変数とする関数 f(w) においては行数・列数ともに「w の個数」であるような正方行列になります. H はその逆行列 (を近似した行列) ですから, 行数・列数はヘッセ行列と等しくなります.
ひょっとすると (i, j) 要素を「ある層のユニットi と次の層のユニットj で決まる何か」と思ったのかもしれませんが, そうではありません. ですので, 各層のユニット数が等しい必要性はありません.
返信有難うございます。
>ひょっとすると (i, j) 要素を「ある層のユニットi と次の層のユニットj で決まる何か」と思ったのかもしれませんが, そうではありません.
まさにその通りでした。。自分は参考にしている文献で、中間層1(L-1層目)と中間層2(L層目)での結合荷重w(k+1)[L,ユニットj:L-1,ユニットi]やHを更新する式から、他の層間でもHを独立に更新するからユニット数を同じにすると思いました。どうやらヘッセ行列の事について理解が足りないみたいです。。今、勉強しているのは一変数関数の近似を行って学習を行い、その過程でニューラルネットの誤差評価関数Errというのを最小化していくということです。教師データ:31個でErr=0.5*ΣΣ(ユニットからの出力値-教師データ)^2なのですが、出力値は重みwによって出力されるので31個の正方行列にすればよいのでしょうか? 度々すいません。
No.1
- 回答日時:
えぇと....
どうして「それぞれの層のユニット数を同じにする必要とかあるのでしょうか」と思ったのでしょうか? それぞれの層の間で結合の重みを独立に変えるのがいいかどうかは知らないけど, 「ユニット数を等しくする」必要は全くありません.
関連して, 最後の「例えば」の文は意図がわかりません? 「それぞれの層のユニット数を同じにする」と言っているにもかかわらず「中間1-2層のユニット数 (って何だ?)」としか書いていないのは不自然です. 「それぞれ」の中には入力層や出力層も含まれると読んでしまうのが普通でしょう.
ついでだけど, 老婆心ながら文をもっと短くした方がいい. 特に, 最初の「準ニュートン法の」から「あるのでしょうか」までが 1文だけど, いくらなんでも長過ぎ. もっと各文を短くして, 「それぞれの文で言いたいこと」を明確にした方がいいと思うよ.
この回答への補足
回答ありがとうございます。文章を書くのは少々苦手でして申し訳ないです
えと、Hの初期値を単位行列に設定するということなので行と列は同じ数であるから、どれかの層間でHを探索方向の計算に利用するにはユニット数を同じにする必要があると考えました。
後、例えで書いたことなんですが、ある文献で中間層1-中間層2において重みwや微分式∇f(w)やHの更新や探索方向の計算式が書いてあり、ユニット数がそれぞれ同じであったのでこうする必要があるのかなと思いました。。そのために中間層1-中間層2は更新できるが、その他の層間ではユニット数が違うのにどうするのだろ?と疑問に思ってしまいました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 物理学 何故みんなアインシュタインの相対論は間違ってないと言うんですか? 5 2022/04/23 03:04
- 物理学 時間の進み方が変化する場合、スケール効果を考えるのは当然では? 1 2022/04/18 07:46
- その他(プログラミング・Web制作) プログラミング pythonの問題について 2 2022/04/19 00:41
- その他(パソコン・スマホ・電化製品) 人間の長期記憶に関するモデルについて。 下記の内容をもとに、一番下の質問の具体例が思いつく方いたら具 1 2023/06/30 18:21
- 宗教学 浄土宗・浄土真宗・日蓮宗・日蓮正宗・真言宗・天台宗・神道信徒等の仏教系・神道系宗教が本物 3 2023/01/10 13:57
- Visual Basic(VBA) vba 等間隔の列に対しての計算 6 2022/05/17 20:15
- Visual Basic(VBA) 3つのプロシージャをまとめたら実行時エラー発生で対応不能 6 2022/05/17 01:47
- 物理学 ここで回答している相対論信者って全員、相対性理論を理解できてないですよね? 4 2023/03/08 12:40
- Excel(エクセル) PowerQueryに詳しい方教えてください(Office365) 1 2022/07/24 21:11
- 予備校・塾・家庭教師 近年の日本の学力上位層は理系、医系に集中しますか? SAPIX→中高一貫校出身の者ですが、小学生時点 3 2023/03/06 17:48
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
AVIC-VH9990のナビでBluetooth...
-
ECUって何ですか?CPUとの違いを...
-
ゴンチチみたいなアーティスト...
-
ロトの八百長
-
2本の当たりくじを含む10本のく...
-
スクラッチ(宝くじ)の削り方...
-
10本のくじの中に当たりを1本、...
-
六星占術で宝くじ購入に適して...
-
日本のジャンボ宝くじの抽選っ...
-
用語の使い分け
-
数学の確率の問題です〈その2〉
-
ロト6は本当に1・2等当たる...
-
宝くじのロト7をネット購入した...
-
ACCESSでの文字と数字の結合に...
-
5万円換金出来る宝くじ売り場...
-
当たりくじ4本を含む20本のくじ...
-
宝くじって 国が操作してるのは...
-
新札で連番の価値
-
宝くじは何故イカサマがバレな...
-
リンスインシャンプーの使い道
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
黒宮れいちゃんと金子理江ちゃ...
-
AVIC-VH9990のナビでBluetooth...
-
ECUって何ですか?CPUとの違いを...
-
コニカミノルタプリンターのイ...
-
羞恥心は不仲?
-
洋楽で、女性3人組のユニットの...
-
ジャズの日本人ユニットのFride...
-
キンプリを辞めた3人は何故3人...
-
元キンプリで新ユニットnumber_...
-
TSUTAYAで流れてる脱力系な曲の...
-
歌ったり踊ったりする小集団を...
-
おジャ魔女どれみの子守唄
-
キャプチャーボードとキャプチ...
-
IP4600の不具合
-
SGにアームは後からつけれますか?
-
ラバーキャロッツの行方
-
ペット用GPSを買ったのですが、...
-
4階層型ニューラルネットワーク...
-
今使っているPCの電源ユニット...
-
昔のミュージシャン、ユニット...
おすすめ情報