多層パーセプトロンの中間層数について

お世話になっております．
多層パーセプトロンに関してですが，中間層数は１層と２層以上で理論的に差異はあるのでしょうか？
２層以上にするなら，１層のままで単純に中間ユニット数を多くすればよいのではないでしょうか？
今，流行りのディープラーニングなるものに少し懐疑的で疑問があります．
ニューラルネットワークにおいて，中間層は層数ではなく，ユニット数に意味があると考えております．

No.1 ベストアンサー 回答者： rinkun 回答日時： 2015/09/01 10:26

ニューラルネットワークは3層(中間層1)で任意の連続関数を近似できると聞いたことがありますので、中間層のユニット数を無制限にできるなら表現力という意味での差異はないかもしれません。

ただ、ユニット数無制限という仮定は現実的には無意味です。例えば、中間層1層ユニット数10000と、中間層2層ユニット数200(100+100)で表現力が同等だとしたら2層にする価値はありますよね。同じロジックで3層4層と増やすと1層では物理的にムリな表現力を多層なら得られるかもしれません。
また多層にすることで学習結果の解釈が可能になるという側面もあります。Google猫が有名ですが、後の層ほどより抽象的な概念に相当するノードができるということですから、1層だと複数ノードの重み分布に隠れてしまう抽象概念が後層の1ノードに集約されるわけです。これにより知能獲得のプロセスを解き明かすことができるかもしれません。

この回答へのお礼

ご回答頂き，有難うございました．参考になりました．

お礼日時：2015/09/01 17:00