統計学において、理論式の独立変数を増やすとなぜ駄目なのですか？

統計学において、理論式の独立変数は少なければ少ない方が良いと聞きます。有意性が下がるというのでしょうか？
これは、なぜなのでしょうか？

質問者からの補足コメント

• 情報量規準のような話です。

  No.1の回答に寄せられた補足コメントです。 補足日時：2017/06/16 16:27

No.3 回答者： rabbit_cat 回答日時： 2017/06/18 15:03

「過学習（過剰適合）」とか、「オッカムの剃刀」とかいった語で調べてみればよいのでは。

No.2 回答者： yhr2 回答日時： 2017/06/16 20:22

No.1です。

データから「モデル化」を行う場合のパラメータの数に関する、赤池氏の情報量基準のことですか？
https://ja.wikipedia.org/wiki/%E8%B5%A4%E6%B1%A0 …

定性的には、フィッティング精度は上がるが、外乱・ノイズも増える、ということでは？
こんな本が参考になるのではないでしょうか。（私は読んでもいないし、勉強もしていませんが）
https://www.amazon.co.jp/%E6%83%85%E5%A0%B1%E9%8 …

No.1 回答者： yhr2 回答日時： 2017/06/16 10:17

質問の意味が不明です。

どういうことをお考えなのですか？