理論に基づいた回帰モデル作成の意味について

Question

あるデータから回帰モデルを構築し，別のデータを予測する場合，各変量間の関係が理論的にわかっている場合は，回帰モデルの形をデータだけで決めずに，理論的に決めたほうがよいと思います。ところが，どうして理論的に決めたほうがよいのかと聞かれると，うまく答えることが出来ません。

ご存知の方がいらっしゃいましたら，教えて頂ければ幸いです。

上記の抽象的な文では内容が伝わらない場合に備えて，長くなりますが下記に具体例を書かせていただきました。上記の文で足りる場合は，具体例は読んで頂かなくても結構です。

＜具体例＞
大気の薄いある惑星上で，ボールを真上に初速Vで発射し，落ちてくるまでの時間Tを測る実験を，100回行ったとします（あり得ない話ですが）。この実験によって，変量V,Tに関する大きさ100のデータが得られます。さて，このデータをもとに，VからTを予測する式を作る必要が生じたとします。

ニュートン力学に基づけばTはVと線形関係にあるはずですから，高校で物理を習った人は，T = αVという単回帰モデルを使うのが自然だと思います。これが，回帰モデルの形を理論に基づいて決めるアプローチです（アプローチ(1)）。

一方，統計学を習いながらも物理を全く習っていない人は，
T = αV^2 + βV のような多項式回帰モデルや，
T = s(V) のようなノンパラメトリック回帰モデル（sは平滑化スプラインなど）を使うかもしれません。どれを使えばよいか判らない場合のモデル選択には，交差確認法などのモデル選択基準を用いることができます。これは，完全に統計的なアプローチと呼べると思います（アプローチ(2)）

このような状況で，アプローチ(1)が(2)より優れていると私は何気なく思ってきたのですが，どうして優れているのか，わからなくなってしまいました。

モデルの新しいデータに対する予測誤差（汎化誤差）は(1)より(2)の場合のほうが小さくなることだってあると思うのです（例えば，空気抵抗があった場合や，実験誤差が正規分布しなかった場合）。また，アプローチ(2)についてまわる，回帰の際のデータに対する過剰適合(overfitting)の問題は，モデル選択基準を使うことである程度避けることができると理解しています。それでも，理論を利用することが優れているとすれば，どのような点においてでしょうか？

よろしくお願い致します。

ddtddtddt · Accepted Answer

すいません。事前情報という言葉を不用意に使いました。ベイズ推定の中に、そのような用語があるのですね。知りませんでした。
　私は、野外に設置された測定器の時系列をよく扱っていました。そのとき回帰分析なども利用しましたが、それ以前に、生の測定データを折れ線で結ぶ事に関して、疑問を持った事があります。というのは、与えられる測定データのデジタルサンプリングで、アナログ連続量の情報量全体を伝え切るのは不可能だからです。そこに何故、安易に直線を引きたがるのか？。結局これは、

　　・時系列の連続性

もう少し強めれば、

　　・時系列の１階微分可能性（連続微分でなくて良い）

を仮定したのと同等だと思いました。こうしてしまうのは、物理データはたいていの場合、少なくとも連続だという思い（偏見？）があるからです。アナログ連続量の全てを見たわけでもないのに、それでわかった気になるのは、そういう「事前情報」を知ってるからです。
　事前情報とは、この程度の意味で使っております。

ddtddtddt · Answer

単純に考えてみました。そもそも何故回帰モデルを使うのか？。それは、完全な解を求める条件数が不足しているからです。そこで、条件数を埋めるために、回帰モデルという一般的な事前情報を持ち込むわけです。
　どのような事前情報が適当かは、定性的判断であって、予測誤差（汎化誤差）や過剰適合(overfitting)などの定量的判断では片付けられないと思います。まさに、モデル選択基準を考えるという事になります。

理論に基づいた回帰モデル作成の意味について

すいません。

単純に考えてみました。

この回答への補足

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング

　すいません。

　単純に考えてみました。