最小二乗法について・・・

最小二乗法について全く分かりません。どういう時に使うのか？どうやって使うのか？どういう式があるのかを教えて下さい。できれば例を使っておねがいします。皆さんにお手数掛けますがよろしくお願いします。

No.1 ベストアンサー 回答者： siegmund 回答日時： 2001/01/05 17:54

siegmund です．

簡単に言えば，最小二乗法は誤差のあるデータの解析や整理に使われる方法です．

たとえば，電池と抵抗の単純な回路で，電流 I と抵抗の両端の電位差 V を
測定したとします．
適当な方法で(可変抵抗を使うなど) I を 1 mA おきに 0 mA から 100 mA まで変える，など．
オームの法則で I と V は比例するはずですから，I と V をグラフに描けば
理想的には測定点は直線上に並ぶはずです．
ところが，測定には誤差がつきものですから，測定点は完全に直線上には並ばず，
多少分散することになります．
で，どうやって直線を引きます？
直線の両側に同じように測定点がばらつくするように引きますよね．
でも，こうやると目分量に頼ることになりますから，
直線の傾き(つまり， I と V の間の比例係数，すなわち抵抗値)は，
誰が直線を引くかで多少違ってきてしまいます．
ここらへんの手続きを数学的に厳密にし，
人によるあいまいさが入らないようにしたのが最小二乗法です．

最小二乗法を全部解説すると長くなりすぎます．
以前の質問を拝見すると，yuni- さんは原子核の本やスピン，パリティなどが出てくる
本を読まれているようですから，適当な本を参照されるようにおすすめします．
理工学系の大学初年級対象の物理実験の本を探してみてください．
測定値処理の方法としてたいてい最小二乗法の記述があります．

この回答へのお礼

問題を皆さんに提起してから１時間ほどでお答えいただいて、本当にありがとうございました。簡単なたとえのおかげで、どういうときに使用されるのかが、大体分かりました。多分これだけじゃないと思うので、もっと勉強してみます。siegmundさんには以前も回答いただいて、本当に助かっています。まだまだ、わからないことが、たくさん出てくるので、たくさん質問しますが、よろしくよろしくお願いします。こんかいもほんとうにありがとうございました。

お礼日時：2001/01/08 13:33

No.2 回答者： yoichiro-ito 回答日時： 2001/01/05 18:21

最小自乗法について回答します。

最小自乗法は直線に近似できると思われるデータの
近似曲線を求める手法です。

実験のデータなどで直線的な点のデータがでた場合、
その各点にもっとも近くなるような線を引きますが、
それを理論的にすべての点に近くなるように曲線が
引けます。

直線の場合について説明します。

x,y座標上で考えます。
x_k、y_kを与えられたデータとします。
kは1からnです。ｎ個のデータがある場合。
求める直線の方程式をa+bxとします。このa,bを求めます。
点x_k,y_kと直線の差ｄ（y軸に平行）は
ｄ=y_k-(a+bx_k)とします。
ｄは正負両方の値をとり得ることを考慮し２乗し、
全部の点での差を足しあわせると、
E=Σ{y_k-(a+bx_k)}　である。
これを最小とすることで、最も近似している直線を求める。
自乗の足し算を最小とするので最小自乗法という。
Eはaとbの関数なので、a,bそれぞれで偏微分する。
Eのaでの偏微分、Eのbでの偏微分それぞれ０とする。
微分値が０というのは極小値を求めることの意味である。
次の２式が求められる
Σ -2(y_k-a-bx_k) = 0
Σ -2x_k(y_k-a-bx_k) = 0
これより
Σ (y_k-a-bx_k) = 0
Σ x_k(y_k-a-bx_k) = 0
であり、変形して

n・a + (Σ x_k)・ｂ = (Σ y_k)
(Σx_k)・a + (Σx_k^2)・b = Σ(x_k・y_k)

の２式がでる。これを正規方程式と呼ぶ。
これで
Σ　x_k
Σ　x_k^2
Σ　y_k
Σ　x_k・y_k
を求めることで２次方程式を解けばよい。
これで、a,bが求まり直線の式が求まる
Σ　x_k　はデータのｘの値のみすべて足しあわせるという
意味です。
尚、"_"は右下付き、"^"は右肩付きという意味で、
Σは１からｎまでの足し算です。

以上は直線の最小自乗法ですが２次曲線、３次曲線でも
同様の考え方でできます。

例）
データ(2,1)(4,2)の２点の場合。
Σx_k = 2+4 = 6
Σx_k^2 = 2×2+4×4 = 20
Σy_k = 1+2 = 3
Σx_k・y_k = 2×1+4×2 = 10
よって２次方程式は
2×a + 6×b = 3
6×a + 20×b = 10
これを解くと
a=0
b=1/2
この場合２点しかありませんので、２点を通る直線が
求まります。データが増えてもやり方は同じです。

検索エンジンで検索すればいろいろ情報がでてくると
思います。長くなりましたが、ご理解いただければ
幸いです。

この回答へのお礼

一般にどんな式があるのかを教えていただいて、本当にありがとうございます。この回答を参考にして、いろいろ考えてみたいと思いました。また、解らないことがあるときには、質問しますので、愚問ではありますが、よろしくお願いします。ありがとうございました。ゆにーより

お礼日時：2001/01/08 13:39

No.3 回答者： kawakawa 回答日時： 2001/01/05 19:23

yoichiro-itoさんが詳しく示されていますので、式については述べません。

基本的にはｙ＝ｂＸ＋ａの式になるであろうデータから、数学的にａ，ｂの数値を導き出すのが最小自乗法と考えればよいでしょう。
例えば、検量線を作るとき、ピーク面積と濃度の関係をプロットしますネ。その時、完全に全ての点が一直線上に乗ればよいのですが、実際にはごくわずかなブレをもっていたりします。その際、目分量で線を引いていてはきちんとした検量線にはなりませんネ。そこで、最小自乗法を用いて計算で傾きを求めるのです。
また、実験データを解析する際にも有用です。特に生体を用いる実験などでは非常にデータにばらつきがあります。これを収束して、薬効検定をする際の濃度と薬効の相関を求める際にも用います。
極めて応用の広いものですヨ。
今はコンピュータで一瞬で求めることができるので、どんどん活用してください。私が学生の頃は手計算で一晩中かけて計算していました‥
以上kawakawaでした

この回答へのお礼

式の簡単な説明と、何を求めるか？また、最小二乗法がこんなに応用の広いものだとは知りませんでした。どんなときに使われているのかも少し分かったような気がします。
また、いろいろ質問するので、そのときは本当に申し訳ありませんが、よろしくお願いします。ありがとうございました。ゆにーより

お礼日時：2001/01/08 13:46

No.4 回答者： frank 回答日時： 2001/01/05 23:51

これ以上書く必要はないほど回答が出ていますが、いちおう具体例を出してみます

熱電対の温度(T)と起電力(V)の関係を表す式を出すときに最小二乗法を使います
TとVの関係をグラフにすると二次曲線らしきグラフが得られます。このグラフはどんな式で表されるのでしょうか
この式はグラフの形からはV=a+bT+cT^2+dT^3…の多項式であると予想されます。
しかし、a b c …はどんな値かわかりません。そこで最小二乗法のおでましです。
実験データのTとVの値を最小二乗法の計算にほうりこんでやると a b c …　が出てきます

こんな風に最小二乗法は使われます
この計算は手計算ではかなり大変ですが、プログラムなんかを作っておけば、TとVを入力するだけで簡単に a b c が出てくるので大変便利です

この回答へのお礼

具体的に教えて頂くと、どんなときに使われているのかが理解できました。熱伝対の実験を一回したことがあるのを、忘れていました。これから、資料を引っ張り出してみようと思います。教えていただいて本当にありがとうございました。また、分からないことがあるときは、いろいろ教えてください。よろしくおねがいします。ゆにーより

お礼日時：2001/01/08 13:26

No.5 回答者： MiJun 回答日時： 2001/01/06 00:15

以下のサイトは参考になりますでしょうか？

１．http://www2.kyoto-su.ac.jp/~fpc30017/Kyosan/leas …
（最小二乗法）
プログラムも記載あり（？）
２．http://aoki2.si.gunma-u.ac.jp/lecture/Regression …
（ロジスティック曲線）
３．http://aoki2.si.gunma-u.ac.jp/lecture/Regression …
（ゴンペルツ曲線）

ご参考まで。

この回答へのお礼

このようなサイトがあることを知らなかったので、これから行って勉強しようと思います。いつ、また、質問するかもわからないので、そのときにはまたよろしくお願いします。本当にありがとうございました。

お礼日時：2001/01/08 13:19

No.6 回答者： stomachman 回答日時： 2001/01/06 10:40

実際に最小二乗法をデータの分析に使おうとなさっているのなら、

中川・小柳「最小二乗法による実験データ解析」東京大学出版会　
を入手されることをお勧めします。計算方法のみならず、理論的根拠と実践的なポイントが丁寧に解説されている名著です。

この回答へのお礼

ちょうど、参考書を購入しようと思っていたところだったので、ぜひ参考にして、できる限り購入しようと思いました。本当につまらない質問に時間を割いていただきありがとうございました。　　　ゆにーより

お礼日時：2001/01/08 13:17