実験データから誤差を求める方法

実験で入力x[i]に対して出力y[i]を得たとします。
このときxに対してyをプロットすると、誤差が大きいところではグラフがギザギザしており誤差が小さい所では滑らかな曲線になりますが、この誤差を定量的に見積もる方法を教えて下さい。

No.4 ベストアンサー 回答者： kamiyasiro 回答日時： 2021/12/18 02:43

誤差は、（観測値ー真値）ですが、まずは真値の代用値として平滑化値を求める必要があります。

そして、ｎ個の区間で、Σ(観測値－平滑化値)^2／ｎを求めます。これがMSE（mean squre error）です。平方根を取ればRMSEになります。

平滑化には多数の種類があります。かつては良い教科書があったのですが絶版で手に入りません。（『平滑化とノンパラメトリック回帰への招待』）
メーカーでは技術者教育で教えています。以下は弊社で教えている手法です。それぞれに特徴があるので、使い分けが必要です。主な差異は過学習です。

代表的な手法は最初の「Sゴーレイ平滑化」です。前後数点に重みを付けた移動平均です。matlabにも搭載されていて、技術者なら知っておくべき平滑化法です。
なお、Rであれば、全て可能です。R使用者は最後のsmooth.splineをよく使います。

・Savitzky-Golay平滑化
・多項式回帰（直交多項式：グラムシュミットなどで高次項を直交化）
・基底関数展開（カーネル密度関数法：ガウス関数の重畳）
・局所平滑化関数（一般的なスプライン：lowess）
・局所重み付き回帰平滑化（loess）
・交差検定を伴う局所重み付き回帰平滑化（supsmu）
・Bスプライン（Basis spline）
・罰則付き残差平方和（PRSS Penalized Residual Sum of Square）
・P-スプライン（smooth.spline）

Sゴーレイ平滑化の事例を示しておきます。データはオートバイのヘルメットに搭載したGセンサの衝突後の挙動です。最初強いマイナスGが出ますが、振動しながら減衰する様子が見られるか、がポイントです。

No.5 回答者： kamiyasiro 回答日時： 2021/12/18 03:00

#4です。

Sゴーレイ平滑化は、データが等間隔でなければなりません。

添付したデータは等間隔ではありませんでした。そのため、リサンプリングして平滑化を掛けています。
平滑化値（打点）がつながって見えるのも、リサンプリング（アップサンプリング）しているせいです。具体的には直線補間して、等間隔で取り出しています。

すみませんでした。

No.3 回答者： yhr2 回答日時： 2021/12/17 21:14

そもそも「真値」が分かっていれば「真値との差」が「誤差」になりますが、通常は「真値が分からない」ことが多いです。

その場合には「誤差」は不明で、「測定値のバラツキ」ということになります。

あなたの言っている「グラフのギザギザ」は、この後者の方ですよね。
バラツキを小さくするには、理科の実験などでよくやるように「多数回測定して平均をとる」などの方法があります。

バラツキのある測定値から「もっともらしい直線（あるいは曲線）」（＝回帰直線）を引く方法としてよく使われるのが「最小二乗法」などの方法です。
↓
https://ja.wikipedia.org/wiki/%E6%9C%80%E5%B0%8F …
https://sci-pursuit.com/math/statistics/least-sq …

真値が分からない場合には、これら「回帰直線（曲線）」の値を「真値」とみなして、そこからの偏差を「誤差」とすることが多いと思います。

ただし、質問者さんのケースのような「入力x[i]と出力y[i]の関係」のような場合には、入力の誤差評価がきちんとできれば、「入力/出力の理論的関係」から「得られるべき出力の理論値」が算出できるので、そこからの「実際の測定値y[i]」との差を「誤差」と考えることもできます。

椅子れにせよ「画一的な評価方法」があるわけではないので、その実験の目的や方法に応じて「その実験における誤差とは何か」をきちんと考え、定義して論じる必要があると思います。

ほとんどの場合で「統計」の手法が必要になることは間違いありません。
「母集団」（これが未知の真値）と「標本（サンプル）」の関係が、一般論として役に立つと思います。
↓
https://bellcurve.jp/statistics/course/8972.html

No.2 回答者： isoworld 回答日時： 2021/12/17 20:23

「誤差の評価方法」を勉強しなさい。

ここに簡単に書けるものではありません。

No.1 回答者： angkor_h 回答日時： 2021/12/17 19:17

こういう実験結果のグラフ表示は、点プロットが良いです。

エクセルで表示するときには、散布図で点表示にします。

この誤差を評価するときは、RMSEを用いるのが一般的です。
基準値は、平均値とか近似曲線値です。

結果の中には計測エラーが有るので、それは除いたほうが良いです。
明らかな計測エラー、計測範囲外の結果、などです。