ある1点で傾きが急激に変化する波形に対して、その点を境に回帰直線を2本引くことを考えています。
人間の目で波形を見ると、「この辺りで傾きが急激に変化しているな」と認識できるのですが、数学的(プログラム的)にはどのように「急激に変化している点」を見つければ良いのでしょうか?
今考えている方法は、以下の泥臭い方法です。なんだか泥臭くて、もっと良い方法を探しています。
(1)波形がa≦x≦ bの範囲の時、注目する点(x = n)をaからbまで動かす。
(2)各時点の回帰直線1(a≦x≦n)の傾きと回帰直線2(n≦x≦ b)の傾きの二つ求める。
(3)「回帰直線1の傾きと回帰直線2の傾きの比」が最も大きい(小さい)点を、傾きが急激に変化している点とする。
(4)(3)で求めた点を境に2本の回帰直線を引く。
どなたか、お知恵を貸してください。
No.3ベストアンサー
- 回答日時:
こちらのサイトも参考になると思います。
2本の直線回帰による検定について <Q&A>
http://aoki2.si.gunma-u.ac.jp/lecture/mb-arc/arc …
二本の直線による折れ線回帰 <Excel VBAの場合>
http://aoki2.si.gunma-u.ac.jp/lecture/stats-by-e …
折れ線回帰 <Rの場合>
http://aoki2.si.gunma-u.ac.jp/R/oresen.html
quaestioさん、ご回答ありがとうございます。
具体的な事例を挙げて頂きありがとうございました。
また、折れ線回帰という言葉があるとは知りませんでした。
「折れ線回帰」でも調査してみます。
No.7
- 回答日時:
No2です。
回帰式は、縦軸と横軸の要素の関係を説明、あるいは予想するためのものです。ですから、データがあれば、それに適した回帰式を求めます。
2本の直線の合成曲線、と解釈する場合は、良いのです。しかし、2本の回帰直線で示した散布図を、1本の曲線で表せたという経験があります。1つの散布図で、2本の直線が引けるのは、相関分析では、特異性に問題がある、すなわち、原因は一つではない場合に生じます。すなわち、なぜ2本になるのか、が説明できなければなりません。その原因を解明したい、とおっしゃるのかもしれません。
しかし、2本の回帰式での説明より、1つの曲線での説明の方が、スッキリします。なにより、なぜ2本になるのか、の説明が不要だからです。しかも、曲線を直線で表せば、元の曲線から離れていく、実際には決定係数が小さくなります。
2本の回帰式は、対数回帰か指数回帰にすれば、1つの曲線で表現できる、だめなら、高次式で回帰曲線で私なら示します。
ご質問とズレマスが、2本の回帰式に分解する目的を再度お考えください。その場合、なぜ2本になるのか、なぜその点から曲がるのか、の説明が不可欠です。
一つの散布図上に2本の回帰直線を描いたものを数図見ています。しかし、なぜ2本の直線になるのか、の説明は読んだことがありません。説明できなければ、回帰式の価値は暴落します。
私の場合、世界各国の脂質摂取量と平均寿命との散布図を描くと、2本の回帰直線のように見えます。この場合、脂質摂取量が少ない国は植物脂質、多くなると動物脂質の摂取量に依存する、等のこじつけは可能です。しかし、証明は困難です。さらに、なぜ植物脂質より動物脂質に依存するようになるのか、という問いには、誰も答えられません。対数回帰をすれば、1本の直線になり、脂質の摂取量の増加にともなって、平均寿命は伸びる、と簡単に説明できます。
曲線を見ないと断言できませんし、繰り返しになりますが、指数回帰、対数回帰、高次回帰、くらいで、決定係数の高い回帰式を1つ得られる、と推察しています。
kgu-2さん、ありがとうございます。
kgu-2さんが仰るとおり、通常のモノの特性であれば1つの曲線の方が全てすっきりすると思います。
ただし、今回の波形は電子デバイスでして、2本の直線が引ける可能性も捨て切れません。
例えばダイオードという電子素子に電圧をかけていくと、ある電圧で突然特性が変わってしまうことがあります。ある電圧で異なる電子素子になると言ってもいいかもしれません。
2直線と1曲線の両面から考えたいと思います。
貴重なご意見、ありがとうございました。
No.6
- 回答日時:
#1さんが仰るように、問題の規模から考えても、質問者様の方法で妥当な気がします。
手数は余り変わらないですが、こんな方法もあります。自己相関係数を計算して、相関係数を、積分の際のずらし量の関数としてプロットします。相関係数が急激に小さくなる(大きくなる)ずらし量から、波形の傾向の境い目を判断します。
基本的にこの方法で、地震波のP波とS波の境い目を検出しているそうです。
ddtddtddtさん、ありがとうございました。
地震波のP波とS波の境い目の検出に使用されている方法なんですね。
自己相関係数など、すっかり忘れているので勉強しなおしたいと思います。
No.5
- 回答日時:
非線形最小二乗法の問題なので、まじめにやれば「どこに切れ目があるか」を探していくしかないのですが、データの点数が多いと大変ですね。
もし「データが綺麗に(どっちかの)直線に乗っていて、ノイズが少ない」のであれば、線形最小二乗法で近似することで「キッチリではないがイッパツで」計算する方法もあります。(実際に使ってますが、かなり旨く行きます。)
そのやりかたで2本の直線を決めて交点が定まったら、改めてデータを交点の左右で分けて、それぞれについて線形最小二乗法を使って直線を当て嵌めなおすようにしても良い。
「キッチリではないがイッパツで」というのはどうやるかというと、2本の直線を
y = at + b
y = ct + d
として、データ (t[j], y[j]) (j=1,2,...,N)について、評価関数
ε[j] = (at[j] + b - y[j])(ct[j] + d - y[j])
を考え
E = Σ(ε[j])^2 (Σはj=1,2,...,Nの総和)
を最小化するようにa,b,c,dを決めるんです。
εは残差ではないけれども、もしどのデータ(t[j], y[j])もどちらかの直線にぴたり乗るのであれば、Eが0になるa,b,c,dが存在する。データが綺麗に直線に乗ってノイズが少ないということが前提なら、その状態から大きくはずれないと考えられる。
ε[j]の右辺を展開して
ε[j] = ac(t[j]^2) - (a+c)t[j]y[j] + (ad+bc)t[j] + bd - (b+d)y[j] + (y[j]^2)
ここで
x[1] = ac
x[2] = -(a+c)
x[3] = ad+bc
x[4] = bd
x[5] = -(b+d)
とおいて、
ε[j] = x[1](t[j]^2) +x[2]t[j]y[j] + x[3]t[j] + x[4] +x[5]y[j] + (y[j]^2)
ここで、x[1]~x[5]が独立な(互いに無関係な)パラメータであるとみなせば、線形最小二乗法が使える。そして、x[1]~x[5]の5個のパラメータが決定できます。
さて、元のモデルにはa,b,c,dの4個しかパラメータがないのに5個のパラメータが出た。これは、上記の処方によって、ひとつ余分な自由度が入っちゃった訳です。でもへいちゃらでして、x[1]~x[5]のうちのどれか4個を使ってa,b,c,dを計算します。で、残り1個(例えばx[5])については、算出したa,b,c,dと辻褄が合う値かどうかを見ます。合ってりゃ成功、かけ離れていたら「データが綺麗に直線に乗ってノイズが少ない」という仮定は成り立っていない、と考えられる訳です。
stomachmanさん、回答ありがとうございます。
>データが綺麗に直線に乗ってノイズが少ないということが前提なら、その状態から大きくはずれないと考えられる。
今あるデータが上記の条件を満たすかどうか検討してみます。
詳細な説明をありがとうございました。
参考にさせて頂きます。
No.4
- 回答日時:
残差の2乗和が最小になるような直線を引く、という最小2乗法の原点に立ち戻って考えるなら、
1. 全部でN点あるときに、それを2つのグループに分割する。
2. それぞれのグループについて最小2乗法で回帰直線を求める。
3. それぞれのグループについて回帰の残差の2乗和を求めて、さらに2つのグループについて合計したものが、今考えたグループ分けに対する全体の残差の2乗和
で、1.の分割のしかたは、全部で、2^(N-1)-1 通りあるわけですが、それぞれについて、3.の全体の残差の2乗和を計算して、それが最も小さくなるグループわけが、最も尤もらしいでしょう。
「傾きが急激に変化している点」は、こうして求めた2本の回帰直線の交点とすればよさそうです。
No.2
- 回答日時:
>1点で傾きが急激に変化する波形
この波形の関数は、分っていたら、微分すれば、変曲点が分るので、そこで分ける。
関数が分からなければ、xとyの値を読みとって、回帰曲線を求める。3次式以上の高次式し、相関係数が高いものを求める。
>その点を境に回帰直線を2本引くことを考えています。
元の波形は曲線だと想うので、それに回帰直線の当てはめは無謀。回帰曲線?
また、この場合、分けた点は、2つの回帰式の端に当たるので、誤差が大きいので、厳密に求めても意味があるとは想えないのですが。
波のように一定のリズムをもつ波形なら、回帰式を利用して、その曲線を計算したことがあります。ただし、変数が3つなったで、市販のソフトでは無理で、プログラムを組みましたが。
以上は、回帰式の方から考えてみました。何をなさりたいのか把握できていないので、的外れかも。
kgu-2さん、回答ありがとうございます。
波形は、ある電子デバイスの測定データですので関数は分かりません。
>元の波形は曲線だと想うので、それに回帰直線の当てはめは無謀。回帰曲線?
> また、この場合、分けた点は、2つの回帰式の端に当たるので、誤差が大きいので、厳密に求めても意味があるとは想えないのですが。
確かに回帰直線の当てはめや誤差のことを考えると無謀かもしれません。。。
ただ、この電子デバイスの特性をみると、ある一点で直線が折れ曲がって見えるのです。その傾向を見たいなぁと考えていました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 数学 数学の一次関数の問題解いて欲しいです!お願いします! 次の直線の式を求めなさい ・傾きがー3/5で、 6 2022/08/24 23:30
- 統計学 直線の傾き(回帰係数)から相関係数を計算できるのでしょうか? 2 2022/09/16 19:28
- 統計学 1次式の線形回帰 1 2023/05/10 14:49
- 数学 点pを通る直線の方程式の法線ベクトルの傾きが2/1なので逆にして-1をかけ-1/2これが点pの傾きな 3 2022/06/04 08:53
- 物理学 2次の伝達関数のゲイン線図についてです。 ゲイン線図を直線近似した時に、傾きが0dB/secから-2 2 2022/07/10 19:31
- 数学 数学の問題で質問です 複素数平面の垂直二等分線の傾きの求め方を教えて欲しいです。 α=-4-2i 3 2022/11/25 13:59
- 数学 数学 標高zがz=x^2-y^2で与えられている地形を、点Pが水準面上で曲線(x,y)=(t,t^2 3 2023/08/03 21:52
- 数学 8 件の住宅について, 駅からの徒歩時間 (分) と賃料 (万円) を調べたところ, (徒歩時間, 1 2022/12/18 18:09
- 数学 赤線を引いたところについて質問です。 2直線3x+2y-5=0、2x-3y+4=0のなす角の二等分線 2 2023/02/25 15:20
- 物理学 高校物理 垂直抗力の位置について 8 2022/05/31 22:33
このQ&Aを見た人はこんなQ&Aも見ています
-
「環境が人を育てる」って本当?環境によって人格や生き方は本当に変わるのか
環境が人生に与える影響は実際どれほどのものなのか、専門家の田宮由美さんに伺った。
-
Excelで変曲点を求める関数を教えてください
その他(ソフトウェア)
-
エクセルのグラフ折れ曲がり点を数える関数
Excel(エクセル)
-
エクセル:6E-05という表現は?
数学
-
-
4
エクセルの対数グラフで細かい目盛を入れる方法
その他(ソフトウェア)
-
5
エクセルで極大値を拾うには
Excel(エクセル)
-
6
エクセルの散布図のX軸に文字を表示したいのですが、どうしたらよいのでしょうか?
Excel(エクセル)
-
7
Excelで隠れてしまった図やテキストボックスを探す方法
Excel(エクセル)
-
8
EXCELの近似曲線で対数近似、指数近似が選べない
Excel(エクセル)
-
9
サンプル数の異なる2群間におけるT検定について
その他(自然科学)
-
10
エクセルで、指定の値よりも大きい数字を最初に越えたときの列番号を返すには?
Excel(エクセル)
-
11
Excelでエラー(#N/Aなど)値を含む範囲で最大値や最小値をもとめ
その他(Microsoft Office)
-
12
近似直線の傾きとSlope関数で求めた傾きについて
その他(Microsoft Office)
-
13
Excelでこの直線と曲線が離れ出す点の接線を引きたいのですが、引けますか?引けるなら引き方を教えて
Excel(エクセル)
おすすめ情報
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
決定係数がマイナスになる例っ...
-
回帰式と近似式について
-
切片あり回帰と切片なし回帰
-
ある1点で傾きが急激に変化する...
-
統計用語の和訳について
-
原点強制通過させたときの相関係数
-
複素数同士の回帰式をエクセル...
-
Yハットの出し方やミュートと...
-
初心者がSPSSで重回帰分析をし...
-
残差について
-
EXCELで両対数を取った重回帰分...
-
次の説明で太い対角線とは何で...
-
二つのデータの波形が似てるか...
-
サンプル数の違うものの比較
-
【統計】「相関係数の有意性の...
-
統計問題
-
群間比較の統計解析について教...
-
相関係数Rの2乗について
-
アンケート分析に方法について
-
SQLの副問い合わせと相関副問い...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
決定係数がマイナスになる例っ...
-
切片あり回帰と切片なし回帰
-
回帰式と近似式について
-
ある1点で傾きが急激に変化する...
-
修正済み決定係数(R2乗)がマ...
-
回帰水を売ってる会社大丈夫か
-
Excel分析ツールでのポアソン回...
-
原点強制通過させたときの相関係数
-
Yハットの出し方やミュートと...
-
最小二乗法の傾きと切片について
-
統計用語?
-
残差について
-
重回帰分析で偏回帰係数を全て...
-
実験データの分析について
-
numbersで重回帰分析をしたい
-
ロジスティック回帰分析におけ...
-
エクセル 重回帰 グラフ
-
相関分析の相関係数と重回帰分...
-
重回帰分析の定数は、どっちの...
-
確率統計です。
おすすめ情報