不均一分散の回帰分析に適した変数変換とは？

不均一分散する変数について回帰分析をする場合、加重最小2乗法や変数変換等があるという情報をウエブで見つけました。

手持ちのデータ（独立変数が大きくなるほど、残差のばらつきが大きくなっているデータ）で試しに従属変数の対数変換をして回帰したら、確かに元の結果よりかなり鮮明な傾向が認められ、また分散もほぼ一定となっている様に見受けられたのですが、その様になる理由は、簡単にイメージ的に説明すると何なのでしょうか。

また上記の様に“綺麗な結果”になる場合、そのまま対数変換の手法を採用して回帰してしまって差し支えないでしょうか。似た様な曲線形をとる関数に平方根（y=√x）等もあると思うので、ひょっとしたら「平方根変換」等も選択肢としてはあり得るとも思うのですが…何故対数変換なのでしょうか。

やはり実際に使う以上、直感的イメージだけでもその手法の仕組みを理解したいので、ご教示頂けると非常に助かります。

No.3 ベストアンサー 回答者： stomachman 回答日時： 2009/08/08 22:01

　ANo.1は「直感的イメージだけでも」と仰っているのに直感的解説が足りないような気がするんで、簡単に追加しましょう。

　まず、T（平方根でも対数でもいいから）のグラフを描いてください。横軸が変換前、縦軸が変換後の値を示します。縦軸上に1つ点をとって、それが真値pの変換結果T(p)だと思うことにします。次に縦軸上でT(p)を中心とする小さな区間を描いて、この区間が測定値Xの変換結果T(X)がばらつく範囲（たとえばT(X)の標準偏差）だと考えましょう。このT(p)と区間は変換前は幾らだったのか、グラフを使って、横軸上に書き込みます。
　また縦軸の別の所にT(p)を決めて、そのまわりに先ほどと同じ大きさの区間を作り、それらが変換前は幾らだったのか、横軸上に書き込みます。すると、先ほど横軸上に描いた区間とは幅が違うでしょう。この幅の違いは、pにおけるT(p)の傾きによって決まる。逆に横軸の方から眺めれば、測定値がノイズのために真値pから少しだけずれたとき、変換Tのpの近傍における接線の傾きの分だけ、変換結果のずれの大きさが拡大・縮小されるのです。
　このことを利用して、T(X)のノイズの分散がXによらずほぼ一定になるようなTを作りたい。で、ANo.1の真ん中あたりに書いてあるのが、そのような性質を持つTを作る方法です。

　ですから、理論的根拠があって対数だの平方根だのが決まるのが筋です。けれども、ある分野において「このデーターは対数を取えばええんや」という「定石」になってしまって根拠が忘れ去られる、ということは、ままあるようですね。ま、実務上それで済むなら結構ですが、たとえば論文にする場合にはstomachmanみたいなヒマな査読者に当たる恐れもないとは言えません。ノイズの分散がpとどんな関係にあるかを、少なくとも現象論的に、できれば理論的に、説明した上で変換を導出するのが適切でしょう。

　　簡単な例として、測定したい値pに対して測定値のノイズの標準偏差がpに比例する。しかし測っているのはオフセットbを含む値
X = p + b + apU
(Uは標準正規分布に従う確率変数、a, bは定数）
である、という場合はしばしばある。このとき、変換してノイズを一様にしたければ、
T(X) = ln(X-b)
とやらなくちゃ駄目ですね。こんなちょっとしたことでも、変換の選び方は違ってきます。

No.2 回答者： backs 回答日時： 2009/08/08 20:55

理論的に理解するには数式を読むしかありませんが、「なぜ対数変換をするのか」ということについて、直感的にいうなら「対数変換することによって分布の歪みがなくなる（分布の形状が変わる）から」です。

対数変換を行う場面というのは、経験的に知られていることであって、それを選択するのにわざわざ理論をどうこうとしているわけではないのですね。

重要なのは「どういった場合に対数変換をすればいいのか」ということを把握しておくことです。ドンピシャリで知らなくても、対数変換や平方根変換をやってみれば良いだけのことです（コンピュータがあるのだから）。

大学の単位などでどうしても理論を理解しなければならない、などという理由があるのであれば仕方ありませんが、そうでなければ数学的な理論を勉強する必要はないでしょう。それよりは、歪みのある分布を色々と作ってみて、それにどういった変数変換を行うと、どういった分布になるのかを試してみた方がモノになります。

No.1 回答者： stomachman 回答日時： 2009/08/08 13:43

　本来測りたいものをpとし、その測定値をXとするとき（従って、pそのものは未知）、標準正規分布(平均0、分散1)に従う確率変数Uを用いて、

X = p + f(p)U
と（近似的に）書けるってことがしばしばあります。fは理論的に分かっていることもあるし、実際に沢山測定値を集めてばらつきを調べることで推定する場合もあるでしょう。
　いずれにせよ、これをある変換Tによって、
T(X)≒ g(p)+U
という形にできれば、T(X)のノイズUはpとは無関係な標準正規分布に従うことになり、扱いが容易になる。（ただし、gが滑らかな単調関数であってくれないとあとあと不便ですが。）
　すると問題は、

X = p + f(p)U
において、Uの絶対値が微小であるときに
T(X) = g(p)+U
となるようなTを求む。

ということである。で、その答は

適当な非負の定数cが存在して
dT/dX = c/f(X)
すなわち
T(X) = c∫ (1/f(X))dX （右辺は不定積分)

です。

　なのでたとえば対数変換
T(X) = ln(X)
が旨く行く場合というのは、
f(X) = c/(dT/dX) = c/(1/X) = cX
と近似できる場合でしょうし、平方根
T(X)=√X
が適しているのは
f(X) = c/(dT/dX) = c/(1/√X) = c√X
と近似できる場合でしょう。