t検定を繰り返してはいけない理由について教えて下さい。

統計学を最近、勉強し始めた者なのですが、3群間以上の群間でそれぞれ有意差を検定する場合、t検定を繰り返してはいけない理由が理解出来ません。

教科書に記載されているように、全ての群間で同時に平均値に差がない事を帰無仮説とした場合、t検定を繰り返すと有意水準が大きくなってしまう事は乗算を意味する事から理解できます。

ですが例えばA,B,Cというグループがあって、それぞれの組み合わせで群間を比較する場合（AとB AとC BとC）と言った独立した組み合わせの比較をt検定で行った場合なぜ有意水準は大きくなってしまうのでしょうか。

初学者ゆえ至らない点があると思われますが、何卒ご指導のほどよろしくお願い申し上げます。

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2022/05/15 14:13

多重比較の問題ですね。

A,B,Cというグループがあって、最初から、それぞれの組み合わせで群間を比較するのであれば、多重比較にはなりません。それらに差があるという事象が生起するのは同時確率ではないですから。

しかし、もし帰無仮説を
H0:A＝B＝C
とする検定を分散分析で行い、

その際、有意差があったので、あらためて、
H0：A＝B
H0：A＝C
H0：B＝C
という帰無仮説でどこに差があるか検定を行うというのはNGです。
一旦結論が出ているところを、再度調べているからです。

いわゆる、「フィッシャーのLSD」(最小有意差)がこれに該当しますが、この時は有意水準を変更する必要があります。


平たく言えば、初めて調べるのであれば、別に有意水準を変えなくても良いが、一度調べたところを再度調べるときは（部分的に取り出して調べることも含む）、有意水準を変えなければなりません。
「ヘタな鉄砲も数打ちゃ当たる」で、いつかは有意になります。


じゃあ、先行研究で有意だと言われたところを、たまたま、複数の知り合いではない研究者たちが部分的に追試しているのはどうなんだ！

ということですが、もし最初の研究が間違っていても、当然、有意になる研究者が出てきます。やばいです。

この回答へのお礼

とてもわかりやすいご回答を頂きありがとうございました。
「下手な鉄砲も数を打てば数を打てば当たる」とはまさにその通りでお陰様で自分の誤解を解く事が出来ました。その影響を考慮する為に有意水準を厳しく調整する必要があるのですね。

本質的な理解がようやく出来て来た気がしました。
ありがとうございました。

お礼日時：2022/05/15 20:22

No.1 回答者： t_fumiaki 回答日時： 2022/05/15 13:31

例えば、サイコロを6回振って、少なくとも1回は6が出る確率を求めてみます。

1-(1回も6が出ない確率)=1-(5/6)⁶=0.67。

これと同じです。
3者を2者ずつの組にして、独立に3回検定しても、結果は同じです。

Ａ vs B, Ａ vs Ｃ, B vs Cの3通りのt検定を独立して行なうとします。

各t検定の危険率を5％、すなわち「実際には差がないのに、たまたま差があるように判定される確率が5％ずつある」とすると、

「少なくとも1つの組み合わせがたまたま有意差あり」と判定される確率は1から3つの組み合わせすべてが「有意差なし」となる確率を引いたものだから、

1-(1-0.05)³=1-0.95³=0.14 となり、独立して行なった検定でも、全体では危険率が14％となってしまいます。

5%の危険率で検定しているつもりが、14％の危険率、すなわち過剰評価していることになります。

この回答へのお礼

迅速なご回答ありがとうございました。

検定の本質が全体の比較における危険率が5%になる事がポイントなのだと分かりました。

詳しくわかりやすいご説明をして頂きありがとうございました。

お礼日時：2022/05/15 20:02