有意差があってもサンプルサイズが少ないと駄目？

AとBを発生させる因子(α)が有意差(P<0.05)をもって導き出されました。しかし、サンプルサイズが小さいので統計的に結論として使えないと指摘されました。しかし、それを指摘しない人もいます。

今までの結果からAの発生頻度は約5％、Bは6%といわれていますが、性格にはいまだ不明です。
今回調べた母集団が61人であるため、Aは3人(4.9%)、Bは2人(3.3%)です。
Aを発生させる因子(β)、とBを発生させる因子(α)が有意差(P<0.05)をもって導き出されました。
この(α)と(β)という因子がA,Bを発生させる結論としましたが、AとBの発生人数が少ないため、結論として導き出されないといわれました。
しかし、それを指摘しない人もいます。
これは考え方でしょうか？、それとも、結論としてサンプルサイズが少ないのでこの検討は駄目といわれることが多いのでしょうか？

No.5 回答者： quaestio 回答日時： 2013/01/08 23:06

> １．ご指摘のとおり、Aという事象が起こったのが3人、Bという事象が起こったのが2人です。

> そのなかで、Aという事象が起こった3人と残りの58人を様々な特性（因子）で比較検討した結果、αという因子がある場合にAという事象が起こりやすいと分かりました。Fisher's exact testを行った結果です。
> これをBという事象がおこった2人と59人もβという因子について比較検討し同様にして検討を行いました。

同じ61人のデータを使って、発生した事象と因子毎にFisher's exact testを行ったのですね。

検定の多重性の問題が生じます。
例えば、個々の検定の有意水準を5%にしていたとすると、全体の有意水準は設定した5%よりも大きい可能性があります。
（どの事象も想定した因子に関係していないとしたら、どれか一つでも有意となってしまうのは困りますよね？）

これを回避するには、Bonferroni法により個々の検定の有意水準を調整する方法があります。
しかし、この方法ですと個々の有意水準がかなり低くなってしまい、検出力も低くなります。
そのため、サンプルサイズを増やすことが必要になります。
（サンプルサイズを増やせば、どんなに小さい差でも検出できる）

その他の状況でサンプルサイズが小さいと拙い場合は、

（１）検定方法が、サンプルサイズが大きい場合のみに正しいのに小さい場合に適用した。　
例：カイ二乗検定、
（２）検定の適用範囲から外れていた。
例：母集団が正規分布でないのにt検定を使用した。

という場合でしょうか。


> ２．第２種の過誤とは、検討した結果、有意差が得られたものは有意であるが、それ以外はサンプルサイズが大きいと、もしかすると有意差がでるから、それ以外の因子が有意差がでる可能性が否定できない、と、言うことですか？。

第一種の過誤は有意差が得られたとき、第二種の過誤は有意差が得られなかったときに問題になります。

No.4 回答者： ramayana 回答日時： 2013/01/08 18:39

フィッシャーテストなら、サンプルサイズが61でも有意差が出ることがあるでしょうね。

以下は、老婆心からの蛇足です。

この種の分析では、因子のαやβをどんな手続きで選んだかが、意味を持ちます。選び方によっては、無関係の事象が有意と判定されることもあるからです。典型的なのが、たくさんの因子候補を試してみて、その中から有意なものだけを抜き出した場合です。万一、この操作があったときは、サンプルサイズの大小にかかわらず、信憑性が薄いと判断されます。こんな場合は、別のサンプル、たとえば化学実験なら追試などで、時系列データなら予測の的中度合いなどで、改めて検定することが求められます。ちなみに、有意なものだけを抜き出すという操作は、血液型性格判断や宝くじが当たる店など、統計で嘘をつくときの常套手段でもあります。

No.3 回答者： ramayana 回答日時： 2013/01/06 22:12

正しい手続きにより有意差があると判定されたのなら、サンプルサイズが小さいことは、何の問題もありません。

ただ、ANo.1さんの指摘のとおり、説明不足です。どういう仮説を、どういう手続きで判定したのでしょうか？

仮に、 A と B の真の発生頻度がそれぞれ5％と6％だったとして、61人中 Aの発生が3人以上の確率は、２項分布の計算から、60.4％です。同様に、Bの発生が2人以下の確率は、28.3％です。これらの結果をみると、有意差があったという判定は、ちょっと信じ難いです。

この回答への補足

ありがとうございます。統計初心者もいいところで、申し訳ありません。
Aという事象が起こったのが3人、Bという事象が起こったのが2人です。
そのなかで、Aという事象が起こった3人と残りの58人を様々な特性（因子）で比較検討した結果、αという因子がある場合にAという事象が起こりやすいと分かりました。Fisher's exact testを行った結果です。
これをBという事象がおこった2人と59人もβという因子について比較検討し同様にして検討を行いました。
AとBの発生頻度は真ではありません。色々なサンプルデータがあるため、一定でないことはわかっています。5%,6%と表記したのは、それ自体がこれくらいの発生頻度であるのが一般的であり、私のサンプルが非常に少ないのか、そうでないのかを判定する材料になるかもしれないと思い、入れました。
よろしくお願いします。

補足日時：2013/01/07 12:30

No.2 回答者： jaham 回答日時： 2013/01/06 19:35

有意差があると判定した事に錯誤があるからです

サンプル数が少ないから、有意差が検証できないでしょう

基本を無視してはいけません、砂上の楼閣　お判りですか

No.1 ベストアンサー 回答者： quaestio 回答日時： 2013/01/06 19:30

説明不足です。

有意差があったとは何をどう比較して有意差があったのですか？

> 今回調べた母集団が61人であるため

これは母集団ではなく標本ですね。
61人を調べたら、そのうち三人にAが発生しており、二人にBが発生していたということでしょうか。
AとBの両方発生していた人はいたのでしょうか。
比較したのは、AとBの発生頻度の差でしょうか、それとも今までの結果との差でしょうか、あるいは別の何かでしょうか。
そして、αとβという因子がどうしてA,Bを発生させると結論付けられるのでしょうか。


> 結論としてサンプルサイズが少ないのでこの検討は駄目といわれることが多いのでしょうか？

サンプルサイズが小さくて問題なのは、検出力が低くなる、つまり、大きな差があっても有意にならない可能性が高くなるからです（第二種の過誤を犯しやすい）。
有意差が得られていれば、問題なのは第一種の過誤を犯すことですが、これは有意水準で抑えられています。

この回答への補足

ありがとうございます。統計初心者もいいところで、申し訳ありません。
１．ご指摘のとおり、Aという事象が起こったのが3人、Bという事象が起こったのが2人です。
そのなかで、Aという事象が起こった3人と残りの58人を様々な特性（因子）で比較検討した結果、αという因子がある場合にAという事象が起こりやすいと分かりました。Fisher's exact testを行った結果です。
これをBという事象がおこった2人と59人もβという因子について比較検討し同様にして検討を行いました。
２．第２種の過誤とは、検討した結果、有意差が得られたものは有意であるが、それ以外はサンプルサイズが大きいと、もしかすると有意差がでるから、それ以外の因子が有意差がでる可能性が否定できない、と、言うことですか？。そうすると回答をいただいたとおり、第１種の過誤は、サンプルサイズが小さいけど有意水準で抑えられるから、このα,βという因子を発見したことには意味がある、ということですよね？
ご回答、よろしくお願いいたします。

補足日時：2013/01/06 21:32