Fisherの正確確率検定について質問です。

JMPという統計ソフトを用いて、添付画像のような表についてFisherの正確確率検定を行いました。
対照群-症例群1
対照群-症例群2
…
対照群-症例群5
のように検定を行い、それぞれp値を算出しました（対照群-症例群 3のみ有意差が認められました）
これを発表したら、調整をしたのかと質問されましたが、わかりませんでした。
調整とは何のことでしょうか。
上述の検定方法の問題点があればご教授ください。
よろしくお願いします。

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2018/10/26 12:06

企業でSQCを推進する立場の者です。

博士（工学）です。

ご指摘された先生は、多重比較における有意水準の調整のことをおっしゃったんだと思います。
「多重比較」「多重検定」で検索すれば出てきます。
たとえば有意水準５％の検定を何回も繰り返すと、有意でなくても20回に1回の割で有意な結果が現れてしまいます。
そこで、得られたp値を比較する基準である５％の部分をもう少し小さめに調整するという計算方法があるのです。

その他にも色んな方法があるので、指導教官と相談されるのが良いでしょう。

でも、#1さんの計算結果ではp＝0.0043だから、基準を調整しても有意なままだとは思いますが・・・。

No.1 回答者： yhr2 回答日時： 2018/10/25 17:15

「症例群２」（明らかに陽性の比率が大きい）と「症例群５」（明らかに陽性の比率が小さい）が有意ではなく、その中間で最も「対照群」の比率に近そうな「症例群３」が「有意である」と判定したので、感覚的に「何か特別な操作をしたのでは？」と思われたのではないでしょうか。

「何か特殊な操作をしたのか？」という意味で「調整したのか？」と言われたのでしょうね。

実は私もそう思いましたので、具体的に計算してみました。
これは、「対照群」が「61例のうち、陽性が4」ということなので
　陽性の確率：4/61
ということになります。
つまり、「Fisherの正確確率検定」で行っているのは、「陽性の確率 4/61 の二項分布」に対して、各症例群の陽性件数の発生確率を計算し、有意水準と比較して有意か否かを判定しているということだと思います。

これでいけば「症例群３」の件数の発生確率は
　P(18, 5) = 18C5 * (4/61)^5 * (57/61)^13 = 0.0043

同様に「症例群２」の件数の発生確率は
　P(5, 2) = 5C2 * (4/61)^2 * (57/61)^3 = 0.035

「症例群５」の件数の発生確率は
　P(22, 0) = 22C0 * (4/61)^0 * (57/61)^22 = 0.225

「症例群１」「症例群４」の件数の発生確率は
　P(5, 0) = 5C0 * (4/61)^0 * (57/61)^5 = 0.712

確かに、有意水準を「1%」とすれば、「症例群３」だけが「有意」判定で、他は「有意ではない」ということになりますね。（有意水準を「5%」にすれば、「症例群２」も「有意」と判定される）

なので、ちゃんと自信をもって「何も調整していません。通常に処理して「症例群３」だけが「有意である」と判定しました」と回答すればよいと思います。