有意差ありの「95％以上信頼できる」という文言を、もう少しわかりやすい言葉に置き換えるとどうなります

有意差ありの「95％以上信頼できる」という文言を、もう少しわかりやすい言葉に置き換えるとどうなりますか？「95％以上信頼できる、これはつまり〜」ともう少し噛み砕いた文章で説明したいです

No.10 回答者： kamiyasiro 回答日時： 2022/12/15 10:13

そもそも有意差ありという結論が95％以上信頼できるというのは、検出力が95％以上あるということなんです。

５％有意というのは、#7さんのおっしゃる通り、危険率α＝５％という意味だけです。どれだけ信用できるかは、検出力１－βの値を見なければなりません。

「95％以上信頼できる、これはつまり第２種の過誤β（見逃し）が５％以下ということである」

工業における抜取検査のOC曲線、機械学習の分類器におけるROC曲線は、いずれもαとβの観点で描かれています。
平たく言えば、
・有意差（有意水準＝危険率）は、生産者が本当は良品なのに不良品にしてしまう生産者ロス
・検出力は、良品ロットだと言って納入されたものが真に良品ロット（見逃された不良の混入がない）であるという消費者利益

ご質問者の疑問は、消費者側に立つと良く分かります。

No.9 回答者： kamiyasiro 回答日時： 2022/12/15 09:43

有意確率とは帰無仮説が棄却されるすそ野の確率です。

逆ですよ。＞#8さま

また、差がないという帰無仮説が「成り立つ」とは言いません。＞#8さま

帰無仮説は「保持される」です。
帰無仮説は「棄却されなかった」のであり「採択された」ではありません。

加えて、「差が無い確率が５％」という文言が非常に気になります。「通常起こり得ない確率」というべきではないですか。

No.8 回答者： ruben425 回答日時： 2022/12/13 01:04

「差がない」という仮説が成り立つ確率が有意確率で、検定統計量の確率密度関数の外側5%の領域に該当する値を取った場合は、有意確率が5%未満になり、「差がない」確率が5%未満で棄却（否定）できる。

→有意差があるとなります。
p<0.05なら「差がない」確率が5%未満で棄却
p<0.01なら「差がない」確率が1%未満で棄却
p<0.001なら「差がない」確率が0.1%未満で棄却
と「差がない」確率を3段階で示すことで、差がある確からしさを強調します。この3段階が有意水準です。

差がある場合、差の大小は様々なので、差があることを証明することは非常に難しく、「差がない」確率を推定することで有意差検定します。
通常、有意差検定したい場合は差が出てほしいものなので、「差がない」という仮説が成り立ってしまうとデータ解析の目的が無に帰すため、帰無仮説と言います。

ただし、有意差検定で95%信頼区間を用いる特殊な場合はあります。
オッズ比や相対危険度の有意差検定をする場合は、これらの比の値は1.0の時に2群の比率が全く同じということになるので、95%信頼区間が1をまたがない場合に有意差ありと判定します。（95%信頼区間が1をまたぐと比率が同じ可能性を排除できないという考え）
例えば、肺癌と癌がない人の喫煙率が全く同じなら1.0になります。

No.7 回答者： qas2021 回答日時： 2022/12/10 09:56

No.4です。

No.6さんありがとうございます。
ご指摘のとおり
「差がないというのが正しい場合に、差があると結論付ける確率が5％であると言うことだけですよ。」
が正しいです。

No.6 回答者： kamiyasiro 回答日時： 2022/12/10 02:36

#5です。

ところで、#4さんが書かれている「差がないというのが正しい場合に、差がないと結論付ける確率が5％である」はミスだと思います。
正しくは、「差がないというのが正しい場合に、差があると結論付ける確率が5％である」ですね。

これに関連して、差がないというのが正しい場合に、「差がない」と結論付けたい場合について述べます。
これは大変難しい問題で、通常の検定ではできません。通常の検定では「差があるとは言えない」という消極的な結論しか導けません。

なぜなら、#5の添付図のように、たとえ処置群の平均が対照群の95％範囲内に入っても、実はものすごく大きなβ、すなわち見逃しの確率があるからです。

差がないことを積極的に言うためには「非劣性の検定」「同等性の検定」という手法を用いて、このβを潰しにいく必要があります。

No.5 回答者： kamiyasiro 回答日時： 2022/12/09 22:50

有意差ありの「95％以上信頼できる」という文言は特殊な言い方です。

検出力のことを言っています。

普通は他の方が書かれているように、「危険率５％で有意」という言い方をします。それは、もし違いが無いときであっても、５％の確率で「差がある」と言ってしまう危険を冒している、ということです。
その確率を第１種の過誤αと言います。検定では、このαを有意水準とも言います。

一方、有意差ありの「95％以上信頼できる」という場合は、第２種の過誤βを使って、検出力＝１－βを求めたときに、その値が95％なのです。

これはつまり、もし違いがあっても、ある確率βで「差があるとは言えない」と見逃してしまうのですが、その確率が５％以下であるということです。

第１種の過誤のことを「あわて者の誤り」、
第２種の過誤のことを「ぼんやり者の誤り」とも言います。

図で示すと、βが極めて小さい、すなわち２つの群が十分離れているということです。

No.4 回答者： qas2021 回答日時： 2022/12/09 20:00

95%は何を意味しているのでしょうか？

有意水準5％で有意差があったからと言って、95%以上の確率で差があるとはいえません。
差がないというのが正しい場合に、差がないと結論付ける確率が5％であると言うことだけですよ。

No.3 回答者： 春閑 回答日時： 2022/12/09 15:54

20回に19回はほぼ同じ結果になる。

No.2 回答者： akubi_m 回答日時： 2022/12/09 14:53

危険度5%で有意

ではどうでしょうか。

No.1 回答者： yhr2 回答日時： 2022/12/09 12:51

単に確率が 0.95 以上か以下か、という話でしょう。

確率が 0.95 以上ということは、「5% 以下程度の確率で当てはまらないことがあり得る」ということで、それを「95％以上信頼できる」といっているわけです。