データの分析の仮説検定です。 8面サイコロを使う理由がわからないです。解説お願いします。

データの分析の仮説検定です。
8面サイコロを使う理由がわからないです。解説お願いします。

No.1 回答者： yhr2 回答日時： 2022/11/17 23:25

確率 1/8、試行数 100 程度の「二項分布」では、「正規分布で近似できる」とはいえないので、「分布の概形」として「8面サイコロの試行結果」を使えということなのでしょうね。

No.2 回答者： kamiyasiro 回答日時： 2022/11/18 02:08

#1さんに１票。

サンプルサイズ100の試行を800回なんてよくやりますね。

二項分布の信頼区間って、統計ソフトRでやると11種類も出てきますから。そういう異論が出るのを避けるため、実験データで代用させるんでしょう。

ところで、
・１の目の総数の期待値は、100/8 × 800 ＝ 10000個なんだけど、10077個あるし（現実味ある）、
・平均は12.59625で、1/8の12.5回より多いし、
・グラフは添付のように「いびつ」だし、

さあ、どうしましょう。補正すべきだと思いますが・・・。
上側は、それらしく減衰するように捏造してあるみたいですけどね。

上のグラフを面積を１としたときの、0.05に相当する面積部分を上側にとると、それが棄却域になります。
それを補正したグラフでやるかどうかです。

なお、我々実務者は、こういうケースでは下の累積和グラフをスプライン曲線で近似して使います。累積和グラフなら、5％点とかも分かりやすいし。

No.3 回答者： kamiyasiro 回答日時： 2022/11/18 10:55

#2です。

もうひとつ、忘れていました。
累積和グラフを作る時は「連続化補正」「連続性補正」という補正が必要です。

累積和グラフは、厳密に描くと階段状のグラフになります。
その階段のステップの中点を結ぶ、という連続化を行います。

それは、ビンとビンの中点は確率的に正しいからです。
（最初の横軸４の箇所には1個目～2個目、次の横軸５の箇所には、３個目～11個目がプロットされますが、横軸4.5の箇所に、縦軸2個目の累積確率をプロットして、それを結んでいきます。だって、その切り替わりの境界までに累積で2個出現したということですからね）

大学の統計の授業であれば、必要な補正だと思います。

この回答へのお礼

高校一年生です。
すいません、もう少し易しく説明してくださるとありがたいです。仮説検定の考え方自体はわかるのですが、今回8面サイコロを使う理由がわからないんです…

お礼日時：2022/11/18 11:37

No.4 回答者： kamiyasiro 回答日時： 2022/11/18 20:06

仮説検定とは、

今回の観測が、従来の分布の95％範囲内であれば、そんなことは普通に起こり得る事なので、違うことが起きたとは考えないでおこう。というしくみですよね。

この問題では、前回のアンケートで1/8の支持が得られたので「それが普通に起こり得る範囲」知りたいのですが、それを、1/8の確率で目がでるサイコロを使って、範囲を調べたというのです。

なぜサイコロ？その理由は、

①この支持するか支持しないか、の出現確率は二項分布に従うのですが、二項分布は離散分布なので通常は何らかの連続関数近似を使います。正規分布とか。そこから範囲を求めます。

②しかし、#1さんがおっしゃるように、また私が#2で書いたように、近似法はすそ野の部分が合わないのです。ですから様々な解法が提案されており、そこだけで議論になってしまいます。
（大学生になると、すそ野の一致性を良くする方策として、ロジット変換とが逆正弦変換があるということを学ぶと思います）

でも、高校の範囲なので、そこで今回は、1/8の確率で出目が観測されるサイコロを使って、「普通に起こり得る範囲」を実測したので、それを使え、ということです。

もし、前回のアンケート結果が1/10だったら、10面の鉛筆転がしにしたでしょう。

No.5 回答者： kamiyasiro 回答日時： 2022/11/18 21:40

さて、この問題、実務家視点でやると・・・

まず、表より累積和プロットを作ります。

ただし、縦軸は、累積和を801で割って百分率に変換します。なぜ、801かというと、前から１番目の点は0個目でなく1個目なのに、全体が800個だとすると、後ろの最初の点は0個目になってしまうからです。
データが801個あることにすれば、辻褄が合います。これを「平均ランク法」と言います。その他には「メディアンランク法」などがあります。

添付図の黒のプロットは、表から作成した生データのプロットです。
一方、赤いプロットは、階段状のステップの中点で、「連続性補正」に用いるプロットです。

赤い曲線は、赤い点（連続性補正点）を上手く通るように、スプライン曲線で近似した線です。

黒の補助線は、観測値が18のとき、累積確率がいくらになるか、調べた線で、0.9504581です。

微妙に棄却域に入っていますが、こんなんで支持率が上がったとはみなさないでしょう。

ということで、この問題が出題者の検討不足であることが露呈しました。

No.6 回答者： stomachman 回答日時： 2022/11/19 18:11

この表を「公正なサイコロ」で作ったなんてのは（8万回もサイコロ振ったなんてウソでしょ、という以前に、サイコロが「公正」かどうかをどうやって確かめたのか、という大問題があることを考えれば、もう間違いなく）ウソであって、数値実験で作ったに違いないでしょう…というのはさておき

> 8面サイコロを使う理由がわからない

　実にもっともな疑問だと思います。二項分布
　　B(n,p,k) = (nCk)(p^k)((1-p)^(n-k)) (n=100, p=1/8)
が必要なら、素直に二項分布の累積度数表を（適切な精度で）掲載すればいいだけのことで、サイコロを持ち出してくる理由はありませんよね。
　なのに、敢えて実験結果の度数表を「用いよ」と求める出題者の意図は何か。それを推測すると、「確率質量関数の理論分布が不明で、経験分布が実験に基づく度数表でのみ与えられている場合に、その表を使いこなせるか」ということを問うのが目的（？）というぐらいしか思いつきません。

　さて、本当に（この場合はウソだけど、仮にホントに本当に）度数表だけが頼りの場合にそれを使いこなすために必要なのは、

表の作り方に基づいて表自体が持つ誤差を推定し、表を利用する際にその誤差を考慮に入れる

ということです。たとえば

　「1の目が出た回数が100回中18回以上である」を事象Xとすると、その相対度数は表から52/800なので、Xが生じる確率pは概ね52/800である。
　そこでp=52/800だと仮定すると、Xがn=800回中k回生じる確率は、二項分布 B(800, 52/800, k) に従い、期待値μはもちろんμ=np=52、標準偏差はσ=√(np(1-p)) ≈7。つまりμ±2σ程度の値(38〜66)であってもおかしくない。
　さて、B(800, 52/800, k) はk≈μ±2σ近辺では正規分布で近似していいよね。すると「帰無仮説が有意水準5%で棄却できる」ということが生じる確率が計算できる。

…というようなことをやるスキルが求められる。

　しかし、
●これは高校レベルでやることなのかなあ？ちょっと高度すぎないかなあ？と思います。
● その高度さに対して、「支持する有権者は全体の1/8であった」という前提のイーカゲンさ（精度が不明）がいかにも不釣り合いで、とても不自然です。
●もしマジで「表を使いこなせるか」を問うのが目的なら、選挙の話なんかしてないで、ストレートに「1の目が出た回数が100回中18回以上である」の確率について、たとえば信頼区間を問えば良いはず。その場合、サイコロが「公正」である必要もありません。
●逆に、選挙の話をするのが主眼なら、（すでに述べた通り）素直に二項分布を持ってこないでサイコロなんか持ち出すのは、はなはだ不自然。

というわけで、単に出題者がトチくるっているだけではないのか？という気がするんですよね。

No.7 回答者： kamiyasiro 回答日時： 2022/11/19 22:18

#6さんへ

「観測された表を利用する際にその誤差を考慮に入れる」のは、確かにそうだと思いました。

しかし、二項分布は、０と１に漸近する箇所では、誤差は０になり、非対称であるので、52/800＝0.065という小さい確率の部分をμ±2σという対称な幅で議論することはできません。（０や１を越えてしまいます）

実測表の信頼区間まで考慮すべきとおっしゃるなら、非対称性まで説明してあげないと・・・。

添付図は二項分布の累積確率の95％信頼限界の例（誤差は上下方向）
（本質問のケースは観測数が多いので、もっと狭くなります）

No.8 回答者： kamiyasiro 回答日時： 2022/11/19 22:33

あと、気になったんですが、分布のパラメータ（グラフの横方向のσ）と、確率の誤差（グラフの縦方向のσ）をごっちゃにしていませんか？

私の理解不足でしょうか。

No.9 回答者： kamiyasiro 回答日時： 2022/11/19 23:29

#5です。

実測表の誤差を考慮すべき、というご指摘があり、もっともだと思いましたので、累積確率グラフに95％信頼限界を入れました。青い線です。

方法は、各連続性補正点で「ClopperとPearsonの正確信頼区間」による計算を行い、スプライン曲線で結んであります。

この結果から、注目すべき横軸18の箇所の、
・95％信頼上限＝0.9653747
・95％信頼下限＝0.9345315
でした。

つまり、

この実験が、たとえ正確なサイコロが使われているとしても、何万回もやったわけではないので、不確かさが残ります。
そこで、95％信頼区間から判定することにします。
「今回は支持率が上がった」とぬか喜びしないために、95％信頼下限を用いると、0.9345315であり、棄却域に入りません。

「支持率が上がったとは言えない」

という結論になります。

No.10 回答者： kamiyasiro 回答日時： 2022/11/20 02:08

もしかして、何面のサイコロかは別として、「なんで二項分布でやらせないのか」が疑問なのでしょうか。

それは計算が破綻するからです。
小数点以下の数値を合わせて100乗と言った時点で破綻することは分かりますよね。桁落ちします。

実測を示しているのは、そのためです。

大学生になれば、統計ソフトを使ってやるでしょう。けど、それすらベータ関数で近似して計算しています。