確率・統計での検定の考え方

確率統計における検定についてお尋ねします。
ある本には、２つの標本があって、その２つが同一母集団から抽出されたと言っていいかどうかを調べる。これが検定である、と書いてありました。
一方で仮説検定ということになると、検定の前に仮説が提示され、その仮説が成立するかどうかを検定するということになると思います。

この２つの"検定"に対する説明は微妙に違うようにも思えます。前者は仮説が明確に提示されていないからです（暗黙的には提示されている）。

検定とは、
１．仮説を提示する。（明確に提示されていないなら明確化する）
２．その仮説が満たすべき条件を設定する。棄却域・採択域とか。
３．その標本が２を満たしているかどうかチェックして判定する。
ということでいいでしょうか。

定期試験の合否なら、
１．この学生はこの科目を習得している
２．試験で60点以上の得点がある。棄却・採択の閾値が60点
３．試験を採点する。

確率統計はいろんなものを対象にしているので本の書きぶりに幅があって、かつかなり暗記的な部分（60点とか95%とか、対象とそれが従うべき分布とか）もあり、腰が定まらない感じがします。
どのようなものを相手にしてもこのような解釈が成り立つでしょうか。

よろしくお願いします。

No.1 回答者： トモクンアヤチャン 回答日時： 2021/09/07 08:27

「２つの標本があって、その２つが同一母集団から抽出されたと言っていいかどうかを調べる。

これが検定である。」
この場合の仮説は、「その２つが同一母集団から抽出された」
ですね。どちらも同じことを言っているものだと思います。
１．２つの標本があって、その２つが同一母集団から抽出された。と仮説を立てる。
２．その仮説が満たすべき条件を設定する。棄却域・採択域とか。
３．その標本が２を満たしているかどうかチェックして判定する。
で、どうでしょうか。

この回答へのお礼

早速の回答ありがとうございます。検定されるべき課題が事前に提示されている、ということですね。本を読んでいるとそれが明示されていないことがあるような気がしてお尋ねしました。今、何をやってるんだろう？？？ということです。ある報告書で....t値は...、ｐ値は....とか書いてあり、だからどういうことを言っているのかがわからないような報告書でした。当たり前なのかなと思って質問しそびれるということにもなりました。標本にバイアス(作為的データであったり、都合のいいデータだったりとか）はかかっていない(らしい)ということが確認されたっていうことですね。

お礼日時：2021/09/07 09:03

No.2 回答者： yhr2 回答日時： 2021/09/07 09:51

検定とは、端的にいえば

・仮定したことが、統計的に起こり得るか
を調べることです。

ある統計分布（要するに出現する確率分布です）を考えたときに、「確率○○% の範囲内に入るかどうか」を調べ（その確率○○%が「信頼度」、「1 - 信頼度」が「有意水準」）
・その範囲内であれば、統計的なバラツキによって起こり得る
・その範囲外であれば、通常の統計的なバラツキによっては起こり得ない
を判定して、後者であれば「有意である」（その現象が起こるのは、バラツキによってではなく、しかるべき理由があって起こっている、それが起こる理由・意味がある=有意である）と判断します。
つまり、後者であれば「仮定した通りだとすれば起こりえない」「仮定が間違っている」と判断します。
（ただし、それは「決定論」ではなく「統計的な確率論」で、ということ）

検定の中身、つまり「何を仮定するか」が、「2つの標本の比較」であったり、「母集団と標本の比較」であったり、「規範データと特定データとの比較」であったり、さまざまです。


＞確率統計はいろんなものを対象にしているので本の書きぶりに幅があって、かつかなり暗記的な部分（60点とか95%とか、対象とそれが従うべき分布とか）もあり、腰が定まらない感じがします。

「統計的な確率論」で論ずる以上、「60点」などというデータは「統計的に処理できる標準データ」に変換しないといけませんし、どんな確率分布に基づくものと仮定するのかによって、使う分布もまちまちになるのは当たり前でしょう。

その最も根本的な基本を理解していれば、ご質問のような疑問は出てこないと思いますが？

＞定期試験の合否なら、

「定期試験の合否判定」は検定ではありません。
「確率論」ではなく「決定論」で決めるでしょう、ふつうは。
この書き方を見る限り、上に書いた「検定のココロ」を全く理解できていないみたいですね。
仮に「統計的な確率論」で決めるのであれば、その「60点」をどうやって決めるのか、というところが「検定のココロ」です。（毎回60点ではあり得ない、毎回合否判定ラインが変わる、ということは分かりますね？）

この回答へのお礼

回答ありがとうございました。今回の質問の主旨は、”検定”という言葉が目的（入口）ありき、ということで、検定の結果（出口）がそれに伴うという図式となっているということの確認でした。定期試験云々はそのたとえということで内容とは直接に関係しません。”検定”試験という言い方もありますが、入り口：この人は合格か？　出口：Yes or No　という図式のたとえです。
なぜ、このような疑問が生じたかというと、例えば本によると、”母平均の検定”とか”分散比の検定”という言葉が出てきて、混乱してしまったからです。文脈依存ということでしょうから、全体を通して何を言っているのか理解するべきですが、”母平均の検定”とは”2つの標本のそれぞれの平均値による標本の等質性の検定”の略ではないかと思ったのです。つまり、目的として標本が作為的に作られたものではないことの証左とでもいうのでしょうか。視聴率とかアンケートとかの有効性の証明というようなことです。そういうことなのでしょうか。そういう風に考えると単純に”母平均の検定”といわれると何をしているのかわからなくなってしまう印象を受けました。”母平均の区間推定”だったらわかりやすいですが。一方、”仮説”検定はその辺が明確に示されていますね。仮説が提示されているわけですから。
検定とは常に検定されている内容（目的）を意識するべきであり、明示されるべきであり、念頭におくべきである、ということです。端的に言うと”母平均の検定”ではなく、”(母)平均による検定”（母平均は未知なのでひっかかりますが）ということです。私の質問は当たり前過ぎなのかもしれませんが。いかがでしょうか。

お礼日時：2021/09/08 08:37

No.3 回答者： kamiyasiro 回答日時： 2021/09/09 09:55

企業で統計を推進する立場の者です。

どうもエセ本というかヤバい本を入手されたようです。

ご質問者が書かれた「その２つが『同一母集団から抽出された』と言っていいかどうかを調べる。」は、大きな間違いです。

主張したいのは「○○間には差がある」ということですが、一般にはこれを対立仮説とします。
対立仮説が採択されなかったときは、帰無仮説を棄却できなかったのであり、帰無仮説が採択されたのではありません。
そのときの結論は「○○間には差があるとは言えない」のであって、「○○間には差が無い」と言いきってはいけないのです。
つまり、帰無仮説が棄却されれば「その２つが異なる母集団から得られた標本である」と言えますが、帰無仮説が棄却されないときに「同一母集団から得られた標本である」と主張するのは間違いです。
その本の記述は、後者に言及しています。クワバラ・クワバラ。
（#1さんは間違いを述べており、#2さんは（たぶん分かっていて）言及を避けてみえます。）


次に、仮説を設けるかどうかの記述ですが、これは少し複雑です。Fisher の有意性検定とNeyman–Pearson の仮説検定があるからです。

テキストによっては、Fisher の有意性検定とNeyman–Pearson の仮説検定を明確に区別する場合があります。そのテキストが仮説を設けることを明確に書いていないのだとすれば、初学者向けに難解さを避けているのだと思います。

Fisher の有意性検定は、ある統計量の理論分布中の相対位置（乖離の程度）を調べることによってレアなことが起きているかどうかを検定します。「差が有意だ」とは言いますが、帰無仮説が棄却されたとは言いません。代表的なものは分散分析です。

Neyman–Pearson の仮説検定は、二つの過誤を用いて、検出力（１－β）を担保しながら、対立仮説の成立性を論じます。

一般のテキストにある仮説検定は、Neyman–Pearson っぽいですが、行われていることはFisher 流です。それは、検出力（１－β）にまで注意を払っていないからです。

最初の話に戻りますが、どんなケースでも「差がある」ことを主張したい訳ではなく、「差が無い」ことを主張したい場合もあります。このときは「差が無い」という主張が対立仮説になります。これを同等性の検定とか非劣性の検定と言います。かなり面倒な方法です。でも、「差が無い」ことの成立性がキチンと担保されます。
ジェネリック医薬品が先行薬と同等であることを、初学者向けテキストに書いてある方法で検定することはできません。

よく、企業のQCサークル指導者が問題を作って、このトラップに引っ掛かります。企業の人が書いている「よく分かる・・・」的なテキストは買わない方が良いです。

この回答へのお礼

回答ありがとうございます。私も質問で、”同一母集団から抽出されたことを言いたい”というのは言い過ぎたかも、と思いました。「差がある」「差がない」「同一母集団から抽出された」についてはそれを論じることが目指す目的があると思います。２学級間の学力の同等性が担保されたので補習授業はやらなくていいね、とか、アンケート調査の対象に偏りがない（恣意的に選んだわけではない）ことが示せたとか、です。本にそこまで書いてもらったらわかりやすいかもしれません。
難しい面が多いのでテンプレートとして出来上がった検定の実用例に自分のデータを流し込んでブラックボックス的に使うほうがいいのかなと思ったりしました。そういう意味で”目的”と”結果”を書いてほしいと思っていました。今、何やってるんだろう？という気持ちになったので。

お礼日時：2021/09/10 20:10

No.4 回答者： kamiyasiro 回答日時： 2021/09/09 10:27

#3です。

＞この２つの"検定"に対する説明は微妙に違うようにも思えます。

ご質問者様は初学者とお見受けしましたが、Fisher の有意性検定とNeyman–Pearson の仮説検定の違いを感じ取るなんて、すごい感性の持ち主だと思いました。
素晴らしい！

私なんか、最初のうちは何度説明を受けても理解できませんでした。

この回答へのお礼

回答ありがとうございます。私は何もわかっておりません。ただ、自然に疑問が出てきただけです。理解できないのでどうなっているの？というわけです。
確率統計は難しいです。σ加法族とかルベーグ積分が出てきたり（フーリエ解析まで？）、固有名がズラズラと出てくる手法があったり、論争の歴史があったり、数学のような演繹やそれでいて丸暗記のようなとらえどころがない面があり、そしてなにより全学問分野との関わりがある（法律学はどうかなとは思いましたが）ものです。哲学的な言い方をする人もいます。

こんなの理解している人いるのかなと言いたいぐらいです。専門が他にあって確率統計的な面もあるような人たちが本を書いているからこうなるのかなと思うのですが。富士山を静岡側だけから見ているとか。

お礼日時：2021/09/10 20:20

No.5 回答者： kamiyasiro 回答日時： 2021/09/11 16:05

#3です。

コメントありがとうございます。
各派閥の目的をまとめたいと思います。

フィッシャー派の有意性検定は、今回観測された標本が従来と異なるかどうかに興味があり、「差がある」と言うことを目的としています。

ネイマン・ピアソン派の仮説検定は、各々の標本が取りうる範囲の重なりに着目し、対立仮説が明らかに成立するかどうかに興味があり、帰無仮説を否定することを目的としています。
#2さんが書かれているように「（帰無仮説で）仮定した通りだとすれば（今回の観測は）起こりえない」「仮定が間違っている」と考えて帰無仮説を否定（棄却）し、対立仮説の成立を担保します。

取りうる範囲の正確を期すために、ゴセット（スチューデント）のｔ値やウェルチの検定が開発されたと聞けば納得して頂けると思います。

ところで、F検定をやって「分散の差がなければ」従来のｔ検定、分散の差があればウェルチの検定、と書いているテキストは私は間違いだと思います。
F検定で、分散には「差が無い」と主張できるわけがないからです。それは帰無仮説が「成立する」と言っているのと同じであり間違いです。
私はRという統計ソフトを使いますが、Rのｔ検定は有無を言わさずウェルチで行われます。しごく当然だと思います。

ついでにベイズ派のベイジアン分散分析は、各々の標本が取りうる範囲の重なりに着目しますが、逸脱しているかどうか（P値で示されます）には興味がありません。目的はどんなモデル（仮説）が一番成立しやすいかを見つけることであり、観測値に占める従来の範囲の割合が少ないほど、「（今回の観測値は）主張するモデルが成立する証拠たりうる」と判断されます。
このとき、帰無仮説に相当するものはNULLモデルとして他のモデルと同列で評価され、NULLモデルが最も成立しやすいという結論になることもあります。この場合、「差が無い」と言うことはできず「（今回の観測からは）何も言えない」という結果になります。

No.6 回答者： kamiyasiro 回答日時： 2021/09/11 17:18

#5dです。

１箇所、訂正させて下さい。

フィッシャーの目的ですが「『有意な』差がある」と言うことです。

５％の部分を有意水準と言ってみたり、棄却域と言ってみたり、というのは二者の違いから来ています。書いてあることは少ないですが・・・。

No.7 回答者： r_umaniamnvi_the_5th 回答日時： 2021/09/13 04:36

すかむかすさんおはようございます。

　標本を疑うかどうかが質問です。標本を疑いません。
　1文当たりの読点の数で解釈が成り立ちます。
　『[連載]フリーソフトによるデータ解析・マイニング第65回』https://www1.doshisha.ac.jp/~mjin/R/65/65.htmlさんが良かったです。「異なる標本データが同一の母集団に属しているかどうか、あるいはデータのパターンが同じであるといえるかどうかについて、仮説を立て、その仮説を統計的に立証する方法を仮説検定という。」とありました。1つの標本は芥川龍之介の大正15年の作品の1文当たりの読点の数です。もう一つの標本は芥川龍之介の昭和2年の作品における1文当たりの読点の数です。2つの標本の母集団が同じではないです。標本が作為的に作られたものではないことを示すことを目的にしていません。

この回答へのお礼

回答ありがとうございます。検定の中に標本を２セット取り出して差の検定、分散の比の検定を行います。いずれも差はない、比は１(同じ)という仮説Hoを検定します。差はないとは言えない、あるいは比が１とは言えないという結論に至った場合、同一母集団から同一の手法（両方とも無作為とか）で抽出された標本であるとは言えない（言い切ることができない）というところまではいけるでしょうか。母数（母平均、母分散）が一致しているとは言えないと断定することは、結局そういうことなのかと思いました。
　そこで、さらに踏み込んで”あなた、何かズルをしたでしょ？”と言ってしまうかどうかはユーザ次第であり、検定とは無関係ではと思います。
確率統計は対象によっては莫大なインパクト（薬効・視聴率）を与えることもあり、結論を言い切るかどうかに対して何らかの留保があるというのは大方の見方だと思います。”そこまでは言えない”という説明がよくあります。しかし、その方向ではあるとは言えないでしょうか。”作為的に作られていない、と言い切れない”とかです。

お礼日時：2021/09/15 22:49

No.8 回答者： kamiyasiro 回答日時： 2021/09/13 10:16

#7さん、朝、早いですね～。

ところでリンク先について、金明哲先生がこんな間違いを書いているとは存じませんでした。尊敬している先生なのにショックです。

前にも書きましたように「同一母集団に属している」は普通の検定では主張（立証）することはできません。

これについては、例えばリンク先↓の説明を読めば分かります。同等であることを主張するためには「同等である」ことを対立仮説にして、その成立性を担保しなければなりません。
このサイトは米国で一般的に使用されているminitabという統計ソフトのサイトですが、「立証責任」とか言う話を持ち出していますね。

ところが日本製のソフトは同等性の検定ができないばかりか、一般の検定で帰無仮説が棄却できない時は「『平均は変わったとは言えない』というような消極的な結論にとどまらざるを得ない」ことを理解している人が少ないような気がします。

https://support.minitab.com/ja-jp/minitab/18/hel …

まあ、間違った解析では査読が通らないので、世間に害はないですが・・・。

この回答へのお礼

回答ありがとうございます。２つの標本を 同一母集団に属している と主張したくなる場面というはいろいろあるんだろうと思います。それがないと集計に意味がなくなったりしそうです。母平均の差の検定と母分散の比の検定などがありますが、その２つだけでは同一母集団に属するに対しては不十分ということになるでしょうか。逆に 母平均の差がない という仮説が棄却された場合は 同一母集団に属するとは言えない はOKでしょうか。母平均の一致が確認できないということなので同一母集団と断定できるはずがない、ということですが。

お礼日時：2021/09/15 23:32

No.9 回答者： kamiyasiro 回答日時： 2021/09/13 10:31

＞標本が作為的に作られたものではないことを示すことを目的にしていません。

いやいや、これも検定で判明しますよ。

メンデルのえんどう豆の色と皺の遺伝の実験が捏造である、という疑惑がフィッシャーによって提起されています。「過度の一致」という統計的には起こり得ない観測が生起していることがカイ２乗適合度検定で分かるのです。
これは結構有名な話で、ネット上に「やってみた」系の分析が数多く示されています。

https://rion778.hatenablog.com/entry/2020/03/08/ …

私はこれを、F検定（分散分析）は片側検定だが、カイ２乗検定は両側で行うのが一般的である、という説明を受けたときに、教えてもらいました。

この回答へのお礼

カイ2乗検定はノンパラメトリック検定（標本に分布を仮定しない）になるでしょうか。分散の検定であり、仮説で与えた分散と標本分散の比が検定統計量（カイ2乗分布）になるので棄却・採択のラインを決めて検定すると思いますが。脇道にそれましたが。

お礼日時：2021/09/15 23:49

No.10 回答者： kamiyasiro 回答日時： 2021/09/13 10:51

＞標本が作為的に作られたものではないことを示すことを目的にしていません。

「作為的に作られたものでは『ない』ことを『立証できない』」という点では正しい記述ですね。

すみませんでした。