確率・統計での検定の考え方

確率統計における検定についてお尋ねします。
ある本には、２つの標本があって、その２つが同一母集団から抽出されたと言っていいかどうかを調べる。これが検定である、と書いてありました。
一方で仮説検定ということになると、検定の前に仮説が提示され、その仮説が成立するかどうかを検定するということになると思います。

この２つの"検定"に対する説明は微妙に違うようにも思えます。前者は仮説が明確に提示されていないからです（暗黙的には提示されている）。

検定とは、
１．仮説を提示する。（明確に提示されていないなら明確化する）
２．その仮説が満たすべき条件を設定する。棄却域・採択域とか。
３．その標本が２を満たしているかどうかチェックして判定する。
ということでいいでしょうか。

定期試験の合否なら、
１．この学生はこの科目を習得している
２．試験で60点以上の得点がある。棄却・採択の閾値が60点
３．試験を採点する。

確率統計はいろんなものを対象にしているので本の書きぶりに幅があって、かつかなり暗記的な部分（60点とか95%とか、対象とそれが従うべき分布とか）もあり、腰が定まらない感じがします。
どのようなものを相手にしてもこのような解釈が成り立つでしょうか。

よろしくお願いします。

No.14 回答者： r_umaniamnvi_the_5th 回答日時： 2021/09/18 04:00

No.14=7です。

　母集団について2つの解釈を提示します。1.薬Aを投与した標本と薬Bを投与した標本の母集団が異なるので薬Aの薬効が薬Bの薬効より高い。2.薬Aを投与した標本と薬Bを投与した標本の母集団が同じなので2つの薬の薬効の比較ができる。前者は各々の薬の投与で２つに分けます。後者は人で1つに括ります。
　『京都大学大学院医学研究科 聴講コース 臨床研究者のための生物統計学「仮説検定とP値の誤解」』の20:10頃からのSlide 20と21で統計 model に必要な仮定が挙がっています。
C-1.Data が正規分布している
C-2.平均値が等しい
C-3.Random 化されている
C-4.Random sumpling されている
C-5.研究計画は遵守されている
C-6.すべての解析結果が報告されている
C-7.帰無仮説

A.標本の取り方
B.標本
C.仮定
検定でわかるのはCの7から1のいずれかまたは複数の仮説が誤っていることです。

No.13 回答者： kamiyasiro 回答日時： 2021/09/17 22:30

#12です。

補足です。

主な検定統計量 u，t，F, χ^2 ですが、相互に関係があるので、あるパラメータについて検定したいときは○○しか用いてはダメ、ということはありません。

例えば、２つの平均の差の検定を行うのにt検定を使いますが、一元配置の分散分析でF検定を行うのと何が違うのか、と迷うことがあります。実はどちらを用いても同じ結果が得られます。

No.12 回答者： kamiyasiro 回答日時： 2021/09/17 12:04

#11です。

コメントありがとうございます。

＞脇道にそれたノンパラメトリック検定についてなのですが、

【１】検定というものの手順は、標本→あれこれ処理して→検定統計量→(自由度に依存した)数表等での棄却域 による検定ということですね。
TとかFとかカイ2乗で検定統計量に対する判断を行うということですね。

→　はい。ちょっと長くなりますが、手順は次のとおりです。u，t，F, χ^2 が主な検定統計量です。

①まず、仮説と危険率を明示します。
H0：μ＝μ0
H1：μ≠μ0
α＝0.05

帰無仮説はナル・ハイパーセセス（本当の発音はヘイエパースーシス）といい番号0が振られます。
対立仮説は、１番から順に番号が振られます。33番まである論文を見たことがあります。

μ（平均）等に付く添え字の数字0は、ゼロ・バイアスドで既知・真値の意味です。添え字が無いものは、現在観測されている値です。

αは第１種の過誤で、棄却域を表しています。

②そして、次に検定統計量を計算します。
例えばｔ検定では、to＝〇〇と書かれます。このときの添え字は、よくゼロ０と間違われますが、観測値に関する値、オブザーブドですから小文字のオー「o」です。

③そして、棄却域の区間のｔ値と比較されます。to＞t(0.975，φ＝10)のように書かれます。
toのＰ値Ｐ(to)で論じる場合もあります。Ｐ(to)＜0.025

④最後に「ゆえに帰無仮説は棄却され（危険率〇〇で）対立仮説が採択された」と結論が書かれます。

ネイマン・ピアソンの仮説検定の目的は「帰無仮説を否定したい」であり、それを証明する流れになっています。



【２】ここでノンパラメトリックは標本に対する制約がない（標本が何分布でもいい）、という風に思ってました。逆にパラメトリックの場合は標本の分布が検定に適合するか下調べが必要、ということになるのでしょうか。

→　はい。「標本の分布が」ではなく、検定したい「分布のパラメータが」何かによって、何検定を使うのかが決まります。それは一般的には暗記です。

パラメトリックとは分布のパラメータ（指標）を指し、正規分布であればμとσです。そのμについて検定したい、というのがパラメトリック検定です。検定対象によって使用する検定統計量は決まっています。

一方、順位とか比率とかは、分布を仮定できませんので、パラメータもありません。そのような順位とか比率について検定したいときはノンパラメトリック検定になりますが、通常、u，t，F, χ^2のいずれかに近似して行います。それも検定対象によって決まっています。

No.11 回答者： kamiyasiro 回答日時： 2021/09/16 09:00

#8,9です。

丁寧なコメントありがとうございます。

＞母平均の差の検定や母分散の比の検定などがありますが、それらは「同一母集団に属する」に対しては不十分ということになるでしょうか。

はい。同一母集団であることは言えません。
仮説検定は50種類くらいありますが、そのいずれも同じです。
それらは「帰無仮説が棄却できる（成立する可能性は極めて低い）から対立仮説の成立性が担保できる」というロジックを使っています。
一方、帰無仮説が棄却できないときに対立仮説を明確に否定できているかというと、それは出来ていません。
つまり対立仮説が成立する可能性が残されている以上、「差があるとは言えない」という消極的な結論になってしまいます。


＞逆に 母平均の差がない という帰無仮説が棄却された場合は 同一母集団に属するとは言えない はOKでしょうか。母平均の一致が確認できないということなので同一母集団と断定できるはずがない、ということですが。

OKです。帰無仮説が棄却されている場合は、「（危険率○○で）差があると言える」と明確に言っても良いです。


＞カイ2乗検定はノンパラメトリック検定（標本に分布を仮定しない）になるでしょうか。分散の検定であり、仮説で与えた分散と標本分散の比が検定統計量（カイ2乗分布）になるので棄却・採択のラインを決めて検定すると思いますが。

カイ2乗検定そのものはパラメトリックですが、適合度の検定（カイ2乗検定を用いる）はノンパラメトリック検定です。他と同様に棄却域を決めて検定します。
適合度の検定で、期待度数と観測度数の乖離（正しくは基準化した乖離の２乗和）が、連続量の検定統計量（カイ2乗分布）になるというのは近似です。
期待度数がゼロ漸近するような場合は近似できません。その場合はフィッシャーの正確確率検定を用います。
というか、全てフィッシャーでやっても良いのですが、フィッシャーは式中に階乗が出てくるので計算が重く、大した違いも無いので近似で行われます。



あと、おっしゃるとおり、ズルをしかたどうかという原因については、何も言及できませんね。原因は分からないが差は明確だ、ということです。
もし原因に言及したければ、処置群と非処置群を用意して、盲検化し、注目因子以外はランダム化した比較試験をやらなければいけませんね。薬効の治験と同じです。

この回答へのお礼

回答ありがとうございます。おかげ様で理解が整理されてきた感じです。
脇道にそれたノンパラメトリック検定についてなのですが、検定というものの手順は、標本→あれこれ処理して→検定統計量→(自由度に依存した)数表等での棄却域 による検定ということですね。
TとかFとかカイ2乗で検定統計量に対する判断を行うということですね。ここでノンパラメトリックは標本に対する制約がない（標本が何分布でもいい）、という風に思ってました。逆にパラメトリックの場合は標本の分布が検定に適合するか下調べが必要、ということになるのでしょうか。パラメトリックのほうが一手間かかる、という風に見えてしまうのですが。

お礼日時：2021/09/17 06:21

No.10 回答者： kamiyasiro 回答日時： 2021/09/13 10:51

＞標本が作為的に作られたものではないことを示すことを目的にしていません。

「作為的に作られたものでは『ない』ことを『立証できない』」という点では正しい記述ですね。

すみませんでした。

No.9 回答者： kamiyasiro 回答日時： 2021/09/13 10:31

＞標本が作為的に作られたものではないことを示すことを目的にしていません。

いやいや、これも検定で判明しますよ。

メンデルのえんどう豆の色と皺の遺伝の実験が捏造である、という疑惑がフィッシャーによって提起されています。「過度の一致」という統計的には起こり得ない観測が生起していることがカイ２乗適合度検定で分かるのです。
これは結構有名な話で、ネット上に「やってみた」系の分析が数多く示されています。

https://rion778.hatenablog.com/entry/2020/03/08/ …

私はこれを、F検定（分散分析）は片側検定だが、カイ２乗検定は両側で行うのが一般的である、という説明を受けたときに、教えてもらいました。

この回答へのお礼

カイ2乗検定はノンパラメトリック検定（標本に分布を仮定しない）になるでしょうか。分散の検定であり、仮説で与えた分散と標本分散の比が検定統計量（カイ2乗分布）になるので棄却・採択のラインを決めて検定すると思いますが。脇道にそれましたが。

お礼日時：2021/09/15 23:49

No.8 回答者： kamiyasiro 回答日時： 2021/09/13 10:16

#7さん、朝、早いですね～。

ところでリンク先について、金明哲先生がこんな間違いを書いているとは存じませんでした。尊敬している先生なのにショックです。

前にも書きましたように「同一母集団に属している」は普通の検定では主張（立証）することはできません。

これについては、例えばリンク先↓の説明を読めば分かります。同等であることを主張するためには「同等である」ことを対立仮説にして、その成立性を担保しなければなりません。
このサイトは米国で一般的に使用されているminitabという統計ソフトのサイトですが、「立証責任」とか言う話を持ち出していますね。

ところが日本製のソフトは同等性の検定ができないばかりか、一般の検定で帰無仮説が棄却できない時は「『平均は変わったとは言えない』というような消極的な結論にとどまらざるを得ない」ことを理解している人が少ないような気がします。

https://support.minitab.com/ja-jp/minitab/18/hel …

まあ、間違った解析では査読が通らないので、世間に害はないですが・・・。

この回答へのお礼

回答ありがとうございます。２つの標本を 同一母集団に属している と主張したくなる場面というはいろいろあるんだろうと思います。それがないと集計に意味がなくなったりしそうです。母平均の差の検定と母分散の比の検定などがありますが、その２つだけでは同一母集団に属するに対しては不十分ということになるでしょうか。逆に 母平均の差がない という仮説が棄却された場合は 同一母集団に属するとは言えない はOKでしょうか。母平均の一致が確認できないということなので同一母集団と断定できるはずがない、ということですが。

お礼日時：2021/09/15 23:32

No.7 回答者： r_umaniamnvi_the_5th 回答日時： 2021/09/13 04:36

すかむかすさんおはようございます。

　標本を疑うかどうかが質問です。標本を疑いません。
　1文当たりの読点の数で解釈が成り立ちます。
　『[連載]フリーソフトによるデータ解析・マイニング第65回』https://www1.doshisha.ac.jp/~mjin/R/65/65.htmlさんが良かったです。「異なる標本データが同一の母集団に属しているかどうか、あるいはデータのパターンが同じであるといえるかどうかについて、仮説を立て、その仮説を統計的に立証する方法を仮説検定という。」とありました。1つの標本は芥川龍之介の大正15年の作品の1文当たりの読点の数です。もう一つの標本は芥川龍之介の昭和2年の作品における1文当たりの読点の数です。2つの標本の母集団が同じではないです。標本が作為的に作られたものではないことを示すことを目的にしていません。

この回答へのお礼

回答ありがとうございます。検定の中に標本を２セット取り出して差の検定、分散の比の検定を行います。いずれも差はない、比は１(同じ)という仮説Hoを検定します。差はないとは言えない、あるいは比が１とは言えないという結論に至った場合、同一母集団から同一の手法（両方とも無作為とか）で抽出された標本であるとは言えない（言い切ることができない）というところまではいけるでしょうか。母数（母平均、母分散）が一致しているとは言えないと断定することは、結局そういうことなのかと思いました。
　そこで、さらに踏み込んで”あなた、何かズルをしたでしょ？”と言ってしまうかどうかはユーザ次第であり、検定とは無関係ではと思います。
確率統計は対象によっては莫大なインパクト（薬効・視聴率）を与えることもあり、結論を言い切るかどうかに対して何らかの留保があるというのは大方の見方だと思います。”そこまでは言えない”という説明がよくあります。しかし、その方向ではあるとは言えないでしょうか。”作為的に作られていない、と言い切れない”とかです。

お礼日時：2021/09/15 22:49

No.6 回答者： kamiyasiro 回答日時： 2021/09/11 17:18

#5dです。

１箇所、訂正させて下さい。

フィッシャーの目的ですが「『有意な』差がある」と言うことです。

５％の部分を有意水準と言ってみたり、棄却域と言ってみたり、というのは二者の違いから来ています。書いてあることは少ないですが・・・。

No.5 回答者： kamiyasiro 回答日時： 2021/09/11 16:05

#3です。

コメントありがとうございます。
各派閥の目的をまとめたいと思います。

フィッシャー派の有意性検定は、今回観測された標本が従来と異なるかどうかに興味があり、「差がある」と言うことを目的としています。

ネイマン・ピアソン派の仮説検定は、各々の標本が取りうる範囲の重なりに着目し、対立仮説が明らかに成立するかどうかに興味があり、帰無仮説を否定することを目的としています。
#2さんが書かれているように「（帰無仮説で）仮定した通りだとすれば（今回の観測は）起こりえない」「仮定が間違っている」と考えて帰無仮説を否定（棄却）し、対立仮説の成立を担保します。

取りうる範囲の正確を期すために、ゴセット（スチューデント）のｔ値やウェルチの検定が開発されたと聞けば納得して頂けると思います。

ところで、F検定をやって「分散の差がなければ」従来のｔ検定、分散の差があればウェルチの検定、と書いているテキストは私は間違いだと思います。
F検定で、分散には「差が無い」と主張できるわけがないからです。それは帰無仮説が「成立する」と言っているのと同じであり間違いです。
私はRという統計ソフトを使いますが、Rのｔ検定は有無を言わさずウェルチで行われます。しごく当然だと思います。

ついでにベイズ派のベイジアン分散分析は、各々の標本が取りうる範囲の重なりに着目しますが、逸脱しているかどうか（P値で示されます）には興味がありません。目的はどんなモデル（仮説）が一番成立しやすいかを見つけることであり、観測値に占める従来の範囲の割合が少ないほど、「（今回の観測値は）主張するモデルが成立する証拠たりうる」と判断されます。
このとき、帰無仮説に相当するものはNULLモデルとして他のモデルと同列で評価され、NULLモデルが最も成立しやすいという結論になることもあります。この場合、「差が無い」と言うことはできず「（今回の観測からは）何も言えない」という結果になります。