統計方法について

統計初心者の質問で申し訳ありません。

Aの方法で、成績を1-3点に振り分け
Bの方法で同様に成績を1-3点に振り分けました。

これらの成績から、AとBの方法について有意差があるかどうか検定するには、どのような検定方法が通常用いられますか？

t検定、マンホイットニーのU検定なのか
点数が1点から3点と3通りしか表示されませんが、これらの分散などを検定する必要もあるのでしょうか？

また、一般的にこれらの有意差を示すためのサンプルサイズは両群どのくらい必要になるでしょうか？

散らかった文章で申し訳ありませんがご教授ください。よろしくお願いします。

No.3 回答者： kamiyasiro 回答日時： 2023/10/18 09:51

#1です。

②の方法は、

・被験者vs採点者の二元表を作る。
・被験者にも優劣があり、採点者にも甘い辛いがあるので、それらを取り除くために二重中心化を行う。
（二元配置実験の主効果を取り除くような操作です）
・その結果、その表には残差が残る。それは偶然誤差の範囲内であることが望ましいが交互作用が残ることもある。言い換えれば、ある被験者と採点者の組合せが異常に高かったり低かったりすることを発見できる。

という仕組みです。
二元配置実験は交互作用を解くことはできませんが、ここでは特定の審判をモデルに入れるか入れないかで、誤差が変化することを調べます。
（共分散分析のような感じです）

これを、ご質問者のような被験者をカテゴライズしたデータに、どう適用するかということになります。ちょっと思案中です。

No.2 回答者： kamiyasiro 回答日時： 2023/10/18 08:51

#1です。

②のケースだと、A採点者とB採点者の違いは、過去の採点者の採点バラツキなど、どの範囲までの違いなら妥当なのかという基準が無いと無理ですね。

フィギュアスケートの審判の不正は、東ドイツの審判の採点が、他国の審判の採点バラツキを逸脱しているかどうか、で判定しています。

東ドイツの審判と日本の審判を１対１で比較しても、まあ誤差範囲かと言われればおしまいですよね。

No.1 回答者： kamiyasiro 回答日時： 2023/10/18 08:43

＞AとBの方法について有意差があるかどうか

少なくとも、採点される被験者は共通なんですよね。
マンホイットニーは被験者が同じ母集団から得られたものかどうかを調べる方法ですから、適用できません。

①A採点者とB採点者と採点傾向が独立だと言いたいのですか？
ならば、３×３の分割表の検定で、その条件は各項のｎ数が５以上あればＯＫかと思います。
この検定で有意になると、採点傾向は相互に関係がある、ということになります。

②それとも、まあまあ成績順になっているが、一部順位が入れ替わっていて、それは見過ごせないものかどうか知りたいということですか？
こちらであれば、少々考えさせて下さい。

②の分析例としては、かつてのフィギュアスケートの採点において、例えばｎ＝７人のファイナル出場者に対し、５人の審判がおり、主観で採点する方法が取られていましたが、A自由主義圏の審判とB共産主義圏の審判の採点に見過ごせない差があるかどうか、調べた事例があります。（数字はあまり自信がありません）

例えば、金メダル候補の米選手に対し、悪意を持ってさりげなく下位の点数をつける東ドイツの審判とかです。
その悪意を暴くために統計が用いられました。