評価に偏りがあると言えるかを調べたいです

ある面接に対しての面接官の（合格を出す）評価に偏りがあると言えるかを調べたいと思っています。

面接官は5人おり、面接官1人がそれぞれ10人の面接対象者（全員で50人）と面接し、その結果を合格か不合格か判断します。
なお、合格率は特に設定しておらず、面接官が合格と判断すればそれだけで合格となります。
また、面接対象者は皆ある程度近しい能力を持っているが多少のばらつきはあります。

この条件のもと、面接官Aは8人、面接官Bは7人、面接官Cは5人、面接官D、Eはそれぞれ3人に合格判定を出したとした場合、面接官の評価に偏りがあると言えるでしょうか？
それともこの条件ではそもそも判断することはできないでしょうか？

結果だけを見ると偏りがあるように見えますが、それを論理的に説明したいと思っています。
少しネットで調べたところカイ二乗検定で調べられそうではありましたが、
期待度数がわからないため（合格率を設定していないから？）求められませんでした。

もし調べられるようであれば調べ方を、調べられないようであれば何があればどのような方法で調べられるのかも教えていただけると助かります。

No.1 回答者： yhr2 回答日時： 2019/02/16 15:29

＞評価に偏りがあると言えるか

これは「偏り」とは何かを定義しないと、何とも言えません。

単なる「合格率」だけでいうなら、明らかに「偏り」があります。
その場合には、「面接官は、すべて同じ合格率で判定する」という帰無仮説を立てて、「カイ二乗検定」をすればよいです。やるまでもなく「帰無仮説は却下され、面接官の判定する合格率は等しいとはいえない」という対立仮説が採択されるでしょう。
この場合には、「5人の面接官の平均合格率」を基準にして、そこからの「ばらつき度合い」がカイ二乗分布の「信頼度95％」（有意水準5%の場合）の範囲に入るかどうかで判定します。
やりかたは、こんなサイトを参考に。
http://www.geisya.or.jp/~mwm48961/statistics/kai …

そもそも、判定基準や着目点が違うのに、「合格率」が等しくなるということは通常では考えられません。
「いかなる判定基準であっても、必ず上位3人を合格者にする」といった基準でも設けないと、そうはならないでしょう。