評定者間一致（inter-rater reliability）の使い方についての質問です

大学生です。研究でサンプルを幾つかのカテゴリーに分けて分析したいとき，分類の客観性を保持するために評定者間一致を計算するときがあると思います。

この評定者間一致についてですが、以下のように使っても問題ないでしょうか？

「500人の病人を診察し、病気ごとに分類したい。診断者は2人だが、500人全員を2人で診断するのは時間の制約上厳しい。そのため、まずは50人を2人で診断した結果についての評定者間一致を計算し、その数字がAcceptableであれば、残りの450人はどちらか一人が診断する。」

もし評定者間一致をこのように使うのが不可能であり、代わりに上記のような使い方が可能な手法をご存じの方は教授いただければ幸いです。


※あくまでも病人というのは、サンプルの例です。実際の研究では全く違うサンプルを用いますが、やりたいことは同じです。

質問者からの補足コメント

• 

  申し訳ありません。「」内の文面に間違いがありました。
  
  「500人の病人を診察し、病気ごとに4つのカテゴリーに分類したい。診断者は2人だが、500人全員を2人で診断するのは時間の制約上厳しい。そのため、まずは500人から50人をサンプルとしてランダムに選び、彼らについて2人が別々に診断した結果についての評定者間一致を計算し、その数字が0.61（https://toukeier.hatenablog.com/entry/2019/05/06 …）以上であれば、500人全員をどちらか一人で診断する。」
  
  kamiyasiroさま、せっかく回答をいただいたのに申し訳ありません。

    補足日時：2021/10/03 23:09

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2021/10/04 03:43

カッパ係数を使うのであれば、良いと思います。

「同じといえるかどうか」ではなく「まあこれくらい合っている」という話ですので。

ところで、カッパ係数は-1～1の値を取ると承知していますが、かのサイトは正値しか取らないような書き方をしています。

実際のところ、どうなんでしょうね。他の記述をしっかり調査されることをお勧めします。

この回答へのお礼

kamiyasiroさま、再度の回答を本当にありがとうございました。

カッパ係数についてですが、今まで常にゼロ以上だと信じていました…

調べ直してみたところ、不一致数が一致数よりも多ければマイナスの値を取るとわかりました。

大変勉強になりました。

お礼日時：2021/10/04 08:06

No.1 回答者： kamiyasiro 回答日時： 2021/10/03 22:43

評価者要因 AV Appraiser Variation とは、統計の世界では群間変動と呼ばれるものです。

対して、機器要因 EV Equipment Variation は、群内変動に相当します。
前者が再現性、後者は精度（反復精度、併行精度）と呼ばれます。

問題となるのは、「評定者間一致を計算し、その数字がAcceptableであれば、」の部分です。

「差がある」ことは一般の分散分析で言えますが、「差が無い」「Acceptable」は、同等性の検定をやらない限り言えません。

「群間変動が群内変動を上回わらなければ、全てをどちらか一人の診断に代える」ではまずいですか？

全てを同一にするのは、バイアスが入らないようにするためです。