複数の評価者が分担して採点を行うと、各人の評価基準が違うため、採点に差が出ることはあたりまえだと思います。しかし、その結果を点数順に並べてランク付けする際、不公平さを避ける方法があるでしょうか?
いろいろネットで調べてみたところ、標準偏差を利用した格差調整があるようです。どのようにすればよいのでしょうか? 教えてください。どうぞよろしくお願いいたします。
例えば、6名の審査員がそれぞれ5名の審査を行い、その審査点を高い順に並べて評価を決めるのですが、審査員により、点数のつけ方に差がありすぎるので、格差調整をしてから評価をしたいというような場合に利用できる方法です。
No.4ベストアンサー
- 回答日時:
> 母集団がどれくらいの規模だと格差調整してもいいのでしょうか?
こちらは統計学の考え方で、誤差どれくらいとか有意差どれくらいとかで説明できるハズですが、統計は…失念。
> 審査員が15~20名で、母集団が700以上の場合、
感覚的には、これくらいの数ならそれほどバラつかない気がします。
--
> また、おっしゃるとおり、判断基準が違わないような方法を導入したいのですが、評価対象が記述されたものなので、難しいのかなと思います。
でしたら、事前に20名の審査員に10枚の全く同じ内容の回答(コピー)を採点させ、
ある審査員Aは平均80点の答案を平均で88点と採点した。
ある審査員Bは平均80点の答案を平均で72点と採点した。
…
などから調整のためのパラメータを決めておくとかって方法もあります。
また回答いただきありがとうございます。あらかじめ調整のためのパラメータを決めておくことなど新しいことを教えていただけるので、本当に感謝しております。調整にむけて動きたいと思います。
No.3
- 回答日時:
#1です。
>母集団がどれくらいの規模だと格差調整してもいいのでしょうか?
人数が多くなっても、申請者順などに振り分けると、やる気のある人たちが固まる可能性があります。
つまり、母集団の規模の問題ではなく、各審査員の先生に、それぞれ同程度のレベルの被審査者が割り当てられることが、妥当な格差調整を行なえるための必要条件となります。
何らかの個人情報から、年齢や、性別、他の能力などの条件が、できるだけ均等になるように、各審査員の方に被審査者を割り当てればよいかと思います。
また教えていただき、ありがとうございます。出てきた結果だけを調整すればよいかと思っていましたが、被審査者の振り分けから調整していかなければならないんですね。勉強することばかりですが、親切に教えていただけるので、本当に助かります。ありがとうございます。
No.2
- 回答日時:
> 6名の審査員がそれぞれ5名の審査を行い、
この母集団の数だと、たまたま成績の良い5人を一人の先生が担当し、格差調整の結果、成績が低く評価されてしまうような事が考えられます。
格差調整は妥当な方法だとは考えられません。
> 各人の評価基準が違うため、採点に差が出ることはあたりまえだと思います。
マークシート方式など、各人の判断基準が違わないような方法を導入しては?
回答ありがとうございます。
なるほど、母集団の数が少ないと調整すると かえって問題がでてしまうのですね。勉強になります。
母集団がどれくらいの規模だと格差調整してもいいのでしょうか?
審査員が15~20名で、母集団が700以上の場合、妥当な方法と言えるでしょうか?
また、おっしゃるとおり、判断基準が違わないような方法を導入したいのですが、評価対象が記述されたものなので、難しいのかなと思います。
No.1
- 回答日時:
簡単な方法として、
各先生ごとに、その先生がつけた点数を、偏差値に直せば、正規化されます。
参考URL:http://ja.wikipedia.org/wiki/%E5%81%8F%E5%B7%AE% …
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 数学 データの分析と標準偏差 5 2022/03/25 12:55
- 高校受験 偏差値41の高校を受験しました。入試のテストを自分で点つけしたところ、250点中約100点ほどしかと 2 2023/03/09 19:51
- 統計学 分析法バリデーションや分析方法に係る公的文書には、精度を求める際は、繰り返し回数を6回とすることと記 3 2022/09/01 01:23
- 数学 ファジィ理論について教えてください 2 2022/07/12 16:01
- 統計学 数学です 4 2022/07/20 23:06
- 簿記検定・漢字検定・秘書検定 満期保有目的債券の償却原価法の計算について(簿記2級) 1 2022/06/18 15:40
- 固定資産税・不動産取得税 京都市 固定資産税負担水準をかんたんに教えてください 1 2023/04/07 20:47
- 教師・教員 教員採用試験ってよく人間性重視とか言われてますけどほんとに人間性で決まるんですか? 東京都の公式HP 4 2022/09/12 18:11
- 中古車 1.ルーミー 1.0G S スマアシ2 総合評価点4 LED 年式 2017年(H29年) 車検 2 1 2023/04/21 20:56
- 統計学 統計的検定について教えてください。 1 2023/03/03 15:50
このQ&Aを見た人はこんなQ&Aも見ています
おすすめ情報
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
仮説検定
-
統計でいう「n」は、何の略な...
-
標準体重の求め方
-
数学や統計学に詳しい方、お力...
-
一つ一つの重さを計るのと10...
-
適正なサンプル数について
-
数学の「確率」に詳しい人がい...
-
アンケート調査に必要なサンプル数
-
統計学-母集団が少ない場合の...
-
標本のサンプルサイズ
-
有意差があってもサンプルサイ...
-
比率の差の検定について
-
t検定のt値について
-
評価者により採点に差が出るこ...
-
進研模試で数学の点数が65点だ...
-
統計学における有効数字につい...
-
今日数学のテストが返ってきて ...
-
偏差値60の人と偏差値50の人が...
-
なぜ共分散はSxyで表すのですか...
-
(1)で分散を求める時、解答では...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
統計でいう「n」は、何の略な...
-
N数?n数?サンプル数の「エヌ...
-
評価者により採点に差が出るこ...
-
t検定のt値について
-
統計学-母集団が少ない場合の...
-
仮説検定
-
有意差があってもサンプルサイ...
-
多数決 統計学に詳しい方教え...
-
エクセルで「集団から最大値、...
-
サンプルサイズで悩んでいます
-
分布からみた 標準偏差、標準...
-
行列の行と列に対称性がないり...
-
試行回数と誤差の関係
-
数量化3類について
-
「中心極限定理でサンプリング...
-
t検定って何ですか
-
統計学の検出力の問題が分から...
-
内閣支持率に差があるか、の検...
-
Zスコアと標準偏差について
-
モーメント法による母集団の偏...
おすすめ情報