評価の偏りについて？ aとｅが多すぎないか?または、少なすぎないか？を調べる統計手法が知りたい。

★以下長文につき、勝手を申して申し訳ありません。

小さな企業に転職して、人事やってます。昨年合併して、事業所の統廃合をします。
24事業所を20未満にするのに、人員の再配置をするのですが、そのために、
人事評価を11項目について、abcdeの五段階でするということになっています。
ところが、特定の項目に、aが多すぎる事業所や、eが少なすぎる事業所などが目立ちます。
各事業所ごとに実績値が違うので、全体的に優秀である事業所が存在してもおかしくはないのですが、
特定の項目に偏りが、、、または、評価者の見方・考え方に偏りがある場合、
後の統廃合後に甚大な影響があります。
そこで、統計的な手法で、一定の根拠を示し、当該の事業所の評価者に、
「あなたの評価の○という項目に関しては、偏りがあります」と示したいと考えています。
どのような、方法が適切でしょうか?アドバイス願います。
・24事業所　各30名程度の従業員　評価者は複数名からなる
・1従業員につき、11項目を五段階で評価
・一人ひとりがWholeServiceを提供する業務であるため、技術・事務・営業など
　複数のスキルについての評価項目がある。
例：イメージとしては
　　・技術力がまちまちなのに、やたらと営業力にaが多い、しかし、受注は下位止まり。
　　・事務手続きの決裁に遅延や齟齬が多く、困っているのに、事務力にeがいない。
　　・事務系、技術系とも平均的なばらつきに見える、営業の評価がやたらに低く、
　　　大丈夫かと思えるようなのだが、受注売り上げ共に、トップクラスである。
このような現象が多々ある。絶対評価で評価者の意識の差は前提として、
評価に関する規準や研修もある程度しっかりやっていると自負している。
あとは、他の事業所の評価を観ることができない、評価者に、
気づかせるための数値の出し方があればよいと思っています。
どなたか、アドバイスいただければ幸いです。

No.3 ベストアンサー 回答者： kamiyasiro 回答日時： 2019/12/02 23:30

企業でSQCを推進する立場にある者です。

aとｅが多すぎないか?　または少なすぎないか？を調べる統計手法は、正規分布を仮定しているのであれば、正規分布の形から逸脱しているかどうかで判断します。それには、「正規確率紙プロット」あるいは「QQプロット（クォンタイル・クォンタイル・プロット）」を使います。両者は左上と右下が反転しているだけで、同じものを見ています。正規分布を理想として出現頻度が直線になるようにプロットしますので、データが正規分布に乗るかどうかが分かります。

確率紙上でほぼ直線に乗っていれば、正規分布に近いと言えます。一部のプロットが95％信頼限界線から外れるようであれば、分布がゆがんでいると考えられます。事業所ごとに並べれば、どの事業所がゆがんだ評価をしているか分かります。

ただし、５段階評価をそのまま使うとプロットが階段状になるので、必ず複数の評価者の合計点などを使う必要があります。

異常値の対処方法ですが、一部の評価者（ジャッジ）に偏りがある場合は、被評価者に関して「トリム平均」を使います。

あるいは、ゆがんだ分布を正規分布に矯正する方法としては「ジョンソン変換」がありますが、これは高度な統計ソフトでしか使えません。

特定の評価者と被評価者が近いかどうか（エコひいきがあるか無いか）は、「対応分析（コレスポンディング分析）」を行ってバイプロットをすれば一目瞭然ですが、これも高度な統計ソフトでしか使えません。

エコひいきが無いのであれば、行が被評価者、列が評価者とすれば、各列から列平均を引くだけで評価者バイアスは取れます。

最近はHRテック（ヒューマン・リソース・テクノロジ）が発展してきて、定量的評価が必要となり、色々な手法が使えるようになりましたので、そういった解説本を参考にされるのが良いでしょう。



なお、「正規確率紙プロット」「QQプロット」についてはWEBでググると、エクセル上で作図する方法を示すサイトがいくつか見つかりますので、是非お試しください。

また、「相関係数」と書いている回答者がいますが、５段階評価だし、さらには順序値ですので、ピアソンの積率相関は使いませんというか使えません。上から目線で回答されていますが、無経験者だと思います。この場合は、スピアマンの順位相関、ケンドールの順位相関、クラメールの連関係数、ポリコリック相関などから目的に合ったものを使って下さい。

最後に、11の計測項目間の関連性ですが、順序ロジット回帰を使って関連性の強さを見るのが良いと思います。それぞれ、５段階評価ですから、「何年落ち」の中古車がどの「評価ランク」になるのか、というような数字の扱いになります。総合評価にはどの項目が効いているのか、ということを調べたいときに有効です。

この回答へのお礼

お忙しいところ、適切な回答をいただき､有り難うございました。
「正規確率紙プロット」と「QQプロット」作成したころ、こちらの予想どおり、直線から逸脱した、観測値を限定していけました。
最大の課題は、全評価者への的確な解説でしたが、数値よりPLOTで示した方が、わかりやすいとの評判です。
もう少し、ノンパラメトリック手法についての質問であることを、前提に問い合わせれば良かったのですが、こちらの言葉不足で、回答者の皆さんに、ご迷惑を掛けたかもしれません。
kamiyasiro様には、ありがとうございました。

お礼日時：2019/12/06 14:14

No.2 回答者： sandaba 回答日時： 2019/12/02 20:23

いったい何をしたいのか不明です。

まずは質問者が何を求めているのか自分自身できちんと理解する、言語化するのが先ではないですか。

評価者の見方に偏りがある、そんなのは当たり前でしょう。「標準」があるわけでもないし。

特定の評価者による採点が著しく客観性を欠くように思えるなら、そいつを外せばいいだけです。どうやって「偏っているか」を評価するか、もっと適切な方法はあるかもしれませんが、ぱっと思いつくのは他の人々による評価との相関係数をとってみることです。ほぼゼロとかマイナスだとしたら明らかに周りとは違うということです。

「特定の項目に、aが多すぎる事業所や、eが少なすぎる事業所などが目立ちます」とのことですが。ならばその評価を相対評価に換算して最終評価すればいいんじゃないですか。あるいは評価者に対して、a, b, c, d, eそれぞれ何パーセントから何パーセント以内に収まるよう指示すれば済みます。

ところで大前提として、その「複数の評価者」というのは、一人の評価者がすべての事業所の従業員を評価しているのでしょうか。それとも、各事業所ごとにまったく違う評価者がやっているのでしょうか。後者であるなら（いや多分こっちだと思いますが）、事業所をまたいだ評価が統計学的に公平になることなんてありえない。

No.1 回答者： AR159 回答日時： 2019/12/02 14:01

統計的処理の前に、そもそも評価基準ははっきりしてますか？

まず事前の目標設定があって、その目標をどの程度クリアしたか、個人の成果が事業所の成果にどの程度貢献したか。
これらについて定量的評価と、数字に表れないものは定性的評価を組み合わせる。さらに成果になる前段階として期中のプロセス評価も必要です。

こういった評価方法について統一的な配点基準を決め、それでもまだバラツキが出るだろうから評価者と人事部門の個別すり合わせをすべきです。

この一連の作業の中で事前の目標設定が最も重要です。上から一方的に押し付ける目標でなく、社員と管理者が話し合いの上で納得あるものにすることが大切です。目標設定時に納得ある話し合いができたかアンケート調査で確認します。

この回答へのお礼

ご回答有り難うございます。
ご指摘いただいた点については、クリアしている（完全ではない、、、だから質問しました）という前提です。
評価規準･基準は徹底されています。各項目に関して、下層に様々な観点が設定されており、観点の下には、観点を構成する数値目標と形成評価の細分化された項目も存在しています。これらを総合して、なおかつ貴兄の言うプロセスも含めて、総合評価を11項目それぞれに出しています。
（項目を統合した人物評価などは決してしていません）
付け加えるなら、missionstatementも、社として、事業所として、チームとして、また、個人毎の現対応案件毎に、設定されており、できうる限りの客観性を担保しつつ、恣意的な要素を除外できるよう努力はしているつもりです。（これができていないのだとは思いますが・・・・）
言い換えれば、それでも起きる偏りならそれを注視した経営判断をするべきであり、やはり偏りが自然なものではないのなら、是正するために、貴兄のアドバイスにあるどの部分に注力すればよいかを判断することになります。
いただいたアドバイスでは、最初から評価を見直せ・・・となってしまうかもしれません。
したがって、見直すなら何が前提（根拠）で、どのような箇所を、どう見直すかまで、落とし込まなければなりませんので、
そういった、指標になるような手法があればと、お尋ねした次第です。
お時間をいただき有り難うございました。

お礼日時：2019/12/02 14:34