複数の異なる指標を総合して成績をつける方法について

複数の指標を総合して成績をつくることはよくあると思います。
例えば、スポーツの10種競技とかもそうだと思います。

１つ１つはある指標にしたがって成績がついているとします。
それらを総合して順位付けをしようとした場合、どのように
するのがいいと思いますか？
（それぞれの指標は、満点も違えば単位も違います。
　例えば、「売り上げ高」「お客さま満足度」「業務時間」
　とかいろいろな指標があります。）

下記のようなやり方はどう思いますか？
それぞれの成績（絶対値）を偏差値換算する。
各指標のウエイトを決め、偏差値換算とそのウエイトを掛け算して
すべての指標ごとに足し算する。

すべての指標ごとにあるウエイトをかけて足し算をするのは一般的
だと思いますが、偏差値換算するのははたしていいのかどうか
悩んでしまいます。
なぜなら、それぞれの最大値が違うのでそう思うのですが・・・。

アドバイス等ありましたらお願いします。

No.3 ベストアンサー 回答者： sanori 回答日時： 2007/09/16 05:09

（引用）

下記のようなやり方はどう思いますか？
それぞれの成績（絶対値）を偏差値換算する。
各指標のウエイトを決め、偏差値換算とそのウエイトを掛け算して
すべての指標ごとに足し算する。
（引用終わり）

大賛成です。正しいはずです。
私が同様の局面で用いる常套手段でもあります。

ウェイトは主観で決めてよいでしょう。企業で使われている、近年流行りの実力主義人事の評価シートも似たようなものですよ。センター試験でも科目ごとのウェイトは２００、１００、５０とかで、いかにも大雑把ですよね。

各項目の、売り上げ、あるいは、将来の売り上げへの貢献度というのが明確になっていて、式で表すことができるとなれば、それをウェイトに反映するのでしょうけれども、現実問題、難しいので、イマジネーションを働かせるしかないでしょうね。

注意すべき点としては、
・各指標が一次関数的でない場合、あらかじめ補正をかけてから偏差値換算すること。
　（たとえば、営業回りで、同じ客先を訪問する回数が１回、２回、３回・・・・・と増えても、契約を勝ち取る確率は、訪問回数にそのまま比例するわけではない。１０回でも２０回でもあまり変わらなくなってくる。）
・指標同士に（強い）相関がある場合、それらの指標をほかの指標と等倍で扱うかどうか吟味すること。
などがあると思います。

No.5 回答者： noname#108554 回答日時： 2007/09/16 10:37

主成分分析という方法があります。

http://ja.wikipedia.org/wiki/%E4%B8%BB%E6%88%90% …
SPSSなどの統計ソフトには入っています。
自分でやるのはかなり大変です。

ただし、主成分分析には様々な手法があるので、
それなりに勉強しないといけないです。
得点をそのまま分析にかけるか、それとも、
質問者さんのおっしゃるような、偏差値化してから分析するか、
などです。

それと一応気にしておきたいのが、
主成分分析は、元のデータが多変数正規分布していることを
仮定しているということです。

No.4 回答者： saaya_holic 回答日時： 2007/09/16 07:55

特定の指標で傑出している者を高く評価するか、平均的に優れている者を高く評価するかでウエイトの付け方が全く違うと思いますが。

No.2 回答者： kumipapa 回答日時： 2007/09/16 00:50

私は偏差値というのは一つの候補だと思いますが・・・。

真ん中付近が団子の状態というのは分布の特性そのものであって、偏差値の問題ではありませんよね。それに、団子は団子として評価するというのが妥当では？と思う。例えば、平均値より大きな点を取っていても偏差値でみれば大した事が無い、ということは、集団の中では五十歩百歩ということだから大きな得点を与える必要もないでしょう。単純に平均値だけを参照して得点を計算するよりは客観的に評価できる事が多いと思います。
何にせよ線形な変換をする限りにおいて真ん中付近が団子の状態は解消できないでしょうし、解消する必要もないと思う。

むしろ、各指標間のweightの置き方の方が難しいと思います。
評価者が何を重視するのかによりますし、質問者さんが上げた例のように、売上高と顧客満足度などは、それなりに相関があると思われるので、それらの数値にどのようにweightをかけるか。
適当にweightを置いて計算してみて、客観的評価として妥当かどうかが、その会社なり何なりの目的において検証されるべきことだと思いますので、これという一般解みたいなものって無いと思います。
こういうのって、専門で研究してる人がいそうですけどね。ごめんなさい。知りません。

No.1 回答者： ymmasayan 回答日時： 2007/09/15 23:45

偏差値では無理があるでしょう。

種目得点との関係がリニヤーになりません。
ご存知のように偏差値２０から８０として４０から６０の間に７０％近くの人が入ってしまいます。
それに引き代え８０を超える人は０．１５％です。
真ん中付近が団子になってしまうのです。