アンケートの集計方法について

統計素人です。
学生では有りませんので相談できる先生もおらず途方にくれております。
お手数ですがどなたかご教授いただければ幸いです。


自サイトでECサイトを開いておりまして、当サイト上でユーザーに対して
商品の満足度について調査するためにアンケートを行いました。
その結果を元にランキング形式にしてユーザーに公開をしたいと考えております。

ユーザーの満足度に関する回答は５段階（★５、★４、★３、★２、★１）です。
なお、各★間は等間隔の尺度として扱いたいと考えております。


この場合、回答数が極端に少ない商品は除外すべきかと素人考えで思うのですが
何を基準に集計対象を算出すればよいのでしょうか？

オリコンさんも同様のランキングを作っており
http://beauty.oricon.co.jp/information/method.ht …

集計対象外について2.5%を基準としているようです。
こちらの数値になにか根拠はあるのでしょうか？
それとも統計をする人間の決めの問題なのでしょうか？


また、質問ばかりで恐縮なのですが
各商品の満足度はユーザー満足度の平均を採用しようと思っておりますが
この考えは正しくはないのでしょうか？


※なお、商品は自サイトのみで販売をしております。

No.1 ベストアンサー 回答者： raiching 回答日時： 2008/09/26 18:04

＞集計対象外について2.5%を基準としているようです。

↑
これは「回答数が極端に少ない商品は除外すべき」という話ではなく、ある商品について「異常に高い得点をつけた人」と「異常に低い得点をつけた人」といった
『異常値』を排除するため、正規分布における信頼区間２σ（シグマ）を使ったのでしょう。
（平均値から±２σ以内に母集団の９５％が含まれる）
↓
http://www.sci.kagoshima-u.ac.jp/~itls/Japanese/ …

質問の
＞この場合、回答数が極端に少ない商品は除外すべきかと素人考えで思＞うのですが
＞何を基準に集計対象を算出すればよいのでしょうか？
↑
に対しては、この話ではなく、その下に記述されている
＞データの偏りを考慮して規定人数に満たない企業は除外
を参考にすべきです。

オリコンの集計では
＞人材紹介会社 20人未満
のように、恣意的（エイヤ！で）に決めていると思います。


＞各商品の満足度はユーザー満足度の平均を採用しようと思っておりますが
＞この考えは正しくはないのでしょうか？
↑
間違っていないですよ。
ただ、５点満点だと数字が小さくてインパクトが無いので
100点満点にすればよいかもしれません。

No.3 回答者： taba 回答日時： 2008/09/27 03:51

何のためのアンケートおよび結果の公表かということをまず考えましょう。

お客さんが参考にするためであるなら、回答が数人（あるいは1人）であっても、結果は参考になる場合があるでしょう。もちろん回答人数を明記しておく必要があると思いますが。
amazonでも、評価は1人でも出ていますね。

平均値はデータの特徴の一部を示す指標で、#2の方が説明されているとおりです。自分が買い手の立場なら、平均も知りたいですが、悪い点を付けている人の割合も知りたいですね。
同じ平均3でも、全員が3なのと、5と1が半々なのとでは、まったく意味が違いますので。

質問者さんのECサイトの利用者という母集団ですから、どういう数値を出してもその商品の一般的な評価と一致する保証はありません。オリコンのように個別店舗をランキングして公表するというようなものと、同じ考え方をする必要はないでしょう。

No.2 回答者： ryuken_dec 回答日時： 2008/09/26 19:23

＞この場合、回答数が極端に少ない商品は除外すべきかと素人考えで

＞思うのですが
＞何を基準に集計対象を算出すればよいのでしょうか？

厳密な統計的な考えだと、組み入れたサンプルを除外することは不適切です。
ただし、商売では厳密な統計処理を行うわけではないので、回答数が少なければ排除というように恣意的に歪めることは許されているようです。
統計を少しでも知っていれば、回答数が少ない商品は得点が高くても(低くても)有意ではないと判断できるのですが、多くの一般消費者は無理でしょうから。


＞オリコンさんも同様のランキングを作っており
＞集計対象外について2.5%を基準としているようです。
＞こちらの数値になにか根拠はあるのでしょうか？
＞それとも統計をする人間の決めの問題なのでしょうか？

まず、これはその人の決めの問題です。
そして、オリコンの決めの根拠ですが、正規分布を前提とした±２α(２標準偏差)を根拠にしているのかと推測します。正規分布だと±２α以内に約95%が収まります。ですので、上と下に飛び出る2.5%ずつを異常値として除外しているのではないでしょうか。


＞各商品の満足度はユーザー満足度の平均を採用しようと思っておりますが
＞この考えは正しくはないのでしょうか？

何を持って正しいと言うかしだいですが、「平均だけ」だと危うさはあります。
===
(例)商品Aと商品Bの満足度
　・商品A： 3
　・商品B： 3
商品Aと商品Bでは一見差がありません。しかし、内訳を見てみると以下のように全いました。
　・商品A：満足度1が100人、満足度5が100人
　・商品B：満足度3が200人
===
一般的な凡庸な顧客なら、満足度3とだけ聞くと「そんなに良くはないけど、悪くもないかな」なんて商品Bのような期待をして買うかと思います。
しかし、商品Aはきっとツボにはまった人には大満足で、はまらない人には大不評とiPhoneのごとく、かなり偏った設計の商品のようです。
できるのであれば、その内訳があると嬉しいところです。

平均という数字が間違っているわけではありませんが、それで商品の評価を正確に表せるものではありません。