統計で使う項目得点について

統計学についての質問です。アンケートでとったある質問項目について、群間の平均値差の検定を行いたいです。心理学に関わる項目ですが、ちゃんとした尺度ではなく、一項目の得点（7件法）です。複数の項目からなる尺度と比べて望ましくないことはわかるのですが、①どんな点がよくないのか、②レポートにまとめるときに書き方で注意したほうがいいことはあるか、教えてください。
ちなみに既に実施済みのアンケートなので、今から項目数を作ったり、増やすことはできません。

No.3 回答者： kamiyasiro 回答日時： 2021/08/18 19:55

お節介ですが、

高所得者群と低所得者群に関して、学歴の差を検定すれば有意になり、学歴の差が所得差の原因である、と言ったとします。

しかし、学歴に加えて、医師・弁護士・会計士・パイロットなどの高難度資格の有無を因子に加えると、学歴の影響は消えます。

これを「削除変数バイアス」と言いますが、あなたが行おうとしている検定は、学歴の差の検定をやろうというのと一緒です。

レポートにまとめるときは本当に注意した方が良いと思います。

最悪、今回は差が認められたが、他の因子の影響も否定できないため、今後の研究の課題である、と書いて弁解しておくのも一計かと思います。

No.2 回答者： kamiyasiro 回答日時： 2021/08/18 11:12

企業で統計を推進する立場の者です。

計量値の検定が使えるように、ちゃんと変数変換や外れ値除去がされているいう前提で、

①１項目の比較の良くない点
それは他の交絡因子の影響が分からないことです。

かつて、英国のガーディアンという新聞のコラムに、「英米の粗暴犯の犯歴で収監されている者の幼少期の食事を調べたらマクドナルドのようなジャンクフードだった」という記事が載りました。
マクドナルドが原因ではなく家庭の貧困が原因なのですが、それを見失っています。食事が原因だと決めつけた調査で、明らかなミスリードです。

②レポートにまとめるときは、そういうツッコミが入らないようにすべきです。例えば、コロナの感染爆発はGotoキャンペーンが原因だというようなミスリードをしないことです。もともとチャラい人たちがGotoキャンペーンに乗っただけで、今もチャラい人たちは市中に繰り出しています。

群間比較ということですが、被験者が多数おり、被験者の属性（性別とか他の影響がありそうな属性）は分かっていますか？それが分かっていれば、介入（ケース）群と対照（コントロール）群で、それらの属性の傾向スコアが同じであるという傍証を確保すれば良いと思います。

傾向スコアについては、傾向スコア分析の解説を読んで下さい。

No.1 回答者： yhr2 回答日時： 2021/08/18 10:55

＞ちゃんとした尺度ではなく、一項目の得点（7件法）です。

何が「ちゃんとした尺度」で、それに対して「一項目の得点（7件法）」がどのように対応するのかをきちんと評価するのがポイントではないですか？

「一項目の得点（7件法）」で「ちゃんとした尺度」をそこそこに再現する、あるいは近似できる、定量的には評価できないが定性的には評価できる、などなど。
この評価によって、「一項目の得点（7件法）」に基づく「群間の平均値差の検定」が、
・「ちゃんとした尺度」を用いたものと同等の評価といえる。
・「ちゃんとした尺度」を用いたものほどの精度はないが、ほぼ同等の結果と評価できる。
・定量的には「ちゃんとした尺度」を用いたもののような結果は得られないが、定性的には同等の結果と評価できる。
・それだけでは「ちゃんとした尺度」を用いたものがどうなるか、何とも言えない。
などの評価になるのではませんか？

いずれにせよ、一般論で
「複数の項目からなる尺度と比べて望ましくない」
とか
「どの程度精度が落ちるか」
などということはできないと思います。

「方法論を評価して、それが結果に与える影響を推定する」というプロセスが必要かと思います。
それは「一般論」ではなく、あなたが採用した方法に対する「個別論」だと思います。