テストの等質性 同質性 について

テストの等質性・同質性についてどなたか詳しい方教えて下さい

今、事前テストと事後テストが同じ質・難易度であるという事を証明したいのですが、その方法がいまひとつよくわかりません。

・相関分析で有意性がない
・t検定で有意さがない
・等分散検定で等分散

の３つを満たす、という事を聞いたのですが、本当でしょうか？

よろしくお願いします

No.2 回答者： orrorin 回答日時： 2008/07/14 12:15

横から失礼します。

>やっぱり相関がない、ではなく相関がないべきなのですよね。
違います。相関はあるべきです。
二つのテスト結果に相関がないということは、両者がまったく異なるものを対象としているということです。
ご質問の場合、正の相関を示す必要があります。
実際に正の相関が出ているということですので、同質というのは問題ないでしょう。

>t検定では危険率なし
もしかしてSPSSの出力表のp値の欄の表示を見て言っているのでしょうか？
理論上、危険率なし（p＝0）なんてことはあり得ません。
そして仮にp<.01の場合、それは差が有意であることを示しています。
従って、上記のテストの場合、難易度が異なるものである可能性が示唆されます。

しかし、そもそも英検の問題を2回分使ったということでしたら、それぞれのテストごとに標準化してあるはずですから、そのまま使ったとしても問題ないように思いますけどね。
ただ、質問者様の採った方法が、全部を一緒くたにしてそこからランダムに30問ずつを選ぶというやり方だと、難易度が偏る可能性はあります。
英検の問題の構造までは知りませんが、前半より後半のほうが難しいといった作り方をしている可能性があるからです。

No.1 回答者： monolisk 回答日時： 2008/07/10 13:24

どういうテストであるのかによって変わります。

なので現在の情報だけでは確定的な言い方はできないのですが、少なくとも相関分析で相関が認められなかったら、同質とは言えませんよね。

難易度ということは試験のような問題かと思いますが、その場合は相関が認められること（正の相関）、ｔ検定（受験者内）で有意差がないこと、等分散性（F）、が認められれば一応は同質と言えると思います。

ただ。例えば事前テストの後に何かしらの教育をし、そのあと事後テストを行う、などの場合、t検定による差で等質性を証明はできませんし（むしろそれが目的なので）、等分散（F検定）が不要である場合もあります。

この回答への補足

monoliskさん
ありがとうございます。
やっぱり相関がない、ではなく相関がないべきなのですよね。

テストは、英検準2級のリスニング問題2回分計60問を（各問４つの選択肢問題）を30問ずつに分けたものです。
メインの研究の前ではおっしゃる通り計ることはできませんので、
そのテストを実験として別の集団に受けさせています。
結果、t検定では危険率なし、等分散、正の相関有意差あり
という結果になっています。

これで、３つの条件が満たされたと思うので、一応同質といえそうな気がするのですが、いかがなものでしょうか？

よろしくお願いいたします

補足日時：2008/07/10 20:20