t検定に関する質問です

統計学の質問
USMLE（アメリカの医師国家試験）用の問題集で次のようなものがあります
適切な検定手法を選ぶ問題なのですが、問題文が

Used to evaluate differences between a group of medical students' scores on USMLE Step 1 and the same students' scores on USMLE Step 2.
となっており、

選択肢の中には
Paired t-test, Correlationなどが含まれています。

[注：アメリカの医師国家試験は、Step 1, 2, 3と３つの異なる試験から成っています。問題数や制限時間などのインターフェースは似ていますが、各stepの内容や難易度は異なっています。]

私は、USMLE Step 1 と USMLE Step 2は異なる試験で、スケールが異なるのでCorrelationが正解だと思ったのですが、

問題集の正解はPaired t-testとなっており、その根拠は
a paired t-test is used, because the scores evaluated are from the same medical students on two different examinations, USMLE Step 1 and USMLE Step 2.
と書かれております。

私のこれまでの理解では、
T testは同一スケールにある２つの集合の平均の比較に用い、この２つの集合が、
「異なる被験者」から得られたデータからなる場合はnonpaired t-test
「同じ被験者で異なる時間」から得られたデータからなる場合はpaired t-test
を用いるというものでした。

実際、他の参考書では次のように記載されています。

Nonpaired t-test: Tests the mean difference in body weights of subjects in group A and subjects in group B at Time 1 (i.e., two groups of subjects are sampled on one occasion).

Paired t-test: Tests the mean difference in body weights of people in group A at Time 1 and Time 2 (i.e., the same people are sampled on two occasions).

さて、どちらの言い分が正しいでしょう。
よろしくお願いします。

No.3 ベストアンサー 回答者： sen-sen 回答日時： 2002/07/26 09:55

＞本問は「受験生の能力は一定である」という仮定の下で、試験の難易度に違いがあるかを測定しているわけですね。

そうとも言えません。平均値の差がないとは言い難いという検定結果が得られた場合に、試験の難易度に差があった、生徒が両試験の間に勉強した、その検定結果ではタイプ１のエラーがあったなどの解釈が成り立ち得ます。

＞同じ受験生であったとしても、２，３年の開きがあると、知識の面では同じ母集団といえないと思うのですが・・・。

２つの正規母集団から、標本として対応のある何組かの観測値が偏りなく得られた場合に、母平均の差の検定を行うのがPaired t-testです。従って、それぞれ異なる母集団と考えています。さらに、医学研究では平均値の差の検定を行う際には標本の代表性の検証や差の検出力やEffect sizeなどの検討も行う必要があります。統計学の教科書をご参照下さい。

＞かりに、本問がdifferencesでなくrelationshipであれば、correlationを使うわけですよね？

私ならそれに○を付けてしまいそうです。

この回答へのお礼

来月この試験（STEP1）を受験するため、現在勉強していて浮かんだ質問でしたが、おかげさまで大変よく分かりました。それにしましても、ここまで的確に答えられる一般人とはどのような方なのかなあ？？と思ってしまいました。

お礼日時：2002/07/26 11:08

No.2 回答者： sen-sen 回答日時： 2002/07/26 07:19

＞evaluate differences

試験の種類によって点数に違いがあるかどうかを評価するのであれば平均値の差の検定を行うのがよいでしょう。「他の参考書」にある例では体重を試験の点数に置き換えて考えるとよいかもしれません。相関関係は、それぞれの試験の点数に関係があるかどうかを検討するために行われるものでしょう。

また、平均値の差の検定では、ペアが取れるものでは、Paired t-testを行うと個体差の影響を取り除けるために差の検出力が大きくなることが知られています。従って、行うべき検定法は、Paired t-testではないでしょうか。

この回答への補足

鋭いご指摘ありがとうございます。ご指摘のとおり、"evaluate differences"が本問のキーとなっているようで、これとは別に、

Q) Used to evaluate the relationship between the scores of medical students on USMLE Step 1 and their parents' income.　
A）correlation

というのがあります。

本問は「受験生の能力は一定である」という仮定の下で、試験の難易度に違いがあるかを測定しているわけですね。

かりに、本問がdifferencesでなくrelationshipであれば、correlationを使うわけですよね？

補足日時：2002/07/26 07:35

No.1 回答者： noname#12673 回答日時： 2002/07/26 03:52

統計はそれなりにやっているのですが、英語にあまり自信がない学生です。

n-kiraさんは、STEP１とSTEP２の難易度が違うことを既知のこととしていますが、むしろこのことを検定せよって問題ではないでしょうか？

スケールというのがどういう意味の言葉かいまいちはっきりしませんが、標準偏差ってことでしょうか？それとも満点の点数自体が違うってことでしょうか？
STEP1が１００点満点でSTEP2が１０点満点とかだと話はまた違ってくるのですが、同じ１００点満点だとして話をすすめます。

STEP１とSTEP２が同じ難易度だとしたら、同じ生徒達が試験を受ければ平均は同じになる(帰無仮説)
STEP1とSTEP２の平均値は同じとは言えない、すなわち両試験の難易度は同じとは言えない（対立仮説）
でpaired t-testをやれと。

こういうことじゃないでしょうか。

この回答への補足

早速のご回答ありがとうございました。
言われてみれば、きわめて素直な考え方ですね。

ただ、補足をしますと、Step２はStep1に合格してから平均して２，３年後に受験するのが一般的です。医学生の頃は、人より２，３年余計に勉強していると相当な実力差があり、同じ受験生であったとしても、２，３年の開きがあると、知識の面では同じ母集団といえないと思うのですが・・・。
そうなると、

STEP１とSTEP２が同じ難易度だとしたら、同じ生徒達が試験を受ければ平均は同じになる(帰無仮説)

自体も無効になりますよね。

以上のような背景から、頭の中でevaluate differences→evaluate relationshipと読み替えて考えてしまったのです。

やはり私の考え方はひねくれていますでしょうか？

補足日時：2002/07/26 07:54