統計：事前、事後テストについて教えてください。

統計初心者です。よろしくお願い致します。
語学の授業の効果を調べるため、実験群と統制群をもうけ、事前・事後テストをして差をみたいと思います。
問題は、事前テストと事後テストの難易度が違うことです。
そこで、実験群と統制群、全員の平均点と標準偏差をだし、事前テストと事後テストについて被験者の偏差値をだしました。
事前テストの被験者の偏差値の平均と、事後テストの偏差値の平均の差を、実験群と統制群で比べるという方法で、効果は調べられるでしょうか。
また、事前テストの偏差値の平均と、事後テストの偏差値の平均の差が有意なものかどうか調べるためには、どうしたらいいでしょうか。
どなたかご回答のほど、お願い致します。

No.2 回答者： kgu-2 回答日時： 2008/06/29 13:41

>母集団は24名

用語の定義ですが、母集団が24名(=少人数限定)なら、全てのデータを使えるので、検定の必要はありません。例えば、1年生全員と2年生全員なら、全員の平均値を出せば、差は0.001であろうと必ずあります。したがって検定は、有意な(=偶然とは言いがたい)差を主張したいわけですから、差があることは明白、すなわち検定の要はありません。
　24名のうち、誰かが休んだとか、データがとれなかったとかだと、その人の値はわからないので、偶然性が入ってくるので検定します。この場合の24名は、なんらかの代表だと考えるなら(サンプリングと同じ行為なので、標本集団)、母集団からサンプリングしているので、サンプリングの仕方によって数値が異なるので検定が必要です。検定するのは、母集団の全員を調べられないので、そこから妥当な数をサンプリングする(標本集団)と、「偶然では」という問いに応えるためです。

>母集団（24名）のほうが大きいので、グループ8名の偏差値の平均は50にはなりません。
偏差値の意味が異なっているのでは。偏差値という言葉は、統計学の言葉ではありません。これは、大学受験のためなどの用語です。どの集団に対しても、平均50、標準偏差10になるように、計算します。統計学では、標準化、あるいはZ変換というようです。
　国語と数学で、平均点を比較する場合に、偏差値化して比較する大学もあります。これは、得点分布を同じにするため、すなわち、平均点は50点になるように変換します(偏差値に変換した後、国語と数学の平均が違っていては話になりません)。ですから、どかこ勘違いされていると想います。

>「対応のない場合の検定
この場合は明らかに対応があるのに、無い場合で検定をするのは誤りです。すなわち、有意差が出にくくなり、仮に有意差があっても有意差は見つからなかった(有意差は無い、という表現は誤り)、と間違った結論に到る可能性があります。
　何より、検定の目的は、有意差を見出すことです。有意差を見出しにくい検定法を用いて、「有意差は認められませんでした」と述べても、「選択した検定法が悪い」と断言され、何の役にもたちません。

>この結果もレポートに載せたいと思いますが、別の分析として、偏差値の平均の差も載せてもいいと思われますか？
　テレビドラマなどで、社員のレポートをゴミ箱に叩き込む上司のシーンが浮かんできます。学会での発表だと、よほど親切な人が異論を唱えると想いますが、『何をいっても無駄』と反論もなく、完全に無視されるでしょう。

　トレーニングの場合は同じ方法で判定するから、有効です。この場合も、同一の問題、あるいは同程度の問題と想定される問題でやらない限り、得点自体に問題があるので、誰も認めないのでは。
　同程度の問題で、というのは5年以上悩んで、最近ようやく、なんとなく、で研究中です。

この回答への補足

ご回答ありがとうございます。書き方が悪かったようで、反省しています。
テストは私が作ったものではありません。
事前テストは、公的に行われている語学試験の過去問題を使用しました。
この語学試験は、正式に受験する場合は点数が得点等化されますが、今回はクラス内で過去問題を使用しただけですので、素点で計算しました。
事後テストは、上記の語学試験の業者模試の問題をクラス内で行い、素点で計算しました。
計算した結果、事後テストのほうが明らかに難易度が高く、平均点が事前テストより低いのです。
検定にかけるのは、学生の「事前テスト」と「事後テスト」ではありません。
トレーニングを施した実験群下位8名の（事後テスト）－（事前テスト）＝「差」と、トレーニングをしていない統制群8名の（事後テスト）－（事前テスト）＝「差」です。（読解・聴解・文法の3種類）
もうひとつ実験群上位8名の同上の「差」と実験群下位8名の「差」も検定にかけました。（同じく3種類）
ですから、対応のない検定にしました。
質問はここからです。
上記の検定の結果とは別に、実験群下位8名の「事前テストの平均点」「事後テストの平均点」と、統制群8名のそれを棒グラフで表して変化をみる時、また同様に、実験群上位8名のそれと実験群下位8名のそれを棒グラフで表して変化をみる時、事後テストのほうが点数が低いので、効果的に棒グラフに表せません。そこで考えたのが、例えば24名の平均点と標準偏差を計算し、実験群下位8名の事前テストの偏差値（＝（得点－平均点)÷標準偏差×10+50）の平均と事後テストの偏差値の平均、同様に統制群8名のそれを棒グラフで表し、一つの図表にする方法です。こちらのほうが効果的に表せるのですが、このやり方はどうかと思いまして質問いたしました。

補足日時：2008/07/01 00:28

No.1 回答者： kgu-2 回答日時： 2008/06/27 12:07

>問題は、事前テストと事後テストの難易度が違うことです。

この点については、マニュアル的な解答はありません。
1) 同じ問題にする。体力テストなら、これでOK。
2) 同じレベルのものを出す。　国家試験や、センター入試、TOFFELなんぞは、これでしょう。

>事前テストの被験者の偏差値の平均と、事後テストの偏差値の平均の差を、実験群と統制群で比べるという方法で、効果は調べられるでしょうか。
偏差値が、大学入試などの偏差値と同じ意味なら、無理です。偏差値に変換すると、その平均値は常に50になるので、差はでません。

　したがって、多くの場合、2)の方法でやっています。同程度と考えられる問題を作り、事前と事後なので、t検定の対応の有る場合、の検定というのが一般的です。

　本学の入試は、平均点が50点になるように問題を作成するのですが、そうは問屋が卸してくれません。『この問題だと、60点かな』と作っても、30点くらいで、『私の授業は・・・』が多くて(ガッカリ)。

この回答への補足

ご回答ありがとうございます。
実は被験者を「実験群成績上位」「実験群成績下位」「統制群」の三グループに分けています。（被験者数はそれぞれ8名）
事前・事後テストともに母集団は24名で、それぞれの偏差値をだし、グループ毎の偏差値の平均を事前・事後で比べ、差をみたいと思いました。母集団（24名）のほうが大きいので、グループ8名の偏差値の平均は50にはなりません。偏差値の平均で比べたら、実験群のほうが偏差値の伸びがみられました。本来は同程度の問題で測るべきですが、事後テストのほうが難しく平均点が低いので、このような方法をかんがえました。
これとは別に、そのまま素点の差を実験群と統制群の「対応のない場合の検定」にかけたところ、6つ検定にかけたうちの一つだけに有意差がみられました。この結果もレポートに載せたいと思いますが、別の分析として、偏差値の平均の差も載せてもいいと思われますか？

補足日時：2008/06/28 11:36