【統計】テストの弁別力について

テスト問題の弁別力について、以下のような場合、どのような統計的処理をすれば弁別力が求められるかを教えてください。

同一の受験者群に対して2種類のテストA,Bを行いました。
テストAの成績の上位グループと下位グループを弁別する能力が、テストB（の項目ではなくテスト全体）にどの程度あるかを知りたいのですが、どのように求めればいいでしょうか。

テストAもテストBも「時間内にできるだけ多く問題を解く」という形式のテストであるため、テスト全体の得点（z-score）を求めることはできますが、項目ごとの正答率は求められません。

項目弁別力を求める方法は点双列相関係数などを調べたのですが、上記のようにテスト全体の弁別力を求めたい場合、しかもほかのテストの成績に対する弁別力を求めたい場合、この式をどのように応用すればいいでしょうか。

大学の研究の一部で畑違いの分野であるため処理の仕方がわからずに困っています。
どうかお教えてください。

No.3 回答者： backs 回答日時： 2007/10/14 18:05

>　テストAにおいて優秀な成績を取った上位グループのメンバーと、テストBにおいて優秀な成績を取った上位グループのメンバーがどの程度一致するか

「ケンドールの一致係数」というものがあります。

No.2さんの回答にあるように、例えば、心理学分野で古典的な触二点弁別閾や薬理学分野における致死量（LD50）などといった閾値を定めるためにはロジスティック回帰分析が用いられます。ロジスティック回帰分析とロジット分析は同じことです。大まかにいえばロジスティックモデルも同じです。

>　私はまだ統計について全くの初心者であるため、もう少し途中段階の「具体的にこういう操作をする」というところを説明して頂ければ幸いです。

回帰分析の基本を理解していないと難しいでしょうが、ロジスティック回帰分析について分かりやすいものといえば、（日本語のものだけで）

「基礎統計学3　自然科学の統計学」東京大学出版会　8章

丹後ほか「ロジスティック回帰分析」朝倉書店

などが参考になるでしょう。弁別閾の測定に関しては、

岡本康晴「計量心理学」倍風館

が参考になりますよ。

No.2 回答者： hukuponlog 回答日時： 2007/10/14 13:54

ロジット回帰分析で行けるでしょう。

p=1/｛1+exp(-z)｝としたロジット曲線の指数関数内の一次式の傾きのχ2乗値を出して、それが統計的に有意かどうかを判定すれば弁別能力の有無は出せると思います。

この回答への補足

hukuponlog様

ご回答ありがとうございます。
申し訳ありませんが、私はまだ統計について全くの初心者であるため、もう少し途中段階の「具体的にこういう操作をする」というところを説明して頂ければ幸いです。

私が現在参照しているテスト分析に関する資料には
「ロジスティックモデル」というモデルが載っているのですが、
ロジット回帰分析というのはこれに関係するものなのでしょうか？

補足日時：2007/10/14 15:28

No.1 回答者： backs 回答日時： 2007/10/14 13:51

おそらく私より詳しい人が出てくるので無視されても構いませんが、、、

>　テストAの成績の上位グループと下位グループを弁別する能力が、テストB（の項目ではなくテスト全体）にどの程度あるか

という表現の意味がよく分かりませんでした。「上位グループと下位グループを弁別する能力」とはどういう能力なのでしょう？上位か下位であるかは分析者がある基準に従って別けるものではないのですか？

>　テスト全体の得点（z-score）を求める

とありますが、テスト全体の得点のことをz得点というのではなく、標準正規分布に従うようにデータを基準化（標準化）した得点のことをz得点というものでしょう？z得点を求めることは分析をする前提として行うべき行為であって、それ自体は分析方法ではありませんよね。

>　項目弁別力を求める方法は点双列相関係数などを調べた

これについても「項目弁別力」という用語の意味が分からないので、少なくとも私には回答できません。

2択問題とかで、正答数＝弁別力という意味なのでしょうか。。。

この回答への補足

backsさま、回答有難うございます。

私も最近かじったばかりでよくわからないのですが、
学力テストや言語テストの統計分析において「弁別力」あるいは「識別力」という概念がよく用いられるようなのです。「項目弁別力」というのも同様のテスト分析の分野の用語です。

>　テストAの成績の上位グループと下位グループを弁別する能力が、テストB（の項目ではなくテスト全体）にどの程度あるか

というのは、言い換えれば、「テストAにおいて優秀な成績を取った上位グループのメンバーと、テストBにおいて優秀な成績を取った上位グループのメンバーがどの程度一致するか」ということです。
テストAの成績における上位グループとテストBの成績における上位グループがかなり一致したメンバーになっているなら、「テストBという試験は、テストAにおける成績優秀者と優秀でない者を弁別（識別）する能力のある試験だ」といえるそうなのです。
正答数＝弁別力という意味ではないです。

補足日時：2007/10/14 15:08