ROC曲線にてカットオフ値を求める場合 ロジスティック回帰分析で抽出 した独立変数に対してカット

ROC曲線にてカットオフ値を求める場合






ロジスティック回帰分析で抽出 した独立変数に対してカットオフ値を算出する方法は、不適切であると指摘を受けたのですが、どう思いますか？
多くの論文で、抽出した独立変数に対してROC曲線にてカットオフ値を求めるという統計処理を行っていると思うのですが？

No.1 ベストアンサー 回答者： varietyknowledge 回答日時： 2019/04/06 18:35

方法論としては無論ありです。

おそらく方法論ではなく、別の理由で不適切の指摘をしたと思われます。
可能性として考えられるのは以下です。（他にもあるかと思いますが）

(1) ロジスティック回帰分析で使用する変数がベルヌーイ分布から大きく外れている。
(2) ROC曲線が直線に近く（有効性が低く）、カットオフ値を出すこと自体に意味がない。

この回答へのお礼

方法論としては、ありなんですね！
みんな、この方法行なっているが、本来であれば不適切とのことでしたので、方法論に対しての助言であったと解釈していました。

相手を方法論としては、ありだと納得させるためには、どうすれば良いでしょうか？

お礼日時：2019/04/07 07:56

No.4 回答者： stomachman 回答日時： 2019/04/17 22:54

No.3へのコメントについてです。

　もしかして、データから直接ROC曲線を描くことすらもやってないんじゃ？ 表計算ソフトがあれば十分だから(qa/2359342)、ともかくその曲線を眺めなくちゃね。で、
(A) あんまりグチャグチャであれば、ロジスティック回帰でお化粧してカットオフを決めたところで、そんなもんに意味ないでしょ。
(B) 綺麗な形をしているのなら、ロジスティック回帰でお化粧しなくたって、カットオフが決められるんじゃないか。
のちょうどハザマに落ちるということなら、それからロジスティック回帰の適用を考えればいいでしょう。

No.3 回答者： stomachman 回答日時： 2019/04/13 09:19

「みんな、この方法行なっているが、本来であれば不適切」をもっとあからさまに言えば、「不適切な解析をやった先例を無反省に真似するやつらが多くて、困ったもんだ。

で、本件もその一例だ。（きちんとやれば良い論文になるのにな）」ということだろうな。

気になるところは：
(1) ロジスティック回帰を使うことが適切であるという理由を説明できるか。データから直接ROC曲線を描くのではどうしていけないのか。
　少なくとも、両方を同じグラフに表示すれば回帰曲線がデータにそこそこ合ってるな、ということは直感的に見えるわけだが、もしそうなら、データのプロットではなく回帰曲線に基づいてカットオフを決める理由は何か？ （逆に、両者がはっきり乖離しちゃっているなら、回帰曲線に基づいてカットオフを決める理由などあろうはずもない。）
(2) カットオフをどう決めるかについての考察がきちんとできているか。たとえばFalse PositiveによるロスとFalse Negativeによるロスとが同じ価値（意義）であるという場合なら、「P(False Positive) + P(False Negative)を最小化する」という決め方の妥当性が主張できるだろう。しかし、大抵の応用では両者が同じ価値というわけじゃない。これは応用ごとの事情によるのであり、カットオフを適用して判断を行った後に何をする予定になっているかに依存する場合もあれば、単に価値観の問題だという場合もある。ではどのように重み付けするのが適切か。…というあたりをきちんと議論しているか、それとも無反省か。
(3) データのばらつき（偶然誤差）によって生じるカットオフ値の誤差を推定しているか。
　カットオフ値が論文の「オマケ」程度の位置付けならまだしも、本筋の結論だったりすると、そりゃゴミ論文だ。（特に、データがちょっとしかないのにカットオフ値の有効数字がむやみに多いと、一目で、何も考えてないなと分かる。）

　「方法論」というのは「人がやってるパターン」ということではない。目的に対してその方法が妥当であるという根拠を論証して、初めて方法「論」になるんです。その議論をやってる先行論文があるのなら引用して、「その論文がやっているのは、どんな条件を仮定した上での議論なのか」を要約し、そして「自分の応用においても確かにその議論が成立するから、その方法が使える」ということを論証しておくのが、論文の書き方として正しい。逆にこれをやってないのなら、「みんながやってるから無反省に踏襲した」んだな、と思われてもしょうがない。

…てなことを含めてのレビューじゃないかと思います。

この回答へのお礼

丁寧な回答ありがとうございます。
初歩的な質問で申し訳ないのですが、回帰式からロジット値を算出して回帰式のカットオフ関数を求める方法もよくわからない状況です。何か良い参考書等ありませんでしょうか？
統計ソフトは、高価なソフトはありません。EZRを使用（Rは少し使える程度）してますが、ロジスティック回帰分析の結果からは、回帰式が表示されない？状況です。

お礼日時：2019/04/16 17:56

No.2 回答者： varietyknowledge 回答日時： 2019/04/07 10:38

ANo.1です。

>みんな、この方法行なっているが、本来であれば不適切とのことでしたので、方法論に対しての助言であったと解釈していました。

その指摘内容だと、「統計的手法を使うこと自体が不適切」と読めます。
言い換えると、「統計を使わなくても確実に判別できる方法がある」ということになります。

方法論で説得するより、確実に判別できる方法を模索するほうが良いように思えます。
仮に、確実に判別できる方法がないのであれば、その指摘の根拠を再度質問したほうが良いのではないでしょうか。
（具体的な内容が分からないので、これ以上は正直回答が難しいです）

この回答へのお礼

回帰式からロジット値を算出してから、回帰式のカットオフ値を求めた方が良いとの、回答だったのですが、この方法が一般的な物なのでしょうか？
何度もすみません。

お礼日時：2019/04/13 08:11