統計に関する質問です

統計に関する質問です。
現在会社で新規設備を立ち上げており、その設備とOK品、NG品を基準としたGo/ No Go評価を行おうとしております。
社内で使用する評価シート内ににKappaという項目があり、設備の判定結果から90%や93%等の結果を出力しています。
また、基準は80%以上が合格となっております。

そこで質問なのですが、
①もしこのKappaという項目が80%を下回った場合設備に何らかの異常があるということでしょうか。
②このKappaは設備の判定能力を評価するうえでどのように有効であるのでしょうか。

分かりやすく教えていただけると幸いです。

No.2 ベストアンサー 回答者： kamiyasiro 回答日時： 2022/05/21 00:42

kappa statistic または Cohen's Kappa と呼ばれるもので、日本語ではカッパ係数と言われます。

ある対象（ここではOK品NG品）について２者の評価間(２者とは従来設備あるいは検査員と新規設備（検査装置？））の一致度を示す統計量です。－1～1の値を取り大きいほど良いとされます。

①0.8以下であるときは、新規設備が異常というより、（もしかすると正しい判定をしているかもしれないが）単に一致度が悪いということです。
検査員が過剰判定したものを、いやそれは良品にしてもいいでしょ。ということまで、Kappaには含まれていません。
以下に示すように、検査閾値設定の影響を受けるので、0.8を下回ったからといって、たちまち設備異常だと決めつけることはできません。

②メリットとしては、混同行列から計算される値なので、真のOK品、真のNG品の数が不揃いであっても同じ物差し上で評価できるという点で、１号機、２号機の比較が可能であったり、改善の効果が定量化できるという嬉しさがあります。


Kappa係数は、シュレスホールド（カットオフ値とも言う。検査閾値）を固定化した上でないと、上記のように何を測っているのか信頼できない値となります。

真陰性（OK品）を過剰判定しても、真陽性（NG品）は必ず捕まえたい、という検査方針から検査閾値は決まります。

そのため、まずは、検査方針に基づいて、２者の検査閾値をチューニングしておく必要があります。

No.3 回答者： kamiyasiro 回答日時： 2022/05/21 00:51

#2です。

参考のため、分類性能を評価する際の、その他の指標と比較した表をアップしておきます。

No.1 回答者： yhr2 回答日時： 2022/05/19 20:59

その「Kappa」とやらが何なのかが分からなければ、議論のしようがありません。

あとは「90%や93%等の結果」だの「80%を下回った場合」の数値がいったい何のかもわかりません。

何を、どのように測定して、どういう考え方で判定するのか、という考え方をまずきちんと整理する必要があるのではありませんか？
一見「定量的」なようですが、意味の不明な数値だけが独り歩きしても、何の意味もありません。