調査データの信頼性について教えてください

調査データの信頼性について導き出し方が分からず、教えていただけましたら幸いです。
ある会員制度で、電話でのサービス案内をしました。その電話により解約率が低くなったと言えるかを検証したいです。
調査母数として足りているかを示すなど、論理的に説明する方法があれば教えてください。

＜調査内容＞
会員制度に入会している企業407社に電話を行いました。
149社に電話がつながり、サービスのご案内をしました。

その後、電話がつながった149社のうち12社が会員を解約して解約率8%となりました。
電話がつながらなかった258社（407-149）のうち73社が会員を解約して解約率28%となりました。

以上、よろしくお願いします。

No.7 回答者： kamiyasiro 回答日時： 2022/03/27 09:01

#5です。

こんな質疑応答がありました。

https://oshiete.goo.ne.jp/qa/12448860.html?msclk …

No.6 回答者： kamiyasiro 回答日時： 2022/03/26 09:55

#5です。

補足します。

「電話サービスにより解約率が低くなった」と言い切るためには、電話に出ることができた企業149社をランダムに二分し、一方にサービスを説明、もう一方にはサービスの説明なし、の結果を比較しないとダメです。

因果関係を証明するには「反事実」（もし○○が無かったら）を確認する必要があります。これは鉄則です。

ご参考まで。

No.5 回答者： kamiyasiro 回答日時： 2022/03/26 09:40

論理的に説明する方法ですが、

この調査が事前に設計された「ランダム化比較試験」でなく「後付け」の調査であるなら、オッズ比を使った検定と推定を用いるべきでしょう。

そうであっても「電話サービスにより解約率が低くなった」と言い切ることはかなり危険です。「電話に出ることができる人がいる」と著しく交絡していますから。人を雇えないほど逼迫しているから解約したかもしれません。

なお、調査データから得られた結果の信頼性は「オッズ比の信頼区間を使った「証拠足りうるか」の判定方法」となります。

しかし残念ながら、「・・・の方法」についてネットにはあまり記事はありません。

和書で、オッズ比の信頼区間について書いてあるのは、

舟喜・折笠共訳（2001）「信頼性の統計学」サイエンティスト社

があります。オッズ比の信頼区間が書いてあるのはこの本くらいしか無いと故芳賀先生がおっしゃっていました。

ちなみに、Gotoキャンペーンとコロナ感染爆発の関連性について述べた、有名な西浦論文は、IRR（インシデンス・レート・レシオ）というオッズ比のような値の信頼区間を使って、議論を進めています。
つまり、これは定石と言える方法なのです。

ご参考まで。

No.4 回答者： 高みの見物 回答日時： 2022/03/25 17:21

2×2分割表の検定。

No.3 回答者： yhr2 回答日時： 2022/03/25 10:30

No.1 です。

具体的にやってみれば

電話がつながったグループ
　解約：12、継続：137、計：149
電話がつながらなかったグループ
　解約：73、継続：185、計：258

仮に「解約率に差がない」としたら、両グループ合計の解約率は
　(12 + 73)/407 ≒ 0.208845
ですから、この率でいけば、上の表の「期待値」は

電話がつながったグループ
　解約：31.12、継続：117.88、計：149
電話がつながらなかったグループ
　解約：53.88、継続：204.12、計：258

となります。

上の表と下の表から「カイ二乗値」を計算すると
　χ^2 = (12 - 31.12)^2 /31.12 + (137 - 117.88)^2 /117.88 + (73 - 53.88)^2 /53.88 + (185 - 204.12)^2 /204.12
　　　≒ 11.7472 + 3.1012 + 6.7850 + 1.7910
　　　≒ 23.42　　　　　①

一方、自由度 (2 - 1) × (2 - 1) = 1 のカイ二乗分布で、有意水準５％の範囲に入るカイ二乗値を読み取れば、下記の表で「df=1, 有意確率=0.05」のところを読んで
　3.84
です。
↓
カイ二乗分布表
https://www.koka.ac.jp/morigiwa/sjs/chi-square_d …

上の①の値は、これを大きく越えていますから、「有意水準 5%（95%の信頼度）で、2つのグループの解約率には『差がある』といえる」ということになります。

有意水準１％（信頼度 99%）でも（その場合のカイ二乗値の限界値は「6.63」）、有意水準0.1％（信頼度 99.9%）でも（その場合のカイ二乗値の限界値は「10.83」）、①の値はそれよりも大きいので「2つのグループの解約率には有意な差がある」といえます。

No.2 回答者： 春閑 回答日時： 2022/03/25 09:26

データは事実で信頼できる。

だが、その解釈はそのご質問内容では何とも言えない。

会員制度の内容と開始時期と解約時期、新サービスの内容。せめてその辺まである程度はわからなければと感じます。

No.1 回答者： yhr2 回答日時： 2022/03/25 09:24

２つの群（電話のつながった149社と、つながらなかった258社）について、解約率に差があるかどうかの「カイ二乗検定」（独立性の検定）をすればよいと思います。

下記などを参考に。
↓
https://bellcurve.jp/statistics/course/9496.html
http://www.tamagaki.com/math/Statistics607.html
https://www.trifields.jp/chi-square-test-test-of …