予想した確率の確からしさについて。

Aさんは出来事が起こるかどうかを予想する人です。しかし、Aさんは、ある出来事が起こるとは断言せずに、ある出来事が起こる確率だけを言います。

当然、Aさんが、ある出来事が起こる確率を言ったあとに、その出来事は起こったり起こらなかったりします。

Aさんは、出来事ごとに、いろいろな確率の値を言います。

Aさんが言った確率とその出来事が起こったか起こらなかったかの過去の実績データは膨大にあるとします。

そのAさんが、次に、ある出来事が起こる確率はpと言ったとすると、その出来事が起こる「真の確率」とpが一致する度合いの判定はどうやってやりますか。

また、例えばAさんのように出来事を予想する人が複数人いるとして、過去のデータを使って、そのうちの誰が言った確率が「真の確率」に近いかを判定するにはどうしたらいいですか。

(「真の確率」は分からないとします)

質問者からの補足コメント

• みなさん、ありがとうございます。大変、勉強になります。
  
  私も考えてみました。
  例えば、予想というのは人間が未熟だからすることだと考え、本来は、世の中の事象は決定論に従っているとすると、「真の確率」は存在せず、ひとつの出来事は、起こるなら起こる、起こらないなら起こらないということで予め(確率？は)0か1に決まっていることになります。
  それで、まず起こった起こらないのデータに注目します。
  そして、起こったデータを集めて、個別の人ごとに予想確率を全て加算し、それプラス、起こらなかったデータを集めて(1-予想確率)を全て加算したポイント(または平均)が多い人というのではダメですか。これで、何か難点があったら教えてください。
  
  あるいは、決定論(個別の真の確率は0か1しかない)としても、もっといい判定方法はありますか。

    補足日時：2023/03/15 15:44

• 自分で言うのも変な話ですが、
  「真の確率」って、どういうことでしょうか。

    補足日時：2023/03/15 20:52

No.7 回答者： stomachman 回答日時： 2023/03/12 00:15

まずは"予測"が予測になっているかどうかが要注意。

たとえば「来年1月第1週の週末の日経平均株価は確率90%で3万円を超える。」というのなら、予測として成立している。でも、「●政権は90%の確率で失脚する」という"予測"は、「何を以って失脚したと判定するのか」さらに「いつまで待って判定すればいいのか」ということが決まっていないんで、こんなもん予測のうちに入らない。ま、この点はクリアしているものとして：

　予測者Pが「ある指定した時にevent Eが起こる確率はP(E)だ、と予測して、実際その指定した時にその通りEが起こった場合」の情報量を
　　-log(P(E))
とします。情報量ってのは「確率P(E)で起こると予測していたときに実際Eが起こった」ことの、いわば「意外性（びっくり度）」を測るものです。では「event Eが起こる確率はP(E)だと予測して、実際にはEが起こらなかった場合」の情報量はというと、「event Eが起こらない確率は1 - P(E)だと予測して、実際Eが起こらなかった」 ときのびっくり度、というのと同じことだから、
　　-log(1 - P(E))
となる。

　これらを使うと、予測者Pの予測能力を成績として測れるでしょう。すなわち、予測者Pが予測を行なったもののうち、実際に起こったeventの集合をY、実際に起こらなかったeventの集合をNとして、予測者Pの成績を
　　G(P) = -Σ[E∈Y]log(P(E)) - Σ[E∈N]log(1-P(E))
と測る。

　その比較対象として、同じ集合Y,Nについて、いつでも「確率50%」と予測する「予測者A」の成績
　　G(A) = - Σ[E∈(Y∪N)] log(0.5)
いつでも「確率90%」と予測する「予測者B」の成績
　　G(B) = -Σ[E∈Y]log(0.9) - Σ[E∈N]log(0.1)
いつでも「確率10%」と予測する「予測者C」の成績
　　G(C) = -Σ[E∈Y]log(0.1) - Σ[E∈N]log(0.9)
　こういうのと比べると、eventとして選んだ「お題」の偏り（当然起こりそうなeventばかり、あるいは、まず起こりそうにないeventばかり選んでいるのかもよ？）の影響が、ある程度わかる。
　また、いつでも「確率密度 1/(π√(x(1-x))) に従う乱数x (0＜x＜1）によって確率x(E)=x」と予測する「予測者D」（この確率密度関数は、予備知識なしのデタラメな予測を表す「局所一様事前分布」ってやつデス）の成績
　　G(D) = -Σ[E∈Y]log(x(E)) - Σ[E∈N]log(1-x(E))
がどうなるかには、ちょっと興味があります。

　しかし一番重要な比較対象は、n人のドシロートS[1]〜S[n]による予測の成績
　　G(S[k]) = -Σ[E∈Y]log(S[k](E)) - Σ[E∈N]log(1-S[k](E)) (k=1,2,...,n)
の分布（そしてその平均や標準偏差）でしょう。「予測者Pの予測能力」というのが、いわゆる「ジョーシキ」の範囲で予測できることを当てただけなのを過大評価しないために、また逆に、「ジョーシキ」では考えにくいようなことを当てたというのを過小評価しないために、これは必須だと思うなあ。

No.6 回答者： kamiyasiro 回答日時： 2023/03/11 23:30

#4です。

AさんをAIと考えれば良いのでは？

AIが明日雨が降る確率（０～１）を出して、翌日に０か１かを検証する。ということを繰り返し、過去データが十分にある。という状況ではないのですか？

このような数値であれば、クロスエントロピーで評価します。

出来事ごとに、というのは、雨だけでなく、曇りやあられなどの事象もある。
そうであれば、多クラスの予測器ですよね。（ただし、他のクラスは同時には生起しない）

そうして、各社の「多クラス予測AI」を性能比較するとき、どのAIが上手く予測しているか判定することと同じなんじゃないかと思います。
それは、そんなに困難な話ではありません。

参考図書
高柳，長田（2023）『評価指標入門』，技術評論社


真の確率は分からないのは当然で、当たったか当たらなかったかという事実のみから評価指標を作ります。

No.5 回答者： shut0325 回答日時： 2023/03/11 18:24

＞理想的なサイコロをふって1が出る「真の確率」は1/6であると言えます。

金属加工メーカーが作ったバランスが均等になるように作られたさいころの話ですね。それはあくまで、均等なバランスで作られたというだけにすぎません。

そのさいころを幼児に砂場に投げさせてみてください。1の面どころか、面がちゃんと上を向く状態はかなり珍しいこととなり、多くは辺や角が上を向いて出目がはっきりしないような状態になると思います。下手すると、どこか飛んで行って、ロスト（＝判別不能）ともなります。

逆にきちんとした条件でも、目が彫ってありますから、技術介入が可能で任意の目を連続して出せる人もいます。

そのように、何かがある確率となるようになっていたからと言って、起こりうる事象は必ずしも真の確率とは呼べず、要素が増えるほど無限に「可能性」が増えるのです。

そのために判断するには何かしらの基準・定義が必要となりますが、「出来事」というものの抽象性や「過去の情報」から何を要素として取り出すか、
、、、、例えばある過去の出来事、、、その時の月の満ち欠け具合は、天気は温度は、湿度は、時間は、場所は、人々の場所は？　その他もろもろ、、なにがどのように因果関係があったかわかるのでしょうか？

感覚的になんとなく取り出して、そこであーだこーだいうしかありません。
そのために、結果的には「諸説あり」となり、「真の確率」というものなど見えはしません。

それが見えないということは、推し量る定規がないのですから、Ａさんの予想とその的中率の信頼性は推し量ることは不可能です。

推し量って何になるのかはわかりませんけれど、体重計で身長を測るようなものだと思えばいいと思います。

ただ、そういうことを考えるのは楽しいですね。
いろいろと突き詰められてみるとよいかなと思います。

No.4 回答者： kamiyasiro 回答日時： 2023/03/11 15:32

多クラスのF1スコアを見れば良いでしょう。

「多クラスのF1スコア」で検索してみてください。

No.3 回答者： shut0325 回答日時： 2023/03/11 15:11

いつでも誰でも、当たるか外れるかだけで言うなら50％です。

膨大なデータと言いますが、それらを使う場合、要素が増えるほど　計算コストは莫大にかかりますから、わからない　と同等になります。

そもそも　真の確率　などというものがありません。定義次第で変わるので、真の　とは言えませんよね。

Aさんの予想もそれが当たったというのも何をしてそうだと言うものがなければ、常に不確かです。

話半分　という言葉がありますが、日常はそれでいいのではないかと思います。

No.2 回答者： Castelland 回答日時： 2023/03/11 15:06

統計学なのだから　予想した数に依る

なので　解からない

No.1 回答者： 河内のおやじ 回答日時： 2023/03/11 15:03

まず、Aさんが言った確率が真の確率と一致するかどうかを判定するには、過去の実績データを用いて、Aさんが言った確率と実際にその出来事が起こった割合との間の相関を調べる必要があります。

具体的には、Aさんがある出来事が起こる確率をpと言った場合、過去にn回その出来事が起こったという実績があるとします。このとき、Aさんが言った確率が真の確率と一致すると仮定すると、その出来事が起こる割合はp*nであるはずです。この出来事が実際に起こった割合がm/nであるとき、pとm/nの間に高い相関がある場合、Aさんが言った確率が真の確率に近いと考えられます。

次に、複数の出来事を予想する人がいる場合、過去のデータを用いて、それぞれの予想者が言った確率と実際に起こった割合との間の相関を調べます。具体的には、予想者ごとに、過去にn回その出来事が起こったときに、それぞれが言った確率をp1, p2, ..., pnとします。このとき、各予想者が言った確率と実際にその出来事が起こった割合との間に高い相関がある予想者がいる場合、その予想者の言った確率が真の確率に近いと考えられます。また、各予想者の相関係数を比較することによって、どの予想者が真の確率に近いかを判定することができます。