正規分布について。

沢山のデータがあれば、いつかは、外れ値が出る(出ない場合)もありますが、出てくる可能性はありますよね？高校数学では、外れ値はないのですよね？で、正規分布では、山の下の方(裾野)の所は、外れ値みたいなものと聞いたのですが？高校数学の正規分布では、すべてのデータを分析する。ということでしょうか？教えていただけませんか？すみません。

No.1 回答者： 銀鱗 回答日時： 2020/08/31 14:36

んー。

「正規分布」とは、外れ値の無い ”綺麗に分散した理想的なデータ” の分布です。
なので、数学の問題では「正規分布しているものとする」のような ”前提” として使われます。
（実際のサンプルがここから外れることはよくある事）

この回答へのお礼

実際のサンプルがここから外れることはよくある事とはどういうことでしょうか？教えていただけませんか？すみません。

お礼日時：2020/08/31 15:30

No.2 回答者： 噛めんサイダー 回答日時： 2020/08/31 16:23

学校で習うのは、あくまで理論だけなので、複雑な実データーではイレギュラーが多くて勉強にならないし、先生も説明ができない部分がたくさんあります。

だから、イレギュラーの無い美しい理想カーブで原理原則だけ習うのです。
それがよく、「学校で習ったことだけでは社会で使えない」と言われるのです。
学校で習うのはあくまで理論、理想的な形だけなので、実践で使うには、実際のデーターをたくさん見てイレギュラー処理をしながら習った理論に当てはめていく必要があります。
そのためにも学校で習う原理原則は重要です。

この回答へのお礼

では、高校数学の正規分布では、すべてのデータを分析する。ということでしょうか？正規分布で、外れ値が出る時は、どんな時なのでしょうか？沢山のデータを集めるといつかは外れ値が出る可能性もあるのではないのでしょうか？出ない場合もあるかもしれませんが。
高校数学では、その出ない場合を考えるということでしょうか？教えていただけませんか？すみません。

お礼日時：2020/08/31 16:36

No.3 回答者： ありものがたり 回答日時： 2020/08/31 22:12

「外れ値」というのは、現実のデータ以前に、頭の中に

こうあるべきと思う分布の形が何かあって、
実際のデータがそれに合わないことが意にそわない
ということを表す表現です。
実務では、現実が予定にそってくれていないと、
データを理論的に正しく取り扱うのが難しいことがあり、
そういう場合に、外れ値をデータから除外してしまったりします。
しかたがないと言えばしかたがないのですが、もはや
統計でも数学でも自然科学でもなくて、実務と慣習だけの話
になってしまいます。「昔からこうやってんだよ」と言うわけです。
何をか言わんや。

この回答へのお礼

正規分布でも、沢山のデータがあれば、外れ値が出るかもしれませんし、出ないかもしれません。高校数学で習う正規分布は、どんなに沢山のデータを集めても外れ値が出ない場合のみを考えるということですね？ご教授願います。

お礼日時：2020/08/31 22:27

No.4 回答者： ありものがたり 回答日時： 2020/09/01 08:24

＞ 高校数学で習う正規分布は、どんなに沢山のデータを集めても外れ値が出ない場合のみを考えるということですね？ご教授願います。

正規分布のグラフを確認しましょう。 山の裾野が -∞ から +∞ まで広がっていますね。
正規分布では、どんなに平均から離れたデータも、低い確率で起こりえるのです。
データの個数が増えれば増えるほど、極端なデータを得る確率は増えてゆきます。
あなたの言う「外れ値」の定義が不明瞭なので、そのことを
どんなデータでも外れ値ではないのだと言うべきか、外れ値はいつでも出得るのだというべきか
言葉に困るのですが。いづれにせよ、
高校で習う正規分布と統計学でいう正規分布と実務家が扱う正規分布は別のものではありません。
どれも同じ正規分布です。いや、実務家の場合は、統計処理の前に「外れ値を除外」してしまうから
実は正規分布とは別の何かなのかもしれませんが。

この回答へのお礼

例えば、1人だけ0点で、後の99人が80点以上みたいな感じのことを外れ値と私は、行っています。正規分布には、外れ値はないのでしょうか？教えていただけませんか？すみません。

お礼日時：2020/09/01 16:19

No.5 回答者： ありものがたり 回答日時： 2020/09/01 20:38

＞ 例えば、1人だけ0点で、後の99人が80点以上みたいな感じのことを外れ値と私は、行っています。

＞ 正規分布には、外れ値はないのでしょうか？教えていただけませんか？すみません。

同じことを何度も書きたくはないのですが...

＞ 正規分布のグラフを確認しましょう。 山の裾野が -∞ から +∞ まで広がっていますね。
＞ 正規分布では、どんなに平均から離れたデータも、低い確率で起こりえるのです。

大切なのは、どんなに平均から離れたデータも起こりえる という点です。
それを除外するのは、データの選り好みでしかありません。恣意的であり、統計やデータ分析とは無縁の発想です。

No.6 ベストアンサー 回答者： fedora777 回答日時： 2020/09/06 10:37

「外れ値」というのは、低い確率で起こる、というよりも

測定ミスとか、データの書き間違いとか、
「本来の確率分布とは違う原理で発生するもの」
と思ってよいです。
（厳密には「区別できない（確認のしようがない）」のですが、実際はそういうものです）

他の人が言っているような
「確率的なデータなので、平均から大きく外れた値も低確率で起こる」
という発想ではありません。
根本的に違います。

＞どんなに平均から離れたデータも起こりえる という点です。
＞それを除外するのは、データの選り好みでしかありません。
＞恣意的であり、統計やデータ分析とは無縁
とか言っている人がいますが、全くの見当はずれです。
データの品質チェック（QC:Quality Control）は、実際のデータを
扱う際の大きな課題です。
外れ値が入ってきてもおかしな結果にならないような方法を見つけることは
統計の大きなテーマです。

そもそも
＞どんなに平均から離れたデータも起こりえる
が間違いです。
数学では、微小な確率は、むしろ
「起こりえない」
とします。
正規分布を中学生的に理解した人が
「どんな値でも起こりえるんだ」
って勘違いするのでしょう。
そういうものじゃありません。