No.2ベストアンサー
- 回答日時:
エクセルの浮動小数点の計算桁数は確か16桁です。
無限の桁で計算しませんので当然誤差が生じます。
いまの場合を本来無限の桁数を計算すれば0になるはずですが,
有限桁で行うと0にならない場合もあります。
単純な話。
1/3=0.333333333333・・・・
両辺に3をかけると左辺は1になりますが右辺は0.99999999・・・
ですよね。
特に浮動小数点の10進数を2進数の浮動小数点であらわすと0.5とか0.25とかで無い限り,無限桁でないとあらわせませんから,なおさらです。
エクセル2003では多少計算精度が向上しておりこのようなことが起こりにくくはなっているようです。
以下のリンクを参考にしてください。
こういう場合は有効数字の考え方を導入して,もとのデータの有効数字が4桁の場合は標準偏差も4桁と考えて5桁目を四捨五入すべきです。
参考URL:http://support.microsoft.com/kb/826112/ja
この回答へのお礼
お礼日時:2007/02/24 02:16
早速の回答有難う御座います。
なぜ問題にしたかというと、出力された標準偏差の値を別の計算で参照しており、その結果が不自然な値となったからです。
実際は小数点以下4位程度を表示し運用しているため、『表示桁数で計算する』オプションを有効にして対処しました。
大変参考になりました。有難う御座いました。
No.3
- 回答日時:
こんばんは。
>ズバリ『何故"0"という結果が出ないのか』
それは、簡単です。数値が3.974 なら、そのデータを1000 倍すればよいです。そして、出てきた値を 1000分の1にすればよいです。(0なら必要はありませんが)
小数点は、それを表現するために、元から丸め誤差が存在している可能性が強いので、プログラムなどでは、整数計算するというのが、コンピュータの常識なのですが、こうした表計算では、いくつかの方法があります。人によって好みもありますが、あまり安易に数値そのものを処理しないほうがよいようです。こういう問題は、精度をどこまで求めるか、ということを最初に念頭においてから、処理したほうがよいです。
つまり、#1 さんのご指摘のように、"0.0000000596…"のような数値で、元の桁数は、小数点第3位までですから、第4位を四捨五入か、切捨てにしますから、これは、0とみなされます。そういう論理が、あまり好まれないようでしたら、1000倍にするという方法があるわけです。
No.1
- 回答日時:
たぶんコンピュータの誤差が原因でしょう。
現在のコンピュータは内部では2進数で計算していますが,小数が付いている10進数を2進数に変換するとほとんどの数値が循環小数になってしまいます。そのため,誤差が出ていると思われます。
> "0.0000000596…"のように
標準偏差の概念からすれば,この数値は"0"とみなせます(この程度ずれていても実害は無い)。
平均点の偏差値を50とするために50を足してみてください。50.0000000596・・・となるかもしれませんが,50と同じ(平均点と同じ)とみなせるでしょう。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 統計学 Excelによるサンプルの拡大について 6 2023/08/22 16:03
- 統計学 生物統計学の質問 7 2022/05/17 13:59
- 統計学 確率統計です。 1 2022/07/27 23:14
- 統計学 信頼区間についての質問です。 6 2023/06/25 17:34
- 統計学 t値の計算方法 1 2022/11/29 18:37
- 統計学 【Excel統計】任意の確率におけるσの係数を求める方法? 3 2023/06/15 19:28
- 統計学 統計学の問題です!急ぎです 1 2023/02/08 13:51
- 統計学 統計学の問題です。よろしくお願いします。 ある部品の重量は正規分布に従うとされており,過去の経験から 1 2023/01/19 03:36
- その他(教育・科学・学問) 期待値について 2 2022/11/27 16:31
- 統計学 教えて数学! 標準偏差 2 2023/03/30 22:41
このQ&Aを見た人はこんなQ&Aも見ています
関連するカテゴリからQ&Aを探す
おすすめ情報
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
有効数字について 以前質問をし...
-
VB.net Double と...
-
初心者です。 C++ついて
-
”/”を使わずに割り算したいんで...
-
VB6.0での小数点の扱いについて
-
10次の多項式を求めるプログラ...
-
コンピューターは指数関数をど...
-
float.h のテスト結果がおかしい
-
c言語 立方根
-
16進数 加算 減算 C言語
-
z80について
-
ExcelのINT関数の計算結果がお...
-
三角比の俯角の計算
-
c languageで 簡単な質問があ...
-
Log関数に関する質問
-
floatの有効桁数
-
Pythonについてなのですが、小...
-
ExcelでPC(パソコン)によって...
-
pythonの乗算の表示結果の差に...
-
BCD・HEX・BINについて
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
O(n log n)について2
-
ExcelでPC(パソコン)によって...
-
ExcelのINT関数の計算結果がお...
-
16進数 加算 減算 C言語
-
VB.net Double と...
-
floatの有効桁数
-
三菱シーケンサ(Aシリーズ)で...
-
c languageで 簡単な質問があ...
-
除算を使わずに10で割りたい。
-
VBAでミリ秒まで出力する方法
-
VBAでの割り算の余りの求め方
-
VB6.0での小数点の扱いについて
-
VB6のFIX関数での誤差について
-
有効数字について 以前質問をし...
-
100桁の計算ができなくて困って...
-
浮動小数演算は実行環境の変化...
-
EXCELの関数"STDEV(標準偏差)"...
-
BCD・HEX・BINについて
-
コンピューターは指数関数をど...
-
乱数 なぜ剰余を使うのか
おすすめ情報