
A 回答 (2件)
- 最新から表示
- 回答順に表示
No.2
- 回答日時:
PC内部では数値を2進法で表しますが、二進法で0.1は無限小数となり誤差が発生します
2進法で0.1は0.0 0011 0011 0011 ・・・・となり、
0.1+0.1+0.1+・・・+0.1は
0.11111111111111・・・となるので有効桁数に丸めたときに誤差が発生します。
10進で1/3*3を電卓で計算しても0.999・・・となって誤差が発生するのと同じことです。
No.1
- 回答日時:
誤差じゃないでしょうか?
例えば、私のエクセル2千SP3では、
=((0.1+0.1+0.1+0.1+0.1+0.1+0.1+0.1+0.1+0.1)-1)
が
-1.11022E-16
(-1.11022×10^(-16))などと表示されます。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- 計算機科学 虚数の定義が良く分かりません 4 2023/03/23 00:19
- 数学 方程式 √x=-1 の解 2 2022/07/08 17:26
- 大学・短大 複素関数についての問題です。 x軸、y軸をそれぞれ実軸、虚軸とする複素平面上の点は z=x+iyで与 1 2023/05/10 21:34
- 数学 『0=0・a+0・bi?』 5 2022/09/05 00:12
- その他(教育・科学・学問) 関数、写像について 1 2022/04/10 23:45
- 哲学 《わたし》は 基本として数では《一》だと思われるが ひょっとしたら 複素数として成り立っているか? 2 2023/03/16 00:17
- 数学 複素関数にロピタルの定理を使おうとしている回答者は、複素関数論はおろか微積分学もよく分かっていない、 5 2022/12/28 18:02
- Excel(エクセル) エクセルでこのようなことはできますか? 3 2022/07/10 19:57
- 物理学 Lagrangian や Hamiltonianの妥当性評価 1 2022/08/30 13:13
- 数学 再度質問失礼します。 複素数の極表示 z=a+ib=re^iθ z*=a−ib=re^−iθ 1.a 2 2022/05/01 18:33
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
集積公差について教えて下さい。
-
誤差率 理論値が0の時
-
Fold Changeで表すグラフにする...
-
データの相対誤差について
-
プラスマイナス1.5の範囲に...
-
有効数字が整数部分の一桁で表...
-
実験計画法、L18直交表への割り...
-
計算機で乗数の逆算をするには?
-
回帰直線の傾きと切片の誤差
-
寄与率の計算式
-
最小二乗法の重みづけについて...
-
公差の積み上げ方法について。
-
重み付き最小二乗法について
-
最小二乗法は、なぜ「二乗」な...
-
相対誤差の問題
-
中1 数学 資料の整理 誤差に単...
-
20人対象のアンケートに統計...
-
百分率の統計解析について
-
重回帰分析で手持ちデータがま...
-
サンプリング数の決定における...
おすすめ情報