
No.1ベストアンサー
- 回答日時:
> これは、単純にfloatの精度の問題なのでしょうか?
その通りです。
IEEE 754 のフォーマットにしたがった 32ビット浮動小数点表記では仮数部が
23ビットですから、高々7桁程度の精度しかありません。
> また、計算機がどういうルールに基づいて計算をおこなっているということなのでしょうか?
double → float の場合には、仮数部が 52 → 23 ビット、指数部が 12 → 8 ビットと少なくなります。
元の数値が float で表現できる範囲で収まるのであれば、仮数部のビットを切りつめて、指数部を変換する
だけです。
元の数値が float に収まりきらない場合には、overflow や underflow が発生します。
真剣に知りたいのであれば、参考URL をどうぞ。
参考URL:http://docs.sun.com/htmlcoll/coll.648.2/iso-8859 …
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
PICで小数点の演算
-
O(n log n)について2
-
有効桁数の数え方・誤差
-
EXCELで 0.1 はなぜ 0.1 となる...
-
対数から真数に
-
”/”を使わずに割り算したいんで...
-
最早開始時間と最遅完了時刻を...
-
C言語 エラーの原因がわからな...
-
信頼区間の1.96や1.65ってどこ...
-
「Aに対するBの割合」と「Aに対...
-
For文の終了値を関数にしても問...
-
配列をnビットシフトする
-
数学 一次関数 関数 y=-3/4x+k(...
-
std::set<int> で、ある値が何...
-
Enterキーを押されたら次の処理...
-
sscanfとscanfの違いがよくわか...
-
main.c:7:43: warning: implici...
-
#define _CRT_SECURE_NO_WARNIN...
-
InvokeMemberメソッドとは何を...
-
【#define】 defineで定義した...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
有効数字について 以前質問をし...
-
c languageで 簡単な質問があ...
-
EXCELの関数"STDEV(標準偏差)"...
-
ExcelでPC(パソコン)によって...
-
三菱シーケンサ(Aシリーズ)で...
-
floatの有効桁数
-
255の2の補数、B'00000001'が-...
-
O(n log n)について2
-
符号誤り率の計算は例題でどの...
-
CRCの計算方法について
-
VB.net Double と...
-
コンピューターは指数関数をど...
-
16進数 加算 減算 C言語
-
ExcelのINT関数の計算結果がお...
-
C言語でセルオートマトンを作成...
-
BCD・HEX・BINについて
-
”/”を使わずに割り算したいんで...
-
三角比の俯角の計算
-
除算を使わずに10で割りたい。
-
VBAでミリ秒まで出力する方法
おすすめ情報