
No.2ベストアンサー
- 回答日時:
有効桁数で考える必要があります。
Singleの有効桁数は7桁(内部的には9桁)で、負の値は -3.4028235E+38 ~ -1.401298E-45、正の値は 1.401298E-45 ~ 3.4028235E+38 の範囲の値をとります。http://msdn2.microsoft.com/ja-jp/library/xay7978 …
54321.1234 = 5.43211234E+4
になり、有効桁数は9桁あります。この場合はDoubleでないと小数点以下7,8桁目は桁落ちします。
No.4
- 回答日時:
Singleの場合の有効数字は7桁くらいです
>54321.****
だと、9桁有りますので、Doubleでないと、精度が出ないと思われます
>SingleとDoubleで対応できる、整数部分の範囲
有効数字(整数部と小数部を合わせた全桁数)が
Single=7桁弱
Double=16桁弱
No.3
- 回答日時:
小数点以下下4桁まで精度が必要でしたら通貨型を使いましょう。
イミディエイトウィンドウで
?1.2*10-12
?1.2#*10-12
?1.2@*10-12
の結果を確かめてください
詳しくはこちら↓
第4回 演算誤差の正体
http://pc.nikkeibp.co.jp/pc21/special/gosa/eg4.s …
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- C言語・C++・C# C言語初心者 構造体 課題について 1 2023/03/10 19:30
- 統計学 統計検定2級の過去問について 1 2023/01/04 16:40
- Excel(エクセル) エクセルで同じ数字同士を自動で線で結ぶVBAを教えてください 6 2022/04/26 23:13
- C言語・C++・C# ある線が円の範囲に入っているかの計算 1 2022/12/07 16:14
- Visual Basic(VBA) vba 等間隔の列に対しての計算 6 2022/05/17 20:15
- 数学 単振り子とルンゲ・タック法 1 2022/07/15 00:05
- Visual Basic(VBA) VBAでのMATCH関数 3 2022/10/17 19:06
- ソフトウェア エクセル_データ処理_変化点検出について 1 2022/09/20 18:25
- Visual Basic(VBA) エクセルで、1つのセルで上書き足し算して セルの範囲を指定できますか? パソコン初心者です。 お時間 3 2023/07/05 06:13
- C言語・C++・C# このプログラミングの問題を教えてほしいです。 キーボードからデータ数nとn個のデータを入力し、平均値 3 2022/12/19 22:51
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
首吊りどこ締めるの
-
彼女のことが好きすぎて彼女の...
-
値が入っているときだけ計算結...
-
VLOOKUP関数を使用時、検索する...
-
検便についてです。 便は取れた...
-
腕を見たら黄色くなってる部分...
-
EXCELで式からグラフを描くには?
-
Excel 数値の前の「 ' 」を一括...
-
精子に血が・・・
-
勃起する時って痛いんですか? ...
-
【Excelで「正弦波」のグラフを...
-
2つの数値のうち、数値が小さい...
-
EXCELで条件付き書式で空白セル...
-
風俗店へ行く前のご飯
-
精液の落とし方を教えてください
-
MIN関数で空白セルを無視したい...
-
小数点以下を繰り上げたものを...
-
病院側から早く来てくださいと...
-
エクセルのラベルの値(文字列...
-
ワードのページ番号をもっと下...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
首吊りどこ締めるの
-
尿検査前日に自慰行為した時の...
-
至急!尿検査前日にオナニーし...
-
検便についてです。 便は取れた...
-
彼女のことが好きすぎて彼女の...
-
値が入っているときだけ計算結...
-
リンク先のファイルを開かなく...
-
EXCELで条件付き書式で空白セル...
-
2つの数値のうち、数値が小さい...
-
VLOOKUP関数を使用時、検索する...
-
尿検査の前日は自慰控えたほう...
-
MIN関数で空白セルを無視したい...
-
小数点以下を繰り上げたものを...
-
風俗店へ行く前のご飯
-
エクセルで空白セルを含む列の...
-
Excel 数値の前の「 ' 」を一括...
-
【Excelで「正弦波」のグラフを...
-
納豆食べた後の尿の納豆臭は何故?
-
EXCELで式からグラフを描くには?
-
ある範囲のセルから任意の値を...
おすすめ情報