当方PowerBuilder7で作成されたシステムを検証しています
そこで・・
Double 変数1
Double 変数2
Double 変数3
変数1 = 10
変数2 = 10.1
変数3 = 変数1 - 変数2
というコードがあります
単純に考えると「変数3」には「-0.1」が正解ですよね?
しかし、実際実行してみると「-0.09999999999」となって
しまいます。
Doubleの仕様なのか PBのバグなのかまったく分かりません
この現象を説明できる方・説明している頁をご存知の方、
ご教授よろしくお願いします。
No.1ベストアンサー
- 回答日時:
一般的に、コンピュータでは、0.1を正確に表現することが苦手です。
それは、0.1が2進数で記数できないことに端を発します。
なので、PBのバグというより、Doubleの仕様というかそういうものです。
10進の記数で表現できる型があれば、それを使えばいいのですが、そういうのは、計算機にとっては、あまり効率的ではなく負荷が大きいです。
ご回答ありがとうございます
やはりそうなのですね・・
ちなみにVBで同様のコードを書いても同様な結果でした
とりあえずPBのDecimalというデータ型を使うといける
ようなので、そちらでやります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- C言語・C++・C# C言語初心者 構造体 課題について 1 2023/03/10 19:30
- 統計学 加重最小二乗法=①「変数を自然対数変換」=②「誤差項の分散の逆数を重み付け」? 8 2022/11/26 11:15
- その他(プログラミング・Web制作) pythonのプログラムについての質問です。 1 2023/05/26 10:31
- 数学 フーリエ変換後の負の周波数成分の扱いについて 4 2022/09/03 10:18
- Visual Basic(VBA) VBAでのMATCH関数 3 2022/10/17 19:06
- C言語・C++・C# C言語初心者 構造体 課題について 2 2023/03/10 19:48
- 数学 モデルのパラメータの定義がいまいちわかりません。 3 2022/10/11 15:16
- Ruby 初心者プログラミング 3 2022/10/12 11:31
- Visual Basic(VBA) Excel のユーザー定義関数でソルバーが動作しない 1 2022/09/05 19:51
- C言語・C++・C# C言語初心者 ポインタについて、お助けください、、 2 2023/03/15 23:50
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
JSPの処理の途中で、JavaScript...
-
resizeToメソッドが動作しません
-
リクエスト結果が一瞬しか表示...
-
デザイン時のVisible=Falseは実...
-
if(1){...}とはどういうことで...
-
javascriptで最初のところに戻...
-
〔Excel:VBA〕マクロの実行が異...
-
Ajaxがおかしいんです
-
C#でボタン名を変更しても動く
-
ステップ実行ででは出ないエラ...
-
エクセル VBA タイマー動作 の...
-
jquery の書き始めについて
-
CTRL + Xを無効にしたい
-
1つのVBAコードをすべてのコア...
-
初心者です。gulpでコンパイル...
-
ActiveXObject("Msxml2.XMLHTTP...
-
jQuery ui Datepicker 明日以降...
-
シャットダウンスクリプトの記述
-
jspで、javaを呼び出すときの引...
-
alert()が実行できない
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
if(1){...}とはどういうことで...
-
JSPの処理の途中で、JavaScript...
-
デザイン時のVisible=Falseは実...
-
1つのVBAコードをすべてのコア...
-
〔Excel:VBA〕マクロの実行が異...
-
以下のコードを実行しても、オ...
-
PowerPointで時計表示
-
C#でボタン名を変更しても動く
-
jQuery ui Datepicker 明日以降...
-
初心者です。gulpでコンパイル...
-
リクエスト結果が一瞬しか表示...
-
innerHTMLなどの反映タイミング
-
既存のwebサイトで、ローカルの...
-
JavaScriptで、実行するたび値...
-
VBA ステータスバー DoEvents
-
VBA SORT Applyでエラー
-
Excel VBA にて JavaScript の...
-
resizeToメソッドが動作しません
-
eval()の危険性の具体例を教え...
-
ラベルの色がかわってくれない
おすすめ情報