当方PowerBuilder7で作成されたシステムを検証しています
そこで・・
Double 変数1
Double 変数2
Double 変数3
変数1 = 10
変数2 = 10.1
変数3 = 変数1 - 変数2
というコードがあります
単純に考えると「変数3」には「-0.1」が正解ですよね?
しかし、実際実行してみると「-0.09999999999」となって
しまいます。
Doubleの仕様なのか PBのバグなのかまったく分かりません
この現象を説明できる方・説明している頁をご存知の方、
ご教授よろしくお願いします。
No.1ベストアンサー
- 回答日時:
一般的に、コンピュータでは、0.1を正確に表現することが苦手です。
それは、0.1が2進数で記数できないことに端を発します。
なので、PBのバグというより、Doubleの仕様というかそういうものです。
10進の記数で表現できる型があれば、それを使えばいいのですが、そういうのは、計算機にとっては、あまり効率的ではなく負荷が大きいです。
ご回答ありがとうございます
やはりそうなのですね・・
ちなみにVBで同様のコードを書いても同様な結果でした
とりあえずPBのDecimalというデータ型を使うといける
ようなので、そちらでやります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- C言語・C++・C# C言語初心者 構造体 課題について 1 2023/03/10 19:30
- 統計学 加重最小二乗法=①「変数を自然対数変換」=②「誤差項の分散の逆数を重み付け」? 8 2022/11/26 11:15
- その他(プログラミング・Web制作) pythonのプログラムについての質問です。 1 2023/05/26 10:31
- 数学 フーリエ変換後の負の周波数成分の扱いについて 4 2022/09/03 10:18
- Visual Basic(VBA) VBAでのMATCH関数 3 2022/10/17 19:06
- C言語・C++・C# C言語初心者 構造体 課題について 2 2023/03/10 19:48
- 数学 モデルのパラメータの定義がいまいちわかりません。 3 2022/10/11 15:16
- Ruby 初心者プログラミング 3 2022/10/12 11:31
- Visual Basic(VBA) Excel のユーザー定義関数でソルバーが動作しない 1 2022/09/05 19:51
- C言語・C++・C# C言語初心者 ポインタについて、お助けください、、 2 2023/03/15 23:50
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
デザイン時のVisible=Falseは実...
-
PowerPointで時計表示
-
if(1){...}とはどういうことで...
-
jQuery ui Datepicker 明日以降...
-
VBA SORT Applyでエラー
-
VB.netでタイマーがスタートし...
-
初心者です。gulpでコンパイル...
-
JSPの処理の途中で、JavaScript...
-
VBA ステータスバー DoEvents
-
ラベルの色がかわってくれない
-
オーバーライドについて。
-
GoTo文とかSelect文の処理の仕...
-
JavaScriptでショートカットキ...
-
system関数を使用時にDos窓を最...
-
乱数の表示
-
CreateFile、CloseHandleの繰り...
-
VB.netの重複データ数カウント...
-
Excel VBA にて JavaScript の...
-
javascriptでsjisの文字列からu...
-
1つのVBAコードをすべてのコア...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
以下のコードを実行しても、オ...
-
JSPの処理の途中で、JavaScript...
-
if(1){...}とはどういうことで...
-
1つのVBAコードをすべてのコア...
-
VBA ステータスバー DoEvents
-
〔Excel:VBA〕マクロの実行が異...
-
jQuery ui Datepicker 明日以降...
-
デザイン時のVisible=Falseは実...
-
VBA SORT Applyでエラー
-
リクエスト結果が一瞬しか表示...
-
C#でボタン名を変更しても動く
-
PowerPointで時計表示
-
innerHTMLなどの反映タイミング
-
javascriptで最初のところに戻...
-
初心者です。gulpでコンパイル...
-
onbeforeunload と aタグの hre...
-
ラベルの色がかわってくれない
-
エクセル VBA タイマー動作 の...
-
JavaScriptで、実行するたび値...
-
Excel VBA にて JavaScript の...
おすすめ情報