アプリ版:「スタンプのみでお礼する」機能のリリースについて

ユーザー側で、Microsoft SQL Server2000を使用しています。
計算結果がおかしいので、仕事場で、SQL2008環境で互換モードでも、以下の現象が出てこまって
おります。テストで、確認しました。

23.0 - 22.1
の計算結果を0.9と出したいのですが、
 0.899999999999999
と結果が返ってきます。
どこが間違っているのでしょうか?

SELECT
[Field01] AS 'Field01'
,[Field02] AS 'Field02'
,[Field01]-[Field02] AS 'Field01-02'
,(CAST(23 AS FLOAT) - cast(22.1 AS FLOAT) ) AS 'test1'
,(CAST(23 AS REAL ) - cast(22.1 AS REAL ) ) AS 'test2'
FROM
[dbo].[Table01]

「Float型の時の計算結果がおかしい」の質問画像

A 回答 (3件)

間違ってはいません。



しかし浮動小数点データは概数であるため、データ型の範囲に含まれるすべての値を正確に表せるわけではありません。

SQLServer 2008 などの概数型は IEEE754 仕様に従っています。

概数型では、多くの場合、指定されたとおり正確な値が格納されません。正確な値にきわめて近い概数が格納されます。多くのアプリケーションでは指定した値と格納される概数のわずかな差は問題にはなりません。ただし、その差が問題になる場合もあります。float 型と real 型にはこのような概数の性質があるので、財務アプリケーション、丸めが行われる演算、等価性のチェックなど、正確な数値動作が必要な場合には、これらのデータ型を使用しないでください。

代わりに、int 型、decimal 型、money 型、smallmoney 型を使用することをお勧めします。


実際にはどういうことなのか、多少極端ですが、例を上げてみましょう。

いま、ここで新しいCPUを構想していて、4ビットで 0.00~4.00 までの実数を表現するものを考えているとします。

この例題で、4 ビットのうちの上位2ビットを 1の位、下位2ビットを小数点以下の位にすると仮定した場合、小数点以下は2ビットしかありませんから、2進数の 00 を 0.00、2進数の 01 を 0.025、2進数の 10 を 0.05、2進数の 11 を 0.075 と表現する合計4つのみとなります。そして、1の位は 0、1、2、3 です。
この範囲で表現できる数値では正確な4は表現できませんが、概数として表せば、3.75 が一番4に近い数値となるわけです。

実際にはもう少しビット数が多いわけですが、おおむねこのような仕組みで実数が表現されています。
    • good
    • 0
この回答へのお礼

詳しいご回答ありがとうございました。
以下の様なやり方で、正しく出来そうです。
少数桁は、4桁までなのでMONEY型処理で大丈夫そうです。

SELECT
[Field01] AS 'Field01'
,[Field02] AS 'Field02'
,(CAST([Field01] AS MONEY) - cast([Field02] AS MONEY) ) AS '正01'
,(CAST(([Field01]-[Field02]) AS MONEY) ) AS '正02'
FROM
[dbo].[Table01]

しかし、浮動小数点ってやっかいな型なのですね。
勉強になりました。

お礼日時:2012/12/05 22:42

おかしくなって当然です。


回避策は、#2 さんがしめされているので
なぜか?
の部分をExcelの場合で説明されています。
SQLServer でも考え方は一緒です。
※ #2 さんの詳しい解説ですね。

日経PC21 / エクセル(Excel)「演算誤差」対策講座
http://pc.nikkeibp.co.jp/pc21/special/gosa/
    • good
    • 0
この回答へのお礼

ご回答ありがとうございました。
リンクも張って頂き、参考になりました。

お礼日時:2012/12/05 23:00

多分


Float で計算したときに正確な値が得られると思い込んでいる
ところが間違ってると思う.
    • good
    • 0
この回答へのお礼

ご回答ありがとうございました。
No2さんの回答で、少し理解しました。

お礼日時:2012/12/05 22:40

お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!

このQ&Aを見た人はこんなQ&Aも見ています

関連するカテゴリからQ&Aを探す


このQ&Aを見た人がよく見るQ&A