お世話になります。
「ナンでそんなことをやるのか」という説明は伏せさせていただき、
以下のことについてお教え下さい。
80個のカウンターがあり、
3桁~7桁の整数が無秩序に入っています。
この総積数を求めたいのですが、
初め、「dim kekka as long」としたところ、オーバーフローしました。
(アトで当たり前かと思った次第ですが)
なので、
「dim kekka as double」としたところ、結果は出ましたが、
「9.5865~485E+36」の様な風に表示されます。
ココで質問ですが、
この結果は下1桁まで精度はあるのでしょうか。
それとも、これだけ大きいと丸められてしまっているのでしょうか。
下1桁まで精度があるなら良いのですが、
無い場合の対処法も教えていただけると有り難いのですが。
宜しくお願いします。
No.1ベストアンサー
- 回答日時:
doubleの精度は53bit、10進数で15桁くらいです。
答えが36桁の数値なようですので、一桁目までは精度はありません。一般に桁数の多い整数の計算は、多倍長整数演算といいます。検索するとExcel用の多倍長整数演算アドインなどあるようですので、そういうものを使ってみてはいかがでしょうか。
余談。
3桁以上の整数が80個だと積は36桁くらいではなく少なくとも160桁以上になると思われます。計算間違ってない?
早速有り難うございました。
やはり精度はないのですね、了解しました。
「多倍長整数演算」を探してみます。
>少なくとも160桁以上になると思われます。
済みません質問がいい加減でした。
80個の中に1桁も何個か混じっています。
表示された最後の「E+36」が桁数なのですね、
勉強になりました。
お世話になりました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
ExcelのINT関数の計算結果がお...
-
O(n log n)について2
-
三菱シーケンサ(Aシリーズ)で...
-
MATLABでの行列の全要素の和
-
計算機誤差
-
演算について
-
C言語で確実に論理右シフトをす...
-
c languageで 簡単な質問があ...
-
ラズベリーパイ>MM-TXS03で温度...
-
エクセルの多い桁数を表示させ...
-
長い桁(小数点以下)が計算でき...
-
z80について
-
java 実数の割り算
-
大きな桁数の計算について
-
float.h のテスト結果がおかしい
-
除算を使わずに10で割りたい。
-
fortranで図形の面積を求めるに...
-
floatの有効桁数
-
ExcelでPC(パソコン)によって...
-
スーパーコンピュータの処理速...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
O(n log n)について2
-
VB.net Double と...
-
c languageで 簡単な質問があ...
-
ExcelのINT関数の計算結果がお...
-
有効数字について 以前質問をし...
-
ExcelでPC(パソコン)によって...
-
三菱シーケンサ(Aシリーズ)で...
-
除算を使わずに10で割りたい。
-
16進数 加算 減算 C言語
-
EXCELの関数"STDEV(標準偏差)"...
-
VB6.0での小数点の扱いについて
-
”/”を使わずに割り算したいんで...
-
距離から緯度経度を求める方法
-
VBAでミリ秒まで出力する方法
-
floatの有効桁数
-
コンピューターは指数関数をど...
-
時刻の比較
-
計算の丸め誤差の解消について
-
Double型について
-
powf を使わずにべき乗を計算
おすすめ情報