お世話になります。
「ナンでそんなことをやるのか」という説明は伏せさせていただき、
以下のことについてお教え下さい。
80個のカウンターがあり、
3桁~7桁の整数が無秩序に入っています。
この総積数を求めたいのですが、
初め、「dim kekka as long」としたところ、オーバーフローしました。
(アトで当たり前かと思った次第ですが)
なので、
「dim kekka as double」としたところ、結果は出ましたが、
「9.5865~485E+36」の様な風に表示されます。
ココで質問ですが、
この結果は下1桁まで精度はあるのでしょうか。
それとも、これだけ大きいと丸められてしまっているのでしょうか。
下1桁まで精度があるなら良いのですが、
無い場合の対処法も教えていただけると有り難いのですが。
宜しくお願いします。
No.1ベストアンサー
- 回答日時:
doubleの精度は53bit、10進数で15桁くらいです。
答えが36桁の数値なようですので、一桁目までは精度はありません。一般に桁数の多い整数の計算は、多倍長整数演算といいます。検索するとExcel用の多倍長整数演算アドインなどあるようですので、そういうものを使ってみてはいかがでしょうか。
余談。
3桁以上の整数が80個だと積は36桁くらいではなく少なくとも160桁以上になると思われます。計算間違ってない?
早速有り難うございました。
やはり精度はないのですね、了解しました。
「多倍長整数演算」を探してみます。
>少なくとも160桁以上になると思われます。
済みません質問がいい加減でした。
80個の中に1桁も何個か混じっています。
表示された最後の「E+36」が桁数なのですね、
勉強になりました。
お世話になりました。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- Visual Basic(VBA) VBAでのMATCH関数 3 2022/10/17 19:06
- 数学 単振り子とルンゲ・タック法 1 2022/07/15 00:05
- Visual Basic(VBA) vbaの計算 if elseと範囲について 6 2022/11/26 01:49
- Excel(エクセル) 【マクロ】スクショ印刷がうまく動かない件 5 2022/12/06 17:37
- Visual Basic(VBA) 【前回の続きです、ご教示ください】VBAの記述方法がわかりません。 2 2022/08/16 16:44
- Excel(エクセル) Excel VBAどこが間違ってますか? 4 2023/07/17 10:04
- Visual Basic(VBA) VBAプログラミング 2 2022/11/27 12:07
- Excel(エクセル) VBAで組み合わせ算出やCOUNTIFSの処理を高速化したいです。 4 2022/04/07 02:38
- Visual Basic(VBA) VBAプログラミング 2 2022/11/27 12:13
- Visual Basic(VBA) Excel VBA キーワードから列を取得して、さらに空欄行を非表示にする 3 2022/10/21 22:49
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
有効数字について 以前質問をし...
-
VB.net Double と...
-
初心者です。 C++ついて
-
”/”を使わずに割り算したいんで...
-
VB6.0での小数点の扱いについて
-
10次の多項式を求めるプログラ...
-
コンピューターは指数関数をど...
-
float.h のテスト結果がおかしい
-
c言語 立方根
-
16進数 加算 減算 C言語
-
z80について
-
ExcelのINT関数の計算結果がお...
-
三角比の俯角の計算
-
c languageで 簡単な質問があ...
-
Log関数に関する質問
-
floatの有効桁数
-
Pythonについてなのですが、小...
-
ExcelでPC(パソコン)によって...
-
pythonの乗算の表示結果の差に...
-
BCD・HEX・BINについて
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
O(n log n)について2
-
ExcelでPC(パソコン)によって...
-
ExcelのINT関数の計算結果がお...
-
16進数 加算 減算 C言語
-
VB.net Double と...
-
floatの有効桁数
-
三菱シーケンサ(Aシリーズ)で...
-
c languageで 簡単な質問があ...
-
除算を使わずに10で割りたい。
-
VBAでミリ秒まで出力する方法
-
VBAでの割り算の余りの求め方
-
VB6.0での小数点の扱いについて
-
VB6のFIX関数での誤差について
-
有効数字について 以前質問をし...
-
100桁の計算ができなくて困って...
-
浮動小数演算は実行環境の変化...
-
EXCELの関数"STDEV(標準偏差)"...
-
BCD・HEX・BINについて
-
コンピューターは指数関数をど...
-
乱数 なぜ剰余を使うのか
おすすめ情報