ウォッチ
有効桁数
の検索結果 (10,000件 1〜 20 件を表示)
floatの有効桁数
…floatの有効桁数を調べていると(インターネット)、6桁や7桁というように、サイトによって異なっていました。 私はc言語でfloatが32bitの時を知りたいのですが、どのサイトが本当なのかなどが...…
Perlの数値計算で有効桁数を上げたい
…通常、Perlで数値計算をする場合、有効桁数は15～16桁になってしまいます。 これを、32桁、64桁と精度を上げて計算する方法はないでしょうか。 現在の環境は、Perl 5.8です。 よろしくお願...…
有効桁数について
…以下のようなデータ型の掛け算を行った場合の 有効桁数について教えてください。 decimal(38,4) × decimal(26,25) 私が確認したところ、 decimal(38,6)になっているようです。 なぜこのよう...…
エクセルで有効桁数を確認する方法
…こんちは。 エクセルに数字 例えば1.080と入力すると、1.08と表示されます。 これを1.080と表示させるにはセルの書式設定で数字、下2桁、と設定すれば1.080と表示されますが、元の数字が1.08...…
エクセルで有効桁を指定して丸めることは出来る？
…excelで普通に四捨五入をするとなると 「ROUND」などで小数点以下の桁数を指定しますよね。 そうではなく、有効桁数３桁で四捨五入…例えば、 0.1234ならば0.123 1.234ならば1.23 12.34ならば12.3...…
エクセルで有効桁を指定して丸める
…以前、↓↓にて http://oshiete1.goo.ne.jp/qa1345491.html 「excelで普通に四捨五入をするとなると 『ROUND』などで小数点以下の桁数を指定しますよね。 そうではなく、有効桁数３桁で四捨五入…...…
0.120は有効数字何桁ですか？ また、0.120と1.20×10^(-1)は有効数字の観点からみて
…0.120は有効数字何桁ですか？ また、0.120と1.20×10^(-1)は有効数字の観点からみて異なりますか？…
float型の精度（有効桁と実数）について
…float型を使った演算の結果で０．００２４５６８という８桁の結果でてきました。 IEEE754の規格により、float型は６～７桁とあるのにナゼ８桁が出てきたのか解りません。 ここで言ってる７...…
平均値をとると有効数字が増える？
…普通の物差しで測った有効数字3ケタのデータ 2.0[mm] 2.1 2.2 2.1 1.9 2.0 があったとします。各データには±0.1程度の誤差があると考えられます。 これらの合計をとると，和の場合の有効数字は末...…
平均値、標準偏差の有効数字について教えてください。
…平均値、標準偏差の有効数字についてです。 0.5046,0.5089,0.5015,0.5365,0.5681 5つの実験データです。 平均値0.52392 標準偏差0.0253442222なのですが、有効数字は何桁ですか？ データ桁数に合...…
データ型 double の桁数について
…picマイコンをPICC liteと言うＣコンパイラで作成しているのですが、そのPICC liteでは、データ型のdoubleは24ビットで、-3.4×10の38乗 ～ 3.4×10の38乗となっているのですが・・・この意味がさっぱ...…
有効数字の計算法について、(152-157)/6.5のときの答えについてです。 まず、分子と分母の有
…有効数字の計算法について、(152-157)/6.5のときの答えについてです。 まず、分子と分母の有効数字の桁数を確認します。分子は152と157の差なので、足し算や引き算の規則に従って、全ての数...…
Excelでの有効数字の合わせ方について
…Excelで小数点以下の桁数を合わす機能は知っているのですが、データの有効数字の合わせ方がわかりません。ヘルプで調べても出てこなかったのでお手上げです。 どなたかご存知のかたは教...…
推定（統計）です。有効数字の扱いがよくわからないのですが、この場合標準偏差が2桁なので2...
…推定（統計）です。有効数字の扱いがよくわからないのですが、この場合標準偏差が2桁なので2桁に合わして√n≧16、両辺を二乗してn≧256≒260ではないのでしょうか？…
検索で見つからないときは質問してみよう！
質問する（無料）
