ウォッチ
浮動小数点数
の検索結果 (10,000件 21〜 40 件を表示)
sprintf関数での文字列変換について
…マイコンにて、 C言語で浮動小数点の数値を表示するプログラムを作成しているのですが、 PRINT_OUT("123.456"); のように、文字列を直接指定した場合は正しく表示されるのですが、 sprintf()...…
計算の丸め誤差の解消について
…プログラム上で計算するときに丸め誤差が発生し、困っています。 丸め誤差が発生している計算は -0.004+0.006+0.002 なのですが、 -0.004+0.006+0.002=0 となるところが、 =8.47E-09 となってしま...…
VBの小数点周り
…以前から思っていたのですが、VBの小数点ってあやしくないですか？ 変な現象を見つけたので、知っている方がいたら教えていただきたいのです。 小数点以下、四捨五入をしようと思い...…
アクセス2003で、数値のプロパティで、小数点以下の表示ができない
…アクセス２００３を使っているのですが、テーブル上やフォーム上で、数値書式のフィールド上で、小数点以下の表示ができません。 プロパティで、書式を数値に設定して、小数点表示の...…
【FLASH】小数点以下の「0」も表示したい。（1 → 1.0 など）
…FLASH８（Win-XP）使用者です。 残り時間の秒数などを小数点以下第１位まで表示させたい場合、通常のやり方、 hyoji.text = Math.floor(jikan*10)/10; などですと、小数点以下が0の場合は0が表示さ...…
１６ビットの符号付固定小数点の使い方について
…１６ビットの符号付固定小数点について 最上位(15)ビットが符号ビットで１４～０ビットが少数部という データフォーマットだった場合、－０，２５を表すとしたら、 ０．２５に符号ビッ...…
Excel 入力規則 小数点数とは
…Excel 入力規則の「小数点数」という言葉の意味がよくわかりません。 どういう数値の、どういう小数点の入力条件を決めるのでしょうか。 教えてください、よろしくお願いします。…
データ型 double の桁数について
…picマイコンをPICC liteと言うＣコンパイラで作成しているのですが、そのPICC liteでは、データ型のdoubleは24ビットで、-3.4×10の38乗 ～ 3.4×10の38乗となっているのですが・・・この意味がさっぱ...…
基本情報の浮動小数点について
…基本情報技術者試験の勉強をしているのですが、浮動小数点の問題がどうしても解けません。問題を読んでもいまひとつ理解できず、四苦八苦しています。 下記の問題なのですが、教えて...…
エクセルで小数点以下を検索するには？
…下記の質問ですごく良い計算式が探せました。 *エクセルで小数点のみを抽出する場合 * http://oshiete1.goo.ne.jp/kotaeru.php3?q=791157 ところが、小数点がないと、「#VALUE!」エラーが出てしまい、...…
浮動小数点の定数
…基本的なことで恐縮ですが、 float f = 1; float f = 1.f; および double d = 1; double d = 1.0; これらは、違いがあるのでしょうか。…
小数点以下切捨てした上での足し算
…書式設定で小数点以下の桁数0にし、整数での表示にさせています。 しかしそれらを足し算すると結局正確に小数点以下の数値まで 足されてしまいます。そうしないためには？…
EXCEL 小数点以下の桁数を条件によって変えるには
…Ｇ列の書式設定を数値、小数点以下０桁に設定してあります Ｄ列にある特定の文字が入力された時だけ、小数点以下の桁数を１桁にしたいのですが、どのようにすればよいでしょうか？ そ...…
浮動小数点の誤差のあわせ方
…文字列からdouble型変換で他のPGと誤差がでてしまうのですが、 なんとか同じBinaryにしたいので教えてください。 1.489を他のPGのHEXで表した結果では、 printf("1.489 = %08lx%08lx\n", atof((double)？...…
VB6.0での小数点の扱いについて
…現在、VB6.0を使用しており、小数点の扱いに困っています。 Sub Keisan() Dim A As String Dim B As String Dim C As String A = 1.29033 B = 1.91458 C = CStr(A + CDec((B - A) / 6) * 3) Ms...…
エクセルマクロ小数点桁数
…テキストデータからエクセルマクロで吸出しを行う中で 数値データをNumberFomatLocalでカンマと小数点を指定したいのですが 小数点以下がセルによって2桁3桁だったり、なかったりとバラバラ...…
Accessで小数点以下の桁数を・・？
…教えてください。 Accessで小数点以下の桁数を表示したいのですが、プロパティで小数点以下の桁数を表示することができるのですが、実際に入力すると値が四捨五入されてしまい小数点以...…
FLOPSとGHzの違いについて
…以前UDがん研究プロジェクトに参加しておりました。 賛同者の方で、みなさんにこのプロジェクトをもっと知ってもらいたいと、動画を作りになられた方もいます。 しかし、私がみた動...…
FP4という浮動小数点演算4桁の割り当ては？
…NVIDIAのBlackwellはFP4という浮動小数点演算4桁で行うみたいですが、これらのbitの割り当てってどうなっていますか？ 符号部 指数部 仮数部の割り当てです。…
検索で見つからないときは質問してみよう！
質問する（無料）
