単精度
の検索結果 (40件 1〜 20 件を表示)
単精度実数の範囲を求める方法を教えて下さい
…ご教授願います。 単精度実数では1ビットの符号部、7ビットの指数部、24ビットの仮数部で表し、-3.40282×10^38~3.40282×10^38の範囲を表すとあります。この、-3.40282×10^38~3.40282×10^38はどのよう...…
テーブルに小数点以下の値を入れたい場合
…アクセスのテーブルに0.001と入力したい場合、 データ型を数値型にし、 フィールドサイズは 単精度浮動小数点型と倍精度浮動小数点型では どちらを選べばいいのでしょうか? どちらも小...…
ACCESS データ型の一括変更
…ACCESSのデータ型の変更について質問です。 よそからいただいているACCESSファイルがあるのですが、データがテキスト型で入っていまして、数値型(単精度浮動小数点型)に変更し、IIF関数...…
数値計算における誤差について
…小数点以下5~6桁の数値(整数部は1~5桁)を何度も積算するプログラムをSolaris7とWinXPで動作させたところ、同一データを使ったにもかかわらず誤差が生じました。非常に小さい差(0.2...…
アクセスのデータ型。数値型についてお聞きしたいのですが・・・
…アクセスのデータ型。「数値型」ですが、「フィールドサイズ」に (1)バイト型(0~255の範囲。小数点以下の数値は扱えない) (2)整数型(-32,768~32,767の範囲。小数点以下は扱えない) (3)...…
【Excel VBA】10進数を2進数に直したい
…ExcelのVBAで単精度浮動点小数(以下、小数)を16進数に直すためにコードを書いています。 頭の中では、小数→整数部分と小数点以下に分解→2進数→16進数に変換処理という流れはできていま...…
Access2000のレポートで小数点の表示が出来ない
…テーブルでも、クエリーでもちゃんと10.5と出ているにも拘らず、レポートだと11になってしまいます。 しかも1箇所だけで、他のテキストは小数点がちゃんと表示されます。 書式...…
AccessからExcelへエクスポート時に小数点以下の桁数がおかしく
…AccessからExcelへエクスポート時に小数点以下の桁数がおかしくなります。 59.20 118.40 118.40 77.70 49.20 ↓↓↓↓↓ 59.20000076 118.4000015 118.4000015 77.69999695 49.20000076 の様になってしまいます。 以下エ...…
Accessでクエリを作成したら・・・
…Accessでクエリを作成したら「式で型が一致しません」のエラーが出て、ヘルプには「JOIN式でデータ型の異なるフィールドを使用して2つのテーブルを結合しようとしています。」とあります...…
テイラー展開とその精度について
…C言語初心者です。 自分で作ったプログラムのソースはhttp://www1.axfc.net/uploader/He/so/375902.txtにあります。 (1)は一応解けたと思うのですが、(2)に関してはお手上げでした。 <問題> π = 4*(π/4) =...…
パソコンで階乗を計算
…現在、fortran90を使って階乗を計算するプログラムを作っております。 プログラム内容は、(n !を求めえるプログラム) n=0 do i=1,100 n=n*i enddo このプログラムを実行すると、12!までは予想...…
アクセス2003で、数値のプロパティで、小数点以下の表示ができない
…アクセス2003を使っているのですが、テーブル上やフォーム上で、数値書式のフィールド上で、小数点以下の表示ができません。 プロパティで、書式を数値に設定して、小数点表示の...…
32bitのIEEEを2進数、10進数で表す
…次の32bitのIEEEを2進数、10進数で表す。 1 1000 0011 1010 0000...0000 000 最初が1なのでマイナスなことはわかるのですが、それ以外がわかりません。 いろいろ検索はしてみたのですが、2進数・1...…
グーグルスプレッドシートで6.541321E+15
…グーグルスプレッドシートで数字を入力すると6.541321E+15などのように勝手に表示がかわってしまうのですが、なんとかなりませんでしょうか? 設定はすべてデフォルトのままです。…
ACCESSのint関数、fix関数について。
…経験者の方にお尋ねします。 切り捨て計算をしたいので、fix関数を使っていたのですが、 先輩から、fix関数やint関数はよく計算間違いを起こすので、使用禁止と言われました。 代わりに...…
検索で見つからないときは質問してみよう!