Windows 7で Excel 2010 のVBAを使い、あるアプリケーションの出力結果 (バイナリデータ) が正しいかチェックしようとしています。
その結果が 2GBバイト以下の場合はうまくチェックできており、実績があります。
ところが 2GBを超えると下記の Get文で「レコード番号が不正です」というエラーメッセージが出て中断してしまいます。
おそらく Get文の VBA内部のポインタが Long型で、オーバーフローしてしまうのだと想像しています。
Dim a(1024) As Byte
Dim d as double
Open "バイナリデータ.dat" For Binary Access Read As #1
For d = 1 To ((1024 * 1024) * 10) ' 10GBファイルを1KBずつ読み込みするループ処理
Get #1, , a
'~ a の内容チェック処理 (略します) ~
Next d
Close #1
なお、実績のあるチェック処理は、そのまま使いたいので他の言語は利用したくないと思っています。
(会社なので、VB や VC を購入するにも、稟議の日数がかかってしまうのです)
別の試みで Get の代わりに INPUTB()関数を、試してみましたがバイナリデータにヌル &H0 などが含まれているので、読み込みができません。
(それは INPUTB()関数の仕様のようです)
なにか良い解決方法をご存じの方がいらっしゃいましたら、宜しくおねがいします。
No.2ベストアンサー
- 回答日時:
#1です。
#1のF.ReadBytesでは、
F.ReadBytes内でByte型をVariant型に変換し、F.ReadBytesの戻り値をVariant型からByte型
に変換しています。
上記のデータの転送は、ファイルのサイズが大きくない場合は、それほど問題になりませんが、
ファイルサイズが今回のように大きい場合は、それなりの遅延原因になります。
その為、以下のReadBytes2を作成してみました。
以下のコードをRandomクラス内に追加してください
----------------------------------------------
Public Function ReadBytes2(ByVal ByteCount As Long, ByRef ReadBuff() As Byte) As Long
Dim BytesRead As Long
If hFile = INVALID_HANDLE_VALUE Then
RaiseError W32F_FILE_ALREADY_CLOSED
End If
ReadFile hFile, ReadBuff(LBound(ReadBuff)), ByteCount, BytesRead, 0
ReadBytes2 = BytesRead
End Function
----------------------------------------------
ReadBytes2の第1引数が読み込みサイズ、第2引数が、読込バッファ
戻り値が実際に読み込んだデータのサイズ(バイト)になります。
戻り値が0の場合は、ファイル終端を意味します。
第2引数の読込バッファは、必ず第1引数の値以上のサイズを確保してください。
以下、実際の呼び出しプログラム側です。
----------------------------------------
Sub Macro2()
Dim buff(1023) As Byte
Dim endFlag As Boolean
Dim datalen As Long
Dim amari As Long
Dim readCount As Long
Dim i As Long
Dim st As Single
Dim et As Single
Dim F As Random
Set F = New Random
F.OpenFile "c:\\goo\\File10GB"
endFlag = False
amari = 0
st = Timer
Do While endFlag = False
datalen = F.ReadBytes2(1024, buff())
If datalen < 1 Then
endFlag = True
End If
If endFlag = False Then
readCount = readCount + 1
For i = 0 To datalen - 1
amari = (amari + buff(i)) Mod 256
Next i
End If
Loop
F.CloseFile
Set F = Nothing
et = Timer
Debug.Print "時間2(秒)=" + CStr(et - st)
Debug.Print "読込件数=" + CStr(readCount)
Debug.Print "余り=" + CStr(amari)
End Sub
-------------------------------------------------
1024バイト単位で読み込むため、
Dim buff(1023) As Byte を宣言しています。
以下実行結果です。
時間2(秒)=332.0859
読込件数=10485760
余り=236
#1の実行時間は約530秒でしたので、6割程度に時間が短縮されたことがわかります。
ReadBytes2を使用することを推奨します。
きょう月曜日に出勤して、さっそく試してみました。
既存のプログラムに教えていただいたコードを埋め込み、うまく動きました。
現在は、エラーハンドリングの追加と、パフォーマンスの調整をしています。
ありがとうございました。
No.1
- 回答日時:
以下のサイトに2GBバイトを超えるファイルの読み書き方法が記述されています。
https://support.microsoft.com/ja-jp/kb/189981
上記サイトを参考に10GBバイトのファイルを読み込むプログラムを書いてみました。
標準モジュール module1
--------------------------------------
Option Explicit
Sub Macro1()
Dim buff() As Byte
Dim temp As Variant
Dim endFlag As Boolean
Dim DataLen As Long
Dim amari As Long
Dim readCount As Long
Dim i As Long
Dim F As Random
Set F = New Random
F.OpenFile "c:\\goo\\File10GB"
endFlag = False
amari = 0
Do While endFlag = False
temp = F.ReadBytes(1024, DataLen)
buff = temp
'Debug.Print "DataLen=" + CStr(DataLen)
If DataLen < 1 Then
endFlag = True
End If
If endFlag = False Then
readCount = readCount + 1
For i = 0 To DataLen - 1
amari = (amari + buff(i)) Mod 256
Next i
End If
Loop
F.CloseFile
Debug.Print "読込件数=" + CStr(readCount)
Debug.Print "余り=" + CStr(amari)
End Sub
--------------------------------------
クラス Randomの内容
上記サイトの内容をそのままコピー&ペーストします。
但し、ReadBytesメソッドは、実際に読み込めたデータのサイズ(バイト)を返すように改造しました。
(現行のReadBytesでは、ファイルの終了判定が出来ないためです)
改造後のReadBytesメソッドは以下のようになります。
-------------------------------------------------------
Public Function ReadBytes(ByVal ByteCount As Long, ByRef ReadLen As Long) As Variant
Dim BytesRead As Long, Bytes() As Byte
If hFile = INVALID_HANDLE_VALUE Then
RaiseError W32F_FILE_ALREADY_CLOSED
End If
ReDim Bytes(0 To ByteCount - 1) As Byte
ReadFile hFile, Bytes(0), ByteCount, BytesRead, 0
ReadLen = BytesRead
ReadBytes = Bytes
End Function
---------------------------------------------------------
ReadByteの戻り値がVariant型なのでByte型に転送するため
Dim buff() as Byte
としています。・・・buff(1023)と記述するとエラーになります。
ファイル名がc:\goo\File10GBになっていますので、
ここをあなたの環境のファイルに変えてください。
全ファイルを1024バイト単位で読み込み、
実際に読み込めた回数と
各1バイトの値(0~255)の和を256で割った余りを画面に表示します。
1024の整数倍でないファイルの場合は、最後のデータは、端数のサイズ(DataLenが示すサイズ)
になります。
尚、あなたの提示されたソースで Dim a(1024) as Byteの宣言がありますが
Option Base 0(これがデフォルト)の場合は、1025バイト確保されますのでご注意ください。
私が提示したソースはOption Base 0をベースにコーディングしてあります。
もし あなたがOption Base 1でコーディングしている場合は、その点、ご注意ください。
不明点は、補足してください。
実行結果は以下のようになります
------------------------------
読込件数=10485760
余り=236
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
このQ&Aを見た人はこんなQ&Aも見ています
-
誕生日にもらった意外なもの
みなさんがもらった誕生日プレゼントで面白いものがあったらぜひ教えてください!
-
フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
あなたが普段思っている「これまだ誰も言ってなかったけど共感されるだろうな」というあるあるを教えてください
-
映画のエンドロール観る派?観ない派?
映画が終わった後、すぐに席を立って帰る方もちらほら見かけます。皆さんはエンドロールの最後まで観ていきますか?
-
海外旅行から帰ってきたら、まず何を食べる?
帰国して1番食べたくなるもの、食べたくなるだろうなと思うもの、皆さんはありますか?
-
天使と悪魔選手権
悪魔がこんなささやきをしていたら、天使のあなたはなんと言って止めますか?
-
2GB以上のファイルを扱う方法
Visual Basic(VBA)
-
エクセルVBA 大容量CSVファイルの読み込み
Visual Basic(VBA)
-
Long型で表現できないファイルサイズへの対応
Excel(エクセル)
-
-
4
エクセルVBA 2千万行のCSVファイルを開きたい
Visual Basic(VBA)
-
5
「VBScript」ADODB.Streamにおけるファイル読み込みについて(他
Microsoft ASP
-
6
VBAで巨大なファイルの途中からの読み込み
Visual Basic(VBA)
-
7
エクセルVBA 文字列領域が不足しています
Visual Basic(VBA)
-
8
エクセルVBA 大容量CSVファイルの読み込みが遅い
Visual Basic(VBA)
-
9
Excel VBAにて、2GB超の点群データ(CSVファイル,改行コードLF)を高速で解析したい。
Visual Basic(VBA)
-
10
VBA2005 16進を2桁で表示したい。
Visual Basic(VBA)
-
11
VBA 大きなtxtテキストファイルを開く方法
Excel(エクセル)
-
12
Excelのメモリ(配列)の上限は2Gではないのか
Excel(エクセル)
-
13
VB(VBA)で、バイナリデータを使ってテキストファイルを作成したいの
Visual Basic(VBA)
-
14
EXCEL VBAで、バイナリデータの書き込み及び読み込みについて
Visual Basic(VBA)
-
15
VBAの配列サイズとメモリに関して
Visual Basic(VBA)
-
16
バイト型のデータをLong型に変換
Visual Basic(VBA)
-
17
byte型をstring型として扱うには
Visual Basic(VBA)
-
18
RandomとBinaryモードの違い
Visual Basic(VBA)
-
19
VBA バイナリ―から文字列にする方法
Visual Basic(VBA)
-
20
VBAのバイナリ出力について
Visual Basic(VBA)
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
- ・ゆるやかでぃべーと タイムマシンを破壊すべきか。
- ・歩いた自慢大会
- ・許せない心理テスト
- ・字面がカッコいい英単語
- ・これ何て呼びますか Part2
- ・人生で一番思い出に残ってる靴
- ・ゆるやかでぃべーと すべての高校生はアルバイトをするべきだ。
- ・初めて自分の家と他人の家が違う、と意識した時
- ・単二電池
- ・チョコミントアイス
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
バッファとは何ですか
-
エラー:ストリームの終わりを...
-
入力ファイルをバイナリにする利点
-
エクセルVBA 2千万行のCSVファ...
-
Microsoft VBAで2GBを超えるフ...
-
ビットマップファイル生成(C言...
-
DXFファイル用クラスライブラリ...
-
HDDのバイナリイメージの取得方...
-
24ビットのWaveデータの中身に...
-
データ挿入方法
-
FTP転送
-
ページ読み込み時に自動的にsub...
-
バイナリファイルの比較につい...
-
テキストデータをSQLServerに取...
-
画像の保存方法。
-
EOF
-
EXCEL VBAでテキストファイルの...
-
【python】Excelファイルを読み...
-
MacからWinにファイルを添付す...
-
C++ Builderにおける画像データ...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
バッファとは何ですか
-
Microsoft VBAで2GBを超えるフ...
-
ページ読み込み時に自動的にsub...
-
EOF
-
EXCEL VBAでテキストファイルの...
-
エクセルVBA 2千万行のCSVファ...
-
【python】Excelファイルを読み...
-
VBA バイナリ―から文字列にす...
-
入力ファイルをバイナリにする利点
-
バイナリエディタのつかいかた
-
エラー:ストリームの終わりを...
-
24ビットのWaveデータの中身に...
-
C言語とシリアル通信の送受信...
-
テキストデータをSQLServerに取...
-
バイナリーデータの一部データ...
-
削除したファイルの復旧、およ...
-
テキストデータをバイナリデー...
-
バイナリファイルの検索について
-
【Teraterm】filewritelnについて
-
PHPのfgetcsvの処理容量について
おすすめ情報