Microsoft VBAで2GBを超えるファイルサイズのバイナリデータを読み込みたい。

Windows 7で Excel 2010 のVBAを使い、あるアプリケーションの出力結果 (バイナリデータ) が正しいかチェックしようとしています。
その結果が 2GBバイト以下の場合はうまくチェックできており、実績があります。
ところが 2GBを超えると下記の Get文で「レコード番号が不正です」というエラーメッセージが出て中断してしまいます。
おそらく Get文の VBA内部のポインタが Long型で、オーバーフローしてしまうのだと想像しています。

Dim a(1024) As Byte
Dim d as double

Open "バイナリデータ.dat" For Binary Access Read As #1
For d = 1 To ((1024 * 1024) * 10) ' 10GBファイルを1KBずつ読み込みするループ処理
Get #1, , a

'～ a の内容チェック処理 (略します) ～

Next d
Close #1

なお、実績のあるチェック処理は、そのまま使いたいので他の言語は利用したくないと思っています。
(会社なので、VB や VC を購入するにも、稟議の日数がかかってしまうのです)

別の試みで Get の代わりに INPUTB()関数を、試してみましたがバイナリデータにヌル &H0 などが含まれているので、読み込みができません。
(それは INPUTB()関数の仕様のようです)

なにか良い解決方法をご存じの方がいらっしゃいましたら、宜しくおねがいします。

No.2 ベストアンサー 回答者： tatsu99 回答日時： 2015/09/27 22:50

#1です。

#1のF.ReadBytesでは、
F.ReadBytes内でByte型をVariant型に変換し、F.ReadBytesの戻り値をVariant型からByte型
に変換しています。
上記のデータの転送は、ファイルのサイズが大きくない場合は、それほど問題になりませんが、
ファイルサイズが今回のように大きい場合は、それなりの遅延原因になります。
その為、以下のReadBytes2を作成してみました。
以下のコードをRandomクラス内に追加してください
----------------------------------------------
Public Function ReadBytes2(ByVal ByteCount As Long, ByRef ReadBuff() As Byte) As Long
Dim BytesRead As Long
If hFile = INVALID_HANDLE_VALUE Then
RaiseError W32F_FILE_ALREADY_CLOSED
End If
ReadFile hFile, ReadBuff(LBound(ReadBuff)), ByteCount, BytesRead, 0
ReadBytes2 = BytesRead
End Function
----------------------------------------------
ReadBytes2の第1引数が読み込みサイズ、第2引数が、読込バッファ
戻り値が実際に読み込んだデータのサイズ（バイト）になります。
戻り値が０の場合は、ファイル終端を意味します。
第２引数の読込バッファは、必ず第1引数の値以上のサイズを確保してください。
以下、実際の呼び出しプログラム側です。
----------------------------------------
Sub Macro2()
Dim buff(1023) As Byte
Dim endFlag As Boolean
Dim datalen As Long
Dim amari As Long
Dim readCount As Long
Dim i As Long
Dim st As Single
Dim et As Single
Dim F As Random
Set F = New Random
F.OpenFile "c:\\goo\\File10GB"
endFlag = False
amari = 0
st = Timer
Do While endFlag = False
datalen = F.ReadBytes2(1024, buff())
If datalen < 1 Then
endFlag = True
End If
If endFlag = False Then
readCount = readCount + 1
For i = 0 To datalen - 1
amari = (amari + buff(i)) Mod 256
Next i
End If
Loop
F.CloseFile
Set F = Nothing
et = Timer
Debug.Print "時間2（秒）=" + CStr(et - st)
Debug.Print "読込件数=" + CStr(readCount)
Debug.Print "余り=" + CStr(amari)
End Sub
-------------------------------------------------
1024バイト単位で読み込むため、
Dim buff(1023) As Byte　を宣言しています。
以下実行結果です。
時間2（秒）=332.0859
読込件数=10485760
余り=236

#1の実行時間は約530秒でしたので、6割程度に時間が短縮されたことがわかります。
ReadBytes2を使用することを推奨します。

この回答へのお礼

きょう月曜日に出勤して、さっそく試してみました。
既存のプログラムに教えていただいたコードを埋め込み、うまく動きました。
現在は、エラーハンドリングの追加と、パフォーマンスの調整をしています。
ありがとうございました。

お礼日時：2015/09/28 13:08

No.1 回答者： tatsu99 回答日時： 2015/09/26 01:55

以下のサイトに２GBバイトを超えるファイルの読み書き方法が記述されています。

https://support.microsoft.com/ja-jp/kb/189981

上記サイトを参考に１０GBバイトのファイルを読み込むプログラムを書いてみました。
標準モジュール module1
--------------------------------------
Option Explicit
Sub Macro1()
Dim buff() As Byte
Dim temp As Variant
Dim endFlag As Boolean
Dim DataLen As Long
Dim amari As Long
Dim readCount As Long
Dim i As Long
Dim F As Random
Set F = New Random
F.OpenFile "c:\\goo\\File10GB"
endFlag = False
amari = 0
Do While endFlag = False
temp = F.ReadBytes(1024, DataLen)
buff = temp
'Debug.Print "DataLen=" + CStr(DataLen)
If DataLen < 1 Then
endFlag = True
End If
If endFlag = False Then
readCount = readCount + 1
For i = 0 To DataLen - 1
amari = (amari + buff(i)) Mod 256
Next i
End If

Loop
F.CloseFile
Debug.Print "読込件数=" + CStr(readCount)
Debug.Print "余り=" + CStr(amari)
End Sub
--------------------------------------
クラス Randomの内容
上記サイトの内容をそのままコピー＆ペーストします。
但し、ReadBytesメソッドは、実際に読み込めたデータのサイズ（バイト）を返すように改造しました。
（現行のReadBytesでは、ファイルの終了判定が出来ないためです）
改造後のReadBytesメソッドは以下のようになります。
-------------------------------------------------------
Public Function ReadBytes(ByVal ByteCount As Long, ByRef ReadLen As Long) As Variant
Dim BytesRead As Long, Bytes() As Byte
If hFile = INVALID_HANDLE_VALUE Then
RaiseError W32F_FILE_ALREADY_CLOSED
End If
ReDim Bytes(0 To ByteCount - 1) As Byte
ReadFile hFile, Bytes(0), ByteCount, BytesRead, 0
ReadLen = BytesRead
ReadBytes = Bytes
End Function
---------------------------------------------------------
ReadByteの戻り値がVariant型なのでByte型に転送するため
Dim buff() as Byte
としています。・・・buff(1023)と記述するとエラーになります。

ファイル名がc:\goo\File10GBになっていますので、
ここをあなたの環境のファイルに変えてください。
全ファイルを1024バイト単位で読み込み、
実際に読み込めた回数と
各1バイトの値（0～255）の和を２５６で割った余りを画面に表示します。
1024の整数倍でないファイルの場合は、最後のデータは、端数のサイズ（DataLenが示すサイズ）
になります。


尚、あなたの提示されたソースで　Dim a(1024) as Byteの宣言がありますが
Option Base 0（これがデフォルト）の場合は、1025バイト確保されますのでご注意ください。
私が提示したソースはOption Base 0をベースにコーディングしてあります。
もし　あなたがOption Base １でコーディングしている場合は、その点、ご注意ください。
不明点は、補足してください。
実行結果は以下のようになります
------------------------------
読込件数=10485760
余り=236