エクセルＶＢＡでＣＳＶファイルの指定行データの取得

Question

●処理元データＣＳＶファイル：約３０万件
１）列項目名は３行目にあり１～２行目データはメモ項目で全列数８０～８５列に対して５～９列で一定になっていません。
２）列項目は時期に応じ若干の差があり３タイプに分類。
３）分析に使用するデータは全行約６００行の内４～５行目のデータのみ。
■分析前処理
１）処理元データを列項目別に４～５行目のデータを集計する。
●分析
　過去経験で対応可能。

　マクロ記録「外部データ取込」を利用してその他の処理を加えデータのまとめ分析作業自動化をと考えています。
　■分析前処理に関し、ＣＳＶを１件ずつ呼出た上で分析に必要な行を切出・・・・と過去経験での処理も可能とは考えていますが、従来アウトプットに迫られ勉強が出来ていない配列やＣＳＶデータの直接処理を使い処理時間を短縮できないものかと考えています。

上記ＣＳＶファイルからの指定行３～５行目のデータ取得に関しご教授をお願いします。

nicotinism · Accepted Answer

こんな関数を作成して、Dir関数などで３０万回呼び出すとか・・・
確認用にイミディエイトウィンドウに出力しています。
例：mygetrows("ファイルのフルパス",2,5,7) で２・５・７項目めを選択
３～５行目を取り出しています。

Function myGetRows(ByVal myFilePath As String, _
　　　　　　　　　　ParamArray cAry() As Variant) As String
　　Dim FF As Integer
　　Dim i As Integer, j As Integer
　　Dim v As Variant, vr As Variant

FF = FreeFile
　　Open myFilePath For Input As #FF
　　Do Until EOF(FF)
　　　　i = i + 1
　　　　Line Input #FF, v
　　　　
　　　　If i > 2 Then 'データの始まり
　　　　　　vr = Split(v, ",")
　　　　　　myGetRows = myGetRows & v & vbCrLf '取りあえず全項目 (^_^;))
　　　　　　'Debug.Print v
　　　　　　For j = LBound(cAry) To UBound(cAry)
　　　　　　'最左項目を１として指定した項目だけ取り出したい時の参考に
　　　　　　　　Debug.Print , j, vr(cAry(j) - 1)
　　　　　　Next
　　　　End If
　　　　
　　　　If i > 4 Then '
　　　　　　myGetRows = Left(myGetRows, Len(myGetRows) - 2) '最後の改行削除
　　　　　　Close FF
　　　　　　Exit Do
　　　　End If
　　　　
　　Loop
End Function

そのCSVファイルの文字コード次第ではご破算かも、
変なところに余計なカンマがあると×無くても。。。
投稿用にタブインデントを全角スペースに変換しています。
ご参考まで。

WindFaller · Answer

私も、一言・二言・三言。
なぜ、アップロードを早めたかからですが、このまま頭の中だけに入れておくと忘れてしまうからです。

#5さんのご指摘のことは、一応は織り込み済みですが、
どこかでエラーが出たら、続きができるようにした方がよいでしょうね。
そのために、先にファイル名を取得しました。

途中で休むようにすればよいものですが、プロシージャ外にしても、エラートラップに引っかかれば、その記録は残せます。ただし、全体的なエラーを出せば、myArray の中身自体も飛んでしまいます。

'//
そのために、こんなところに切れ目を入れたのです。

本来は、
Sub CSVImportPro()
　Dim myArray

ではなく、

Private myArray
Sub CSVImportPro()

です。
Dimの宣言の下あたりに、On Error Goto ErrHandler 
の一行を加えます。

当然、ルールの一番出し入れの大きい部分に、
DoEvents
は入れておいたほうが安全です。

それとこの部分です。失敗したら、その次の番号を下記に入れます。
　For i = LBound(myArray) To UBound(myArray)
　　↓
　For i = (リテラルな数字） To UBound(myArray)

On Error GoTo　　ErrHandler

Exit Sub
ErrHandler:
　Debug.Pring i; myArray(i)

End Sub
としたら、良いかと考えています。

nicotinism · Answer

軽く
>Dir関数などで３０万回呼び出すとか・・・
と言ってしまいましたが、
３０万個もあると何処かでエラーになって止まるかも知れない。
例えばですが、コマンドプロンプトで、Dir e:	mp /s /b > check.txt 等々で
書き出してこれをシートに取り込み、対象ファイルのリストを作成。
一個処理が終わるごとに隣のセルに1。
途中から再開する場合にやりやすい・エラーファイルが分かりやすい「かも」？

ループ処理中にカウンタを入れて
if i mod 100 = 0 then 
beep
do events とかにすると途中で止めやすく「応答なし」が避けられます。
beep 五月蠅いから却下？

取得自体は出来たとして、
出力をどのようにするかは、今のところ保留です。

恥ずかしながら３０万件のファイルの一括処理は未経験ですので
興味津々です。（なかば野次馬根性？です。すみません。）

WindFaller · Answer

この時期にアップロードしないほうがよかったかもしれません。

Excelのシートへ出力のタイミングをどこでするかによって変わるような気がします。それ以外は、どうあがいても、まともな作り方をすれば、#3さんのものと大きく変わるわけではありませんが、それを、あえて別な方法にしてしまいました。

Dir のファイル名データを、最初配列の中で蓄えてから処理するという方法から、すべて配列の中で処理していく方法は、私のやり方にしても、その後のテキストインポートを、FileSystemObject を使ってしまいました。

以下の最大の問題点は、コードが読みにくいということでしょうね。

'//
Sub CSVImportPro()
　Dim myArray
　Dim FName As String, myPath As String
　Dim objFS As Object
　Dim objText As Object
　Dim i As Long
　Dim Culs, arCul
　
　'出力の項目
　Culs = "2,3,5,6"

　myPath = "C:\Temp\Test1\" '末尾は"\"
　
　ReDim myArray(400000)
　Set objFS = CreateObject("Scripting.FilesystemObject")
　FName = Dir(myPath & "*.csv", vbNormal)
　Do While FName <> ""
　　　If FName <> "." And FName <> ".." Then
　　　　If (GetAttr(myPath & FName) And vbNormal) = vbNormal Then
　　　　　　'If FileLen(myPath & FName) > 10 Then ' ファイルサイズ
　　　　　　　　myArray(i) = FName
　　　　　　　　i = i + 1
　　　　　　'End If
　　　　End If
　　　End If
　　　FName = Dir
　Loop
　If i = 0 Then
　　　MsgBox "データが見つかりませんでした。", vbExclamation
　　　Exit Sub
　End If
　
　'//
　ReDim buf(3)　　'4個まで
　Dim arBuf(4)　　'5個まで
　Dim k As Long, j As Long, v
　Dim n As Long, l As Long, m As Long
　Dim buf1 As Variant
　k = 1
　For i = LBound(myArray) To UBound(myArray)
　If myArray(i) = "" Then Exit For
　　　Set objText = objFS.OpenTextFile(myPath & myArray(i))
　　　n = 0
　　　For j = 1 To 5　　　　 '1行目から5行目まで
　　　If objText.AtEndofStream = True Then Exit For
　　　　　If j > 2 Then
　　　　　　　arBuf(n) = objText.ReadLine
　　　　　　　n = n + 1
　　　　　Else
　　　　　　　objText.SkipLine
　　　　　End If
　　　Next
　　　objText.Close
　　　For n = LBound(arBuf) To UBound(arBuf)
　　　　　buf1 = Split(arBuf(n), ",")
　　　　m = UBound(buf1)
　　　　If m > -1 Then
　　　　　　k = k + 1
　　　　　　'列の項目別
　　　　　　'Cells(k, 1).Resize(, m + 1).Value = Buf1 '全部
　　　　　　arCul = Split(Culs, ",")
　　　　　　l = 0
　　　　　　For Each v In arCul
　　　　　　　　If UBound(buf1) >= v - 1 Then
　　　　　　　　　　Cells(k, 1 + l).Value = buf1(v - 1)
　　　　　　　　l = l + 1
　　　　　　　　End If
　　　　　　Next v
　　　　End If
　　　Next n
　　　Erase arBuf
　Next i
End Sub

rukuku · Answer

こんばんは

外注も検討してみてはいかがでしょうか？

WindFallerさんのアドバイスにもありますように、情報不足で回答やサポートは出来ません。
業者さんを探して、外注することも検討してみてください。

WindFaller · Answer

こんばんは。

とても興味を持ちました。
私の乏しい経験からすると、オーソドックスな方法が一番のような気がします。
しかし、VBAマクロとして読むと、具体性がない点がいくつかあります。

人によっては、このまま作ってしまうことが可能だと思いますが、

・処理元データを列項目別に４～５行目のデータを集計する。(集計とは合計の計算と考えます）

・ＣＳＶファイルからの指定行３～５行目のデータ取得に
つまり項目名を含むというとこです。

ここら辺で、ちょっとどちらだろうか、どうするのだろうか、そもそもファイルの一部のデータを取り出すということで、そのデータ名などは、どこかに必要なのかなとか、そして、結果としては、30万ファイルなら、60～90万行になるということです。それでは、管理もできないだろうなとかなど。

とりとめもなくいろんな疑問が湧いてきてしまいます。

どのようなスタイルにするか、ひな形でもあるとよいのですが。

エクセルＶＢＡでＣＳＶファイルの指定行データの取得

私も、一言・二言・三言。

軽く

この時期にアップロードしないほうがよかったかもしれません。

こんな関数を作成して、Dir関数などで３０万回呼び出すとか・・・

こんばんは

こんばんは。

似たような質問が見つかりました

このQ&Aを見た人はこんなQ&Aも見ています

関連するカテゴリからQ&Aを探す

このQ&Aを見た人がよく見るQ&A

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング