仕事で100万件、200万件という大量データを扱う仕事をしております。
大量データを受領するも、エディタで開こうとするとさすがに100万件を超えるくらいになってくると非常に時間がかかる、もしくは、固まってしまうという事態が頻発しています。
ファイルを開かずに、プログラムに食わせて、20万件ずつくらいに分割したいのですが、バッチファイル、もしくはvbスクリプトなどで作ったスクリプトに食わせて、20万件なりの一定件数ごとに分割するにはどうすればよいでしょうか?
バッチファイルでもvbスクリプトでもperlでも言語は問わないので、いい方法をご教授いただきたく存じます。
よろしくお願い致します。
A 回答 (4件)
- 最新から表示
- 回答順に表示
No.3
- 回答日時:
ググって見つけただけなんですがこれとかどうでしょう?
XPまでしか使えないっぽいですが(PCは少なくともWinですよね)。
http://w-x-w.com/2010/12/08/36
↑100万行だとこれでは頼りないかも。やってみてダメそうだったら、
「テキストファイル」「分割」「大容量」あたりでググってみてください。
扱ってるデータは売り上げとかでしょうか?余談ですが…もしログ等であれば、
splunkってツールが解析に使えます。大きいデータ扱えるし、複雑なこともできますし、
グラフとかの表現も綺麗。使い方はちょっと(使い倒そうと思ったらたくさん)勉強が必要。
http://ja.splunk.com/
No.2
- 回答日時:
ご質問に対する完璧な解答ではありませんが
EmEditorはいかがでしょうか。
http://jp.emeditor.com/
データの中身にもよりますが、試験した際には3GB、200万行のファイルを
10秒程で読み込みました。
お使いのPCのスペックにも左右されますので、全てがこの結果になるとは思っておりません。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- その他(Microsoft Office) エクセルソートと抽出について 3 2022/10/22 22:09
- Excel(エクセル) エクセル 任意の列数で分割する方法 3 2022/07/31 14:58
- システム CSVファイルのマッピング処理の省力化 1 2022/11/24 00:01
- 経済 真面目な話で人間が多いってウザイだけでなにも良い事ってなくないですか? 5 2022/05/06 17:30
- USBメモリー・SDカード・フラッシュメモリー 銀行が振込データの受け渡しに未だにFDを使っている理由は「FDDがAドライブ固定だから」って本当? 11 2022/06/02 03:53
- その他(IT・Webサービス) 高速処理可能な表計算ソフトについて ExcelやGoogleスプレッドシートのような表計算ソフトで、 2 2023/04/29 16:06
- その他(プログラミング・Web制作) Pythonで、データファイルと列名ファイルを1つのファイルにしたいです。 1 2023/07/27 20:29
- Excel(エクセル) エクセルデータ。容量を減らすにはどうしたらいい? 11 2022/12/22 09:01
- 減税・節税 国保➡社会保険に加入のがふるさと納税の恩恵がある? 3 2023/05/26 11:48
- 減税・節税 ふるさと納税返礼品制度を活用する為の方法 1 2023/05/23 15:56
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
キーエンスのPLCでのスクリプト...
-
PowerShellでのエラー出力の読...
-
複数フォルダを整列して表示vbs
-
JavaScriptで雪や花びらなどを...
-
IE8長時間実行中のスクリプトが...
-
CGIスクリプトについて勉強する...
-
部品配置図から文字列を抽出し...
-
HPにアクセスするとスピードが...
-
MessageBoxのタイマーについて
-
業務日誌の電子化(CGI化)
-
現在閲覧中のハンドルネームを...
-
CGIの画像掲示板
-
レジストリの設定をすぐに反映...
-
都道府県別アクセス解析は自作...
-
掲示板に画鋲、ホッチキス以外...
-
HPで「あなたは何人目です」...
-
お寺の門前に設置してある掲示...
-
アクセスカウンターの作り方
-
掲示板で記事が更新されるとメ...
-
Wi-Fiルーターの交換設置につい...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
PowerShellでのエラー出力の読...
-
VBスクリプト---アプリの終了に...
-
レジストリの設定をすぐに反映...
-
5chなどでスクリプト連投などで...
-
jQueryを使ってドラムロールを...
-
サーバーからクライアントのMAC...
-
イラストレーター、縦中横のシ...
-
ページにJavaScriptを埋め込む...
-
ジョブ名、ステップ名の取得方...
-
キーエンスのPLCでのスクリプト...
-
アプリケーションのフリーズを...
-
WindowsのPowerShellで SIGNAL...
-
perlのAF_INET、PF_INETとは
-
スタートアップ(シャットダウン...
-
VB.NETでVBスクリプトを作るに...
-
VBSの作成 ディスク空き容量
-
strstr関数
-
C#のコードのこと
-
EXCEL VBA : PDFファイルを1つ...
-
エロゲにおける『スクリプト入...
おすすめ情報