No.5ベストアンサー
- 回答日時:
補足です。
そもそも20万行というのが非常に大きすぎる行数なので、どんなソフトでも、まともに読み込みや検索すると非常に時間がかかります。
私ならもっと効率の良い方法を取ります。
まず、ms単位の1行当たりの長さが同じで揃っているなら
1行の文字数×ms単位の時間=目的の時刻のデータの場所
これで、目的の時刻のデータの場所が計算できます。
1行当たりの長さが揃っていない場合は、平均的な文字数で計算すれば、少なくてもその近辺には移動できますね。
そういうプログラムは簡単に組めますが、プログラムができないなら
電卓でデータの場所を計算して、バイナリエディタでその場所に直接ジャンプすれば、一番速く処理できるんじゃないかなと思います。
No.7
- 回答日時:
方法はいろいろあると思います。
1.SED や AWK が使える人ならチョチョッとできそうな処理ですね。
Windows用のフリーソフトもたくさん出ていると思いますので、興味があればダウンロードしてみてください。
2.EXCELのフィルターを使う。
20万件では時間がかかるかも
3.データベース系のソフトを使う。
レコード数を考えると一番現実的な方法でしょう。
ACCESSやApproach、FileMaker,Paradox等のデータベースソフトが
ひとつくらいありませんか。
特にApproachはロータス123の付録?でついているバージョンがありますが、
非常に使いやすいソフトです。
なければシェアウェアですがTCARDといったソフトもあります。
http://www.dicre.com/soft/tcard.htm
4.テキストエディタ等
データがソートされているようですので、今まで書かれているような
エディタを使う方法もありかと。
No.4
- 回答日時:
CSVというのはテキストデータだからテキストエディタなどで開けます。
そして、目的の時刻の文字列を検索してジャンプします。
先頭からその行までを範囲指定して削除します、末尾も同様に削除すればいいですね。
ただし、20万行以上もの行数を扱えるテキストエディタというのは、結構高度なプログラムをしなくてはいけないので、使えるソフトは限られてきますね。
私の知っているソフトで使えそうなのは、この2つかな
http://hide.maruo.co.jp/software/hidemaru.html
「秀丸エディタ」 シェアウェア
・最大1000万行のファイルまで編集可能。
・ファイルサイズは制限なし(制限は行数のみ)。
http://www.vcraft.jp/soft/bz.html
「バイナリエディタ Bz」 フリーソフト
・4GBまでのサイズのファイルが扱える
・文字列での検索も可能なので、先の時刻の文字列で検索して範囲指定して削除する事もできます。
多分、テキストエディタよりもバイナリエディタの方が、大量データの編集の点ではは高速に処理できるのではと思います。
No.3
- 回答日時:
エクセルのVBAを使ってプロシージャつくります。
CSVファイル(入力用:A)をOPENする
CSVファイル(出力用:B)をOPENする
CSVファイル(出力用:C)をOPENする
Aより1行読み込む
AがEOFになるまで繰り返す
Aの内容をそのままBに出力する
Aより1行読み込む
AがEOFになったら
CSVファイル(A)をCLOSEする
CSVファイル(B)をCLOSEする
CSVファイル(C)をCLOSEする
終了
基本的にはこの形を作ってみます。
あとは
「Aの内容をそのままBに出力する」
が
条件満たすとき
「Aの内容をそのままBに出力する」
条件満たさないとき
「Aの内容をそのままCに出力する」
になる感じです。
A:元のファイル
B:条件あった部分だけのファイル
C:条件あった部分だけ抜いたファイル
セルを操作してやるよりはCSVファイル上でやる方が速いと
思われます。
No.1
- 回答日時:
「目的のデータ」とは、どんな条件でくくれるのでしょうか?
莫大というのは、どれくらいの行数があるものなのでしょうか?
これがわかれば、ある程度なんとかなるかもしれません。
たとえば、CSVをAccessに取り込んで絞り込むなど…。
この回答への補足
時間がミリセカンドで並んでいて(A列)、それぞれに計測データ(B列)が入っています。
たとえば、9時~9時30分の計測データを切り出す場合、どうしたらよいかということなんです。
全部の行数は20万行以上あります。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- Ruby pandasでsqlite3にテーブル作成・追加・読み出しでindexの取り扱い方教えてください 5 2023/03/08 09:57
- Visual Basic(VBA) VBA 毎日取得するデータを順番に反映していく方法 6 2023/08/26 16:22
- その他(プログラミング・Web制作) python 気象データの取得 2 2023/06/20 23:54
- その他(プログラミング・Web制作) Pythonで、データファイルと列名ファイルを1つのファイルにしたいです。 1 2023/07/27 20:29
- その他(プログラミング・Web制作) データ解析ソフトRでのファイル入力read.csvがエラーになります 7 2022/03/27 22:11
- その他(プログラミング・Web制作) pythonのpandasのcsvの外部結合(outer_join)した際に列が想定とは異なる事象 1 2022/05/25 13:23
- Visual Basic(VBA) マクロを教えてください。 7 2023/06/01 19:47
- PDF PDFに精通した方に質問。JPEGファイル群を一つのPDFファイルにするときの容量変化について 6 2023/07/23 19:06
- Excel(エクセル) CSVファイルがカンマ区切りにならない。対処法を教えていただきたいです。 仕事でSMS一斉送信ができ 2 2022/07/01 21:24
- その他(プログラミング・Web制作) Fortranでの出力ファイル 2 2023/03/21 21:25
関連するカテゴリからQ&Aを探す
おすすめ情報
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
ExcelをCSV書き出す場合のシー...
-
ReadLineでの読み出し行を指定する
-
perlで、後ろの行を読んで、前...
-
エクセルマクロについて CSVフ...
-
VBAで巨大なファイルの途中から...
-
perl で googleAPIを呼び出す...
-
CSVファイルについて
-
JavaでCSVファイルを高速に読む...
-
VBAでCSVファイルの特定行を書...
-
ファイル読み込みと書き込み
-
CSVファイルの内容を編集する方...
-
スレッドAで信号を送り、返答が...
-
VBAでCSVファイルを途中行まで...
-
openした後、closeしないでプロ...
-
エクセルVBA コードが同じでも...
-
VBScriptでファイル保存先のデ...
-
画像をバイナリデータに変換す...
-
awkスクリプトでダブルクォーテ...
-
ListBoxのデータを高速でファイ...
-
C言語で特定の行を抽出する方法...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
VBAでCSVファイルの特定行を書...
-
ExcelをCSV書き出す場合のシー...
-
VBAでCSVファイルを途中行まで...
-
VBAで巨大なファイルの途中から...
-
openした後、closeしないでプロ...
-
エクセルVBA コードが同じでも...
-
ReadLineでの読み出し行を指定する
-
JavaでCSVファイルを高速に読む...
-
perlで、後ろの行を読んで、前...
-
Perlの変数に文字数制限(容量...
-
エクセルVBAでCSVファイ...
-
perlにて2つのファイル比較
-
MATLAB グローバル変数の宣言
-
C#でCSVファイルを逐一更新したい
-
CSVが可変長の場合の検索方法
-
他のサーバーにあるファイルの...
-
動画像から静止画を取り出すには
-
perlで容量の大きいCSVファイル...
-
外部サーバーにあるファイルを...
-
1ファイルずつ読み込みたい
おすすめ情報