
タイトルの通りです.
現在カンマで区切られた6個の項目が並んでいる,120万行ほどあるデータの処理をしています.
そのうち1つのデータの数値をソートして別ファイルにする作業をしたいのですが,
具体的には,全文を読みながらデータ値域が0~80の数値項目をif文で5刻みに(0-5,5-10,...)検索し,該当する行番号を抽出し,別ファイルに抽出した行番号の行内容だけを出力します.
その際に,1行に含まれる該当データは普通に読み込めるのですが,項目の中の1つにIDがあり,通し番号になっているのですが,IDが1から999までは読めるのですが,1000から1,000のように区切りが入っており,そこで分断されてしまいます.
Excelで区切り位置でデータを修正してから再度プログラムにかけられればいいのですが,120万行ありExcelは100万行ちょっとしか処理できないため,質問しております.
画像にデータの冒頭部分を載せております.ソートしたいのはgrid_codeと書いてある値です.
画像中ではID,FIDと書いてある2項目が数値によってはカンマが入っています.
それから,' " 'が含まれる数値は読み込めますか?
ID,FIDの文字数が固定ならカンマ込みで読み込んであとからその文字数分で結合すれば問題ないのですが,
1,000の次に1,000,000もあるのでお手上げ状態です(笑

No.2ベストアンサー
- 回答日時:
とりあえず FID_keisha を整数として求められれば、後は自力で何とかなるんだろ?
それほど難しい問題ではない。
自由書式で読めば、CSVデータの読み取りはできる。引用符でくくられている部分は文字列として読み込める。このとき、読み取ったデータから引用符は落ちる。次にコンマを抜き去るのだが、これは配列に対するPACK関数でフィルタリングすればよい。だが、そのためにはまず文字列を1文字ごとの文字配列に変換するする必要がある。これはTRANSFER関数で出来る。なおフィルタリングした後、文字配列を文字列に戻しておく。最後に文字列を整数に変換するのだが、これは内部ファイルを使うのが定石。文字列を入力ファイルのようにみなして、整数変数に書式付で読み込む。
参考プログラムを書いておく。
program goo
implicit none
integer, parameter :: nmax = 10**1
integer :: i, m, io, id(nmax), point_id(nmax), fid_keisha(nmax)
real(kind = 8) :: grid_code(nmax)
character(len = 1) :: fkind(nmax)
character(len = 20) :: cid_1976(nmax), cid_keisha(nmax), buf
character :: tmp(20)
!
read(10, *)
do i = 1, nmax
read(10, *, iostat = io) id(i), cid_1976(i), fkind(i), cid_keisha(i), point_id(i), grid_code(i)
if (io == -1) exit
end do
m = i - 1
do i = 1, m
tmp = transfer(cid_keisha(i), ' ', size = 20) ! string to character array
buf = transfer(pack(tmp, tmp /= ','), buf) ! filter out comma then cha-array to string
read(buf, '(i20)') fid_keisha(i) ! read from internal file (string)
end do
print *, fid_keisha(:m)
end program goo
出力例
sh-4.3$ main
1211043 1211036 1211037
データファイル fort.10
FIDm,FID_1976,�y�n���p��,FID_keisha,POINTID,GRID_CODE
0,"835,007",F,"1,211,043",0,0.182313430000000
1,"835,004",F,"1,211,036",0,5.945347790000000
2,"835,005",E,"1,211,037",0,5.004501340000000
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
似たような質問が見つかりました
- システム CSVファイルのマッピング処理の省力化 1 2022/11/24 00:01
- C言語・C++・C# [C言語] コメント文字列を無視して、数値データを読み込むプログラム部分について 5 2022/10/05 11:03
- その他(データベース) c言語の問題です。これを踏まえてコーディングしたいのでおしえていただきたいです。 3 2023/08/03 09:27
- Visual Basic(VBA) 3つのプロシージャをまとめたら実行時エラー発生で対応不能 6 2022/05/17 01:47
- Java javaのCSVデータ読込についてです 6 2022/07/02 10:58
- その他(プログラミング・Web制作) Windowsのバッチファイルについてご教示ください 5 2023/07/25 20:23
- その他(プログラミング・Web制作) Pythonで、データファイルと列名ファイルを1つのファイルにしたいです。 1 2023/07/27 20:29
- Visual Basic(VBA) ExcelからAccessのテーブルに書き込む時に時間がかかる 1 2022/10/14 20:38
- Ruby pandasでsqlite3にテーブル作成・追加・読み出しでindexの取り扱い方教えてください 5 2023/03/08 09:57
- C言語・C++・C# c言語の問題です 2 2023/07/21 10:51
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・一番好きなみそ汁の具材は?
- ・泣きながら食べたご飯の思い出
- ・「これはヤバかったな」という遅刻エピソード
- ・初めて自分の家と他人の家が違う、と意識した時
- ・いちばん失敗した人決定戦
- ・思い出すきっかけは 音楽?におい?景色?
- ・あなたなりのストレス発散方法を教えてください!
- ・もし10億円当たったら何に使いますか?
- ・何回やってもうまくいかないことは?
- ・今年はじめたいことは?
- ・あなたの人生で一番ピンチに陥った瞬間は?
- ・初めて見た映画を教えてください!
- ・今の日本に期待することはなんですか?
- ・集中するためにやっていること
- ・テレビやラジオに出たことがある人、いますか?
- ・【お題】斜め上を行くスキー場にありがちなこと
- ・人生でいちばんスベッた瞬間
- ・コーピングについて教えてください
- ・あなたの「プチ贅沢」はなんですか?
- ・コンビニでおにぎりを買うときのスタメンはどの具?
- ・おすすめの美術館・博物館、教えてください!
- ・【お題】大変な警告
- ・洋服何着持ってますか?
- ・みんなの【マイ・ベスト積読2024】を教えてください。
- ・「これいらなくない?」という慣習、教えてください
- ・今から楽しみな予定はありますか?
- ・AIツールの活用方法を教えて
- ・最強の防寒、あったか術を教えてください!
- ・歳とったな〜〜と思ったことは?
- ・モテ期を経験した方いらっしゃいますか?
- ・好きな人を振り向かせるためにしたこと
- ・スマホに会話を聞かれているな!?と思ったことありますか?
- ・それもChatGPT!?と驚いた使用方法を教えてください
- ・見学に行くとしたら【天国】と【地獄】どっち?
- ・これまでで一番「情けなかったとき」はいつですか?
- ・この人頭いいなと思ったエピソード
- ・あなたの「必」の書き順を教えてください
- ・14歳の自分に衝撃の事実を告げてください
- ・人生最悪の忘れ物
- ・あなたの習慣について教えてください!!
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
教えて下さい
-
【エクセル】測定時間がバラバ...
-
メモ帳(テキストデータ)をExc...
-
ユーザーフォームのテキストボ...
-
EXCELVBAでSQLserverからデータ...
-
配列でデータが入っている要素...
-
ACCESSからEXCELに出力する際、...
-
Accessで該当データにフラグを...
-
VBA 空白セルを削除ではない方...
-
Excel VBAでのオートフィルター...
-
特定のデータの抽出方法を教え...
-
不規則なデータのfft処理
-
リングバッファって何ですか
-
データ取得時のエラーに関して
-
VBA 毎日取得するデータを順番...
-
プログラミング python pandas ...
-
CSVデータ(5.8MB)を高速読み...
-
S9タイプからXタイプにデータ...
-
外部データの更新がうまくでき...
-
GETはできるがPOSTができない、...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
教えて下さい
-
【エクセル】測定時間がバラバ...
-
VBA 空白セルを削除ではない方...
-
メモ帳(テキストデータ)をExc...
-
配列でデータが入っている要素...
-
ブレーカー落ちで壊れたりしな...
-
特定のデータの抽出方法を教え...
-
EXCELVBAでSQLserverからデータ...
-
エクセルで2つの時系列のデー...
-
VBAを使ってOutlookメール本文...
-
Accessで該当データにフラグを...
-
この行は既に別のテーブルに属...
-
[C言語] コメント文字列を無視...
-
ユーザーフォームのテキストボ...
-
二分探索の平均探索回数
-
Excel VBAでのオートフィルター...
-
多量のSUMIF式を軽くしたい
-
カンマからスラッシュに
-
CString型の文字列連結について
-
C# でDataTableの更新を高速化...
おすすめ情報