No.4ベストアンサー
- 回答日時:
こんにちは。
データは第1カラムでソートしてあるとして、uniq(ユニーク)コマンド単体でもいけます。
$ uniq -w 1 csvfile
GNU uniq の場合、「-w N」または「--check-chars=N」(N は数字)
オプションを使えば、(他のオプションでフィールドや文字のスキップをした後の)
先頭から N 文字までしか比較しません。
N には第1カラムの最大文字数を指定してください。詳しくは man uniq で。
参考URL:http://www.linux.or.jp/JM/html/gnumaniak/man1/un …
No.3
- 回答日時:
もし、perlでよければ、以下のようなスクリプトを作成してください。
---------------------------------------
while(<>){
($col1) = split(/,/);
if ($data{$col1}) {next;}
$data{$col1} = 1;
print ;
}
---------------------------------------
perl このスクリプト名 入力データファイル > 出力データファイル
とすると、出力データファイルに結果が書き込まれます。
No.2
- 回答日時:
Microsoft Accessをお持ちであれば、MDBに読み込ませるのが手っ取り早いでしょう。
Accessで空のDBを作り、必要な数の文字列項目を持ったテーブルを作り、先頭の項目のみ「インディックス付き、重複を許さない」にしておきます。
次に、CSVファイルを作っておいたテーブルにインポートします。すると、先頭項目が重複を許していないので、重複したレコードが捨てられます。(捨てられた重複レコードは「インポートエラー」と言うテーブルに保存されます)
そして、そのテーブルをエクスポートしてCSV形式で保存すれば、目的を達する事が出来ます。
No.1
- 回答日時:
DAOでも、ADO + Jet OLEでも、一応CSVは操作できるのですが、操作性を考えると、MDBなり、MSDEなりに一度読み込んで、RDB上でデータを加工してからCSVを再出力したほうが早いような気がします。
急がば回れ、ということで........。
お探しのQ&Aが見つからない時は、教えて!gooで質問しましょう!
このQ&Aを見た人はこんなQ&Aも見ています
-
あるあるbotに投稿したけど採用されなかったあるある募集
あるあるbotに投稿したけど採用されなかったあるあるをこちらに投稿してください
-
フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
あなたが普段思っている「これまだ誰も言ってなかったけど共感されるだろうな」というあるあるを教えてください
-
映画のエンドロール観る派?観ない派?
映画が終わった後、すぐに席を立って帰る方もちらほら見かけます。皆さんはエンドロールの最後まで観ていきますか?
-
海外旅行から帰ってきたら、まず何を食べる?
帰国して1番食べたくなるもの、食べたくなるだろうなと思うもの、皆さんはありますか?
-
天使と悪魔選手権
悪魔がこんなささやきをしていたら、天使のあなたはなんと言って止めますか?
-
CSVファイルの結合(重複データは削除。出来ればエクセルのマクロで。)
Excel(エクセル)
関連するカテゴリからQ&Aを探す
おすすめ情報
- ・漫画をレンタルでお得に読める!
- ・人生のプチ美学を教えてください!!
- ・10秒目をつむったら…
- ・あなたの習慣について教えてください!!
- ・牛、豚、鶏、どれか一つ食べられなくなるとしたら?
- ・【大喜利】【投稿~9/18】 おとぎ話『桃太郎』の知られざるエピソード
- ・街中で見かけて「グッときた人」の思い出
- ・「一気に最後まで読んだ」本、教えて下さい!
- ・幼稚園時代「何組」でしたか?
- ・激凹みから立ち直る方法
- ・1つだけ過去を変えられるとしたら?
- ・【あるあるbot連動企画】あるあるbotに投稿したけど採用されなかったあるある募集
- ・【あるあるbot連動企画】フォロワー20万人のアカウントであなたのあるあるを披露してみませんか?
- ・映画のエンドロール観る派?観ない派?
- ・海外旅行から帰ってきたら、まず何を食べる?
- ・誕生日にもらった意外なもの
- ・天使と悪魔選手権
- ・ちょっと先の未来クイズ第2問
- ・【大喜利】【投稿~9/7】 ロボットの住む世界で流行ってる罰ゲームとは?
- ・推しミネラルウォーターはありますか?
- ・都道府県穴埋めゲーム
- ・この人頭いいなと思ったエピソード
- ・準・究極の選択
このQ&Aを見た人がよく見るQ&A
デイリーランキングこのカテゴリの人気デイリーQ&Aランキング
-
Dirコマンドでフォルダ内ファイ...
-
ファイル名についている「-」と...
-
ラズパイで『’test.service’をs...
-
テキストファイルから最終行の抽出
-
ファイル名一覧の印刷
-
cpio使ってた人はtarが流行りだ...
-
win11のエクスプローラーの右ク...
-
ファイルが書き込み中かどうか...
-
fasta形式のファイルのまとめ方...
-
DOS コマンドの~zfの意味を教え...
-
DOSコマンドのFOR文で空白を含...
-
DOSコマンド 「forfiles」につ...
-
oracleの文字コードとlinuxサー...
-
ls * で表示可能なファイル数は...
-
linuxなどの圧縮、解凍は何故一...
-
Linuxで標準出力したファイルの...
-
lsコマンドについて。
-
コマンドを実行し、出来たファ...
-
媒体への保存方法
-
ファイルの存在を調べるコマン...
マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング
-
Dirコマンドでフォルダ内ファイ...
-
ファイル名についている「-」と...
-
ラズパイで『’test.service’をs...
-
テキストファイルから最終行の抽出
-
DOSコマンドのFOR文で空白を含...
-
DOS コマンドの~zfの意味を教え...
-
ファイル名一覧の印刷
-
数字を複数回繰り返す正規表現...
-
xcopyのエラー情報のはき...
-
Linuxで標準出力したファイルの...
-
oracleの文字コードとlinuxサー...
-
batファイルの強制終了を回避し...
-
コマンドプロンプト dir でのソ...
-
Windowsバッチファイルで、隠し...
-
ftpコマンドで丸ごとダウン...
-
ファイル編集について
-
作成日時でのファイル検索
-
特定の更新日付のファイルのみ...
-
ピクチャクリッピングのファイ...
-
ファイル名の -(ハイフン)を _(...
おすすめ情報