csvファイルをlinuxコマンドで、元々重複していないレコードだけにしたいです。

csvファイルで、1列目の値を見て、重複していないレコードだけにしたいです。
これをlinuxコマンドで、実現できないでしょうか？（エクセルで扱えないデータ量なので）
以下のようなイメージです。
宜しくお願い致します。

＜イメージ＞
■編集前
120240414001,001,大門
120240414001,002,大門
120240414002,001,上野
120240414003,001,神田
120240414003,002,神田

■編集後
120240414002,001,上野

No.2 回答者： artoo 回答日時： 2024/04/13 09:56

「比較に使用するのが先頭から○文字目まで」という条件なので、sortとuniqコマンドで出来ます。

sort ファイル名 | uniq -w12 -u

またはソートキー範囲を行全体でなく1列目だけに限定して、
sort -t, -k1 ファイル名 | uniq -w12 -u

上記の条件でない場合は、プログラム的な処理が必要ですね。

No.1 回答者： むささび堂 回答日時： 2024/04/13 09:39

まずはsortかけてから

uniq -u -w 11 xxx.csv
かな。

この回答へのお礼

解決できました。
uniqコマンドとオプションについて、調べてみます。
早急にご回答頂きありがとうございました。

お礼日時：2024/04/13 10:02