テキストの重複行を見つけるソフト

よろしくお願いいたします。
テキストファイルで重複している文字列、または行を見つけ出してくれるソフトを探しています。ご存知のかたはお教えください。

No.4 回答者： noname#39234 回答日時： 2005/07/24 17:31

UNIX系の基本的なツールはMS-DOSへの移植も盛んでしたから

1の方法は、Windowsでも使える可能性が高い。

というわけで"ruino uniq"で検索すると
MS-DOS用がVecterからダウンロードできるようです。

当時はUNIX使いじゃ無かった私だけど
パソコン通信仲間が移植していたような記憶があったので
そのハンドルで検索しました(笑)
もっと新しい移植例がある気もするので
追調査したほうがいいかもしれません。


古いものですから、たぶん7 + 3のファイル名しか使えません。
また、WindowsXP等では、別の問題が生じる可能性もあります。

No.3 回答者： noname#11914 回答日時： 2005/07/24 17:08

　同じ文字列というのは、例えば、

ままままままままままあいうままままままま
と、
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
で、「あいう」が一緒ですよ、と教えてくれるということですか？　だとすると、「てにをは」は、すごくヒットしちゃいますね。

この回答へのお礼

＞、「あいう」が一緒ですよ、と教えてくれるということですか

その通りですが、基本的には、同じ行を探し出して、削除するかどうか聞いてくれるようなことができれば満足です。

一行のうちの90パーセントの文字とか50パーセントの文字が同じなら教えてくれる、なんていう機能があればいいのですが、これはかなり難しいような気がします。

探しているのは、同じ行を探してくれるということで。
ままままままままままあいうままままままま
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいうぱぱぱぱぱぱぱぱぱぱぱぱ
ぱぱぱあいぱぱぱぱぱぱぱ
ままままままままままあいうままままままま
なら、７行目を探してくれるということです。

お礼日時：2005/07/24 17:20

No.2 回答者： noname#22689 回答日時： 2005/07/24 16:36

http://www.forest.impress.co.jp/lib/sys/file/fil …
Rekisa
複数ファイルのテキスト内容を比較

ご希望の物かどうかは分かりませんが。

この回答へのお礼

回答、ありがとうございました。
しかし、残念ながらこれではありません。複数ファイルを比較したいのではなく、１つのファイル内で同じ行、または、同じ文字列をチェックしたいのです。

お礼日時：2005/07/24 16:41

No.1 回答者： shinya_ohtani 回答日時： 2005/07/24 14:53

OSは何でしょうか

UNIX系なら
sort | uniq -c | sort -nr
で一発、ちょー簡単なのですが...

この回答への補足

windows Me です。

補足日時：2005/07/24 15:38