言葉の重複をチェックするツール

何千もの言葉やキーワードの重複を一度にチェックするツールを探しています。
また、フリーソフトでなくてもワードやエクセル内の機能でもかまいません。
ただ、エクセルの検索などでは一つ一つするのに膨大な手もがかかるので何か一括でできるものを探しています。
何かいい方法があれば教えてください。

No.2 ベストアンサー 回答者： celtis 回答日時： 2008/09/16 22:06

テキストマイニング（形態素解析）ならフリーのツールがあります。

KH Coder
http://khc.sourceforge.net/
ChaSen
http://chasen-legacy.sourceforge.jp/

概略はここを参考にしてください。
http://www.atmarkit.co.jp/ad/spss/spss0109/index …

No.1 回答者： koko_u_ 回答日時： 2008/09/15 22:12

>何千もの言葉やキーワードの重複を一度にチェックするツールを探しています。

もう少し要件を限定してほしいですね。

何千もの言葉やキーワードは例えば、スペースやカンマで区切られているのですか？
それとも元となる文章から単語を切り出す所から作業をするのですか？

また重複をチェックして、結果として何を得たいのですか？
・重複しているかどうかを判定(YES/NO)したい
・重複している単語を抽出したい
・重複を除いたキーワードのリストを得たい

ついでに一括でするというのは、言葉やキーワードが格納されているファイルが複数あるという意味ですか？

いろいろ補足にどうぞ。