重複するデータを抽出できる秀丸マクロ

今、重複を含む長大なメールアドレスのリストを扱っています。（100万件以上あります）
一行に一アドレスで約100万行あるのですが、ここから重複している分を抽出したリストを作りたいと思っています。

Excelで開けないファイルですので、秀丸エディタのマクロで解決できないかな、と思っています。
自分でマクロを書いたことはないので、この用途に使えるマクロなど紹介していただけると助かります。

宜しくお願い致します。

No.3 ベストアンサー 回答者： tatsu99 回答日時： 2008/10/10 12:56

100万行ではやっていませんが、以下のようなスクリプトを書いて実行すると、以下の結果が得られます。

スクリプト（dup.plの名前のファイルに格納します）
--------------------
# 使用方法
#
# perl dup.pl メールアドレスリストファイル
# 機能：重複しているメールアドレスを表示する
# 結果は画面に出力される。
#メールアドレスをテーブルに登録（件数もカウントする）
while(<>){
chomp $_;
$addr{$_} += 1;
}
#１つのメールアドレスが２件以上のものを出力する。
while( ($key,$val) = each(%addr)){
if ($val >= 2){
printf("重複メール=<%s> %d件\n",$key,$val);
}
}

--------------------
メールアドレスのテキストをmail.txtとします。
内容は、以下の通りです。
--------------------------
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
[e-mail]
----------------------
ＤＯＳプロンプトで
perl dup.pl mail.txt
とすると、
以下の結果が得られます。
------------------------------
重複メール=<[e-mail]> 3件
重複メール=<[e-mail]> 2件
重複メール=<[e-mail]> 2件
---------------------------------
この結果をファイルへ出力する場合は、
perl dup.pl mail.txt > out.txt
とします。out.txtに結果が出力されます。
（perlをインストールしてperl.exeにパスを通す必要があります）

この回答へのお礼

私もまだ大きなファイルで試していませんが、数万件のファイルでしたら問題なく処理が可能でした。大変参考になりました。
有難うございます！

お礼日時：2008/10/10 20:35

No.2 回答者： tatsu99 回答日時： 2008/10/10 11:32

秀丸で100万行読み込ませるのは、できたとしても、そこから更に重複行の削除は、重いような気がします。

私が、回答できる保証はありませんが、
参考までに、１行のデータは、どのようになっていますか？
また、各行には、かならず、メールアドレスがついてますか。
メールアドレスがついてない行もありますか。
できれば、何行かのサンプルを提示して下さい。（アドレスは、個人情報が漏れないように伏せ字にして下さい。）
もし、perlをインストールしてもよいなら、perlで処理するのが、最短の解決方法のような気がします。（参考URLのperlをインストールします）

参考URL：http://www.forest.impress.co.jp/lib/stdy/program …

この回答への補足

ご回答有難うございます。

下記の通り補足させていただきます。
リストの形式は、
「一行に一つのメールアドレスのみ」
という簡単なテキストデータです。
他のデータが入った行やブランク行はありません。

perlのインストールも検討してみます。

補足日時：2008/10/10 12:10

No.1 回答者： yambejp 回答日時： 2008/10/09 20:46

100万の単位であればSQLの出番ではないでしょうか？

この回答へのお礼

やはり難しいでしょうか…
ご回答有難うございました。

お礼日時：2008/10/10 10:23