行単位で並び替えて、重複行を削除したい

WindowsＸＰです。
テキストファイル、A.TXTがあり、１００００行くらいなのですが、
行単位で並べ替えて、重複している同じものがあれば、これを１行にまとめたいのです。
並べ替えだけならば、ＭＳＤＯＳで、

sort A.TXT > outfile.TXT

でいけそうですが、重複行をまとめることは出来そうにありません。

バッチファイルで処理をしたいのでＭＳＤＯＳで捜しているのですが方法はないのでしょうか。
ＭＳＤＯＳに限らないとすれば、何か簡単にできる方法はありますか。
何かスクリプトみたいな感じで出来るといろいろと応用が出来ていいのですが。


関連して、WindowsＸＰでも、ＰＥＲＬが使えると聞きました。
ＷＥＢで捜しましたが、どうもどれがいいのか、また、インストール方法もよくわかりません。
フリーで使える、Windows上のＰＥＲＬ、あるいは、ＭＳＤＯＳ以上に使い勝手のよいスクリプトがあれば、教えてください。

No.1 ベストアンサー 回答者： wakan3 回答日時： 2010/04/17 15:01

UNIX 系のコマンドとして、そのものズバリ、uniq というのがあります。

使い方はこうです。

sort A.txt | uniq > outfile.txt

フリーウェアとしていろいろなのが出ていますが、とりあえず Vector のを。
http://www.vector.co.jp/soft/dos/util/se044213.h …

UNIX 系のさまざまなコマンドを MS-DOS 上でも使えるようにする GNU utilities for Win32 もあります。

この回答への補足

ご紹介いただいたサイトからＤＬした UNIQ ですが、残念ながら、

sort A.txt | uniq > outfile.txt

では、機能しません。
パイプを使えないようです。説明を見ると、
sort a.txt
とすると、a.txt自身が書き換えられ、別の出力ファイルを指定したいときは、
sort a.txt/outfile.txt
とするようです。

わたしの方でも、パイプが使えるものを捜してみますが、
もし、おわかりでしたら、教えていただけませんでしょうか。

補足日時：2010/04/17 18:01

この回答へのお礼

お返事ありがとうございました。
早速uniqをＤＬしました。
ＧＮＵもあるのですね。
これは面白そうです。

お礼日時：2010/04/17 17:18

No.5 回答者： kmee 回答日時： 2010/04/17 20:20

GNU の sort 互換のなら -u オプションがあります

sort -u A.TXT > outfile.TXT
でいいはず。

この回答へのお礼

MSDOSについているsortには、このようなオプションはありません。

お礼日時：2010/04/18 00:13

No.4 回答者： bin-chan 回答日時： 2010/04/17 20:08

＃２です。

> ＵＮＩＱ以外にも有用なものっていろいろとあるのでしょうか。
どこかのディレクトリに埋もれてるファイルを探し出す[WhereIs]などがありましたが、
なんせMS-DOSVer6.2の頃ですから、エクスプローラやDIRコマンドに実装されてますね。

＃１さんのパイプ処理がうまく行かないのは、SORTにA.txtを放り込む指定が抜けてるからだと思います。
sort < A.txt | uniq > outfile.txt
じゃなかったですかね？

この回答へのお礼

お返事ありがとうございます。
sort < A.txt | uniq > outfile.txt
でも、やはりだめですね。
このuniqは、パイプには対応していないようです。

それで、わたしの方で調べたところ、
yu
というソフトがありました。
http://www.vector.co.jp/soft/dos/util/se006090.h …

これであれば、普通にパイプが使えて、
sort A.txt | yu > outfile.txt
でＯＫでした。

それにしてもパイプが使えないなんて、ちょっとびっくりでしたよ。
そんなむずかしいソフトでもないのにね。
ありがとうございました。
ほかによさそうなソフトがありましたら、また、教えてください。

お礼日時：2010/04/18 00:11

No.3 回答者： kmetu 回答日時： 2010/04/17 15:08

Windows Script Host(WSH)が使えますので

wsh 入門で検索してみてください。

この回答へのお礼

ＷＳＨというのがあるのですね。
わたしはＶＢScriptは使えるので、これは知っていると便利かもしれませんね。
ありがとうございました。

お礼日時：2010/04/17 17:21

No.2 回答者： bin-chan 回答日時： 2010/04/17 15:04

MS-DOSで動作する[UNIQ]をダウンロードして使うのは？

昔、ASCIIさんのコマンドがあったなと思ってたら
VectorさんにWin98対応が出てました。

この回答へのお礼

お返事ありがとうございました。
早速ＵＮＩＱをＤＬしました。
ＵＮＩＱ以外にも有用なものっていろいろとあるのでしょうか。

お礼日時：2010/04/17 17:20