日本語を意味的に分割するアルゴリズムが知りたいです。

日本語を意味的に分割するアルゴリズムが知りたいです。

吾輩は猫である。名前はまだ無い。どこで生れたかとんと見当がつかぬ。

吾輩
は
猫
で
ある
。
名前
...
というように、日本語を最小単位で分割する方法が知りたいのですが、こういうのは簡単にはできないのでしょうか？

PerlやVBAで使いたいのですが参考になるサンプルや書籍などございましたら、教えてください。

No.1 回答者： Pesuko 回答日時： 2006/05/26 14:53

最小コスト法の事だと思います。

http://www.google.co.jp/search?hl=ja&rls=GGLG%2C …

超高速のデーターベース参照エンジンだから、ＶＢＡレベルでは無理だと思うけど。
本来ならＩＭＥといわれるプログラムです、プログラムもさることながら
数１０万語に及ぶ辞書を作成する事が必要で、個人レベルでは無理です。

No.2 ベストアンサー 回答者： amru05 回答日時： 2006/05/26 15:14

　「形態素解析」で、検索してみてください。

色々と難しい話が出てきますが、基本的な知識として覚えておくのもよいかも！！

　実際には、KAKASI,ChaSenなどの有名なソフトを利用するのが良いでしょう。
　　http://kakasi.namazu.org/
　　http://chasen.naist.jp/hiki/ChaSen/

また、perlで使用するならText::Kakasiが良いかも

　　http://search.cpan.org/dist/Text-Kakasi/

参考URL：http://search.cpan.org/dist/Text-Kakasi/