大規模言語モデルは今後どのように進化していくでしょうか？

日経にAIについてのおもしろい記事がのっていました。
大規模言語モデルもまだまだカイゼンの余地があるようですね。

どうおもいますか。( ﾟДﾟ)y─┛~~


第１に知っておくべきは、ＡＩが生成するコンテンツには、
トレーニングに使われたデータの質がそっくり反映されることだ。

つまりダメなデータを入れれば、ダメなものが出てくる。

第２にＬＬＭ（大規模言語モデル）は現状ではまだ大量のデータから学習する必要がある。
従って専門家による精査済みの小規模なデータセットでなく、
インターネットの広大な領域から調達した大規模なデータセットを
ＬＬＭ（大規模言語モデル）のトレーニングに投入しなければならない

いわゆるビッグデータに依存すると、ＬＬＭ（大規模言語モデル）のアウトプットは
インターネット上で見られる平均的な質と同等になりがちで、卓越した質は期待できない。


アウトプットに対する人間の評価者のフィードバックを生かしながら機械学習テクニックを
微調整し強化すれば、生成ＡＩの質的向上は望めるだろう。

ただし、それにはトレーニング用データの事前処理など労働集約的な作業が必要だ。
米タイム誌の最近の調査によると、オープンＡＩはこの作業の大半をケニアに
アウトソース（外部委託）し、ケニア人労働者を時給２ドル以下で雇っていたという。

つまり明らかに、ＬＬＭの現在の学習方法は、平均的なコンテンツが
生成されるよう設計されている。

この問題への取り組みは容易ではない。ＬＬＭの現時点の能力は既に限界に近いと考えられる。
能力向上を制限する要因の一つは、トレーニングに使うデータセットの大幅な拡大が望めないことだ。ＬＬＭには既に膨大なデータが取り込まれ、
インターネットの広大な領域についてトレーニングを実行済みなのだ。

新たなブレークスルーによりＡＩが精査済みの小規模なデータセットから効率的に
学習できるようになるまで、この難題は残るだろう。当面はＬＬＭの制約は解決されず、
平均的なコンテンツしか生成できない状況が常態化するだろう。

この状況は将来の労働市場にとって何を意味するのだろうか。簡単に言うと、
能力の低い労働者が大きな恩恵を受けることになる。現時点のＡＩのおかげで
彼らは平均的な基準に到達できるようになったからだ。

No.1 ベストアンサー 回答者： ミラ-_- 回答日時： 2023/07/20 19:26

日経に掲載されたAIに関する記事を読みました。

大規模な（LLM）の限界について、興味深い視点が示されていました。

記事の中では、LLMはトレーニングに使われたデータの質に左右されることが指摘されています。つまり、質の悪いデータでトレーニングされたLLMは、質の悪いコンテンツを生成することになるということです。。そのため、LLMはインターネット上の平均的なコンテンツと同等のアウトプットを生成することが多いのです。

記事では、LLMの質を向上させるために、人間の評価者のフィードバックを利用することが有効であると提案しています。また、トレーニング用データの事前処理などの労働集約的な作業をアウトソースすることで、LLMのトレーニングを効率化できる可能性があることも指摘されています。

LLMは、まだ開発途上にあり、多くの課題を抱えています。しかし、その可能性は非常に大きく、将来的にはさまざまな分野で活用される可能性があります。LLMの開発が進むにつれて、その質も向上していくことが期待されます。

記事の中では、LLMの限界について述べられていましたが、その一方で、能力の低い労働者が大きな恩恵を受ける可能性があることも指摘されていました。LLMが普及することで、誰でも平均的なコンテンツを生成するできるようになり、能力の低い労働者も競争力を獲得できるようになるのです。

LLMは、労働市場に大きな変化をもたらす可能性があります。その変化がどのように起こるのか、今後注目していきたいです。

この回答へのお礼

回答ありがとうございます。
(*´ω｀*)

お礼日時：2023/07/20 20:09