ChatGPTが成功したワケは?そして検索への影響、生成AIの法制度は?
コメント
注目のコメント
非常に内容の深いレポートになっていて大変参考になります。
一方で、LLM(大規模言語モデル)の研究については、少し潮目が変わりつつあります。データとパラメーターの大規模さが性能向上の理由の一つとありますが、より規模を小さくして、同等の性能を発揮するようなアプローチが開発され始めているのです。
ChatGPTやBard、Chinchillaなどの言語生成AIは、その名前の通り、大量のデータをバックグラウンドに生成を行っています。
例えば、 GPT3は2,000億単語、Chinchillaは1兆単語で学習させられているなど、かなりの大規模さであり、こうした開発ができるのはOpenAIやGoogleなど、大規模資金と恵まれたビジネス環境を持つほんの一握りの企業に限定されているのが現状です。
こうした状況を覆すように行われたBaby LMというプロジェクトでは、それらの1万分の1未満のデータ量、約1億単語のデータで学習しただけでなく、 GPTなどと同等の性能を持っていることが報告されています。
その他、先月にはMETAがLIMA(Less IS More for Alignmet)という、同様に少ないデータ量、少ないパラーメータ数でGPT4並の高性能なパフォーマンスを発揮するとするモデルを発表しています。
ビッグデータを保有するテックジャイアントだけに限られている生成AIの開発ですが、より少ないリソースで開発できることとなれば、ニッチで限られたビジネス市場に特化したモデルや、企業専用の生成AIの開発にもつながるはずで、今後の研究動向には引き続き注目です。大規模言語モデルLLMとChatGPT、Bingチャットの技術面について、とても詳しいけれど平易な言葉で解説されてます。解説の仕方の参考になりました。
また、生成AIの法的課題やAI規制についても詳しいです。