サイバー、大規模言語モデル公開 和製生成AI開発に弾み
コメント
注目のコメント
和製大規模言語モデルとしては初物でしょうから、明日の公開、そしてその実力が楽しみです。
明日公開版のモデルはパラメーター数は68億とのことで、GPT3は1,750億、GPT3.5は3,550億と文字通り桁違いではあります。
ただ生成の精度が必ずしもパラメーター数だけに依存するものではなく、元となるデータ量と質、記憶力に当たるトークン長などにも左右されますし、ここは使ってみてというところだと思います。
そして気になるのは、「日本語に特化する」ということがどういうことなのかという点です。現状のGPTでもそこそこの日本語文を生成する中、和製を謳うこのモデルがどのような点でオリジナリティを出してくれるのか、楽しみにしたいと思います。
蛇足ですが、このスピード公開に向けてサイバーエージェントのエンジニアの方々をはじめ関係者の方々は、相当大変だったのではないかと勝手に想像しています…。「日本も独自開発すべきだ！」といった声だけが上がる中で、それを率先して実行されたことは尊敬に値します。本当にお疲れ様でした。68億パラメータはGPT-3に比べても少ないです。でも最近のLLMは少ないパラメータでいかに同等性能を出すかという軽量化競争が始まっています。
日本語のみ、広告コンテンツ向けとかなら、充分な性能かもしれません。楽しみです。ChatGPTのパラメーター数は公表されていませんが、100兆という指摘や試算もあります。
Google vs Open AIの間でも学習量の戦い、つまり資本力の戦いの様相を呈しているので、サイバーエージェントといえど、いまから追いつくのはほぼ不可能だと思います。
そもそも「和製」にこだわる意味があまり無いと思っていて、先進企業が作ったAIに自社のナレッジを追加学習させて使ったりできますし、Google Bardなら昨日起きた出来事も正確に深く収集してくれます。
推論力や論理構成、説得力のある回答が可能と言ったところが、ChatGPTの目覚ましいポイントです。
そこに追いつくことがほぼ不可能な状態で、日本語ソースが豊富というAIが出来ても、ユーザーはかなり限定的だと予想します。
また、AIの学習には大量の電力を必要とするため、環境負荷も考えると、こぞって和製・オリジナルのAIを作るのはやめた方がいいと感じています。
