オープンＡＩ、オープンソースの言語モデルを準備＝報道
コメント
注目のコメント
え、また違う言語モデル？と思われるかもしれませんが、GPT-3も、GPT-4も、ChatGPTも別の言語モデルです。GPT-4とChatGPTは、GPT-3（or 3.5）の派生版です。
GPT-3→ChatGPTは、人間による強化学習を加えて、より自然な言語になりました。
GPT-3→GPT-4は、マルチモーダルでテキストだけでなく画像からもテキストを生成することが可能になりました。
以前Sam Altmanが出たインタビューでは、リアルタイムなデータを言語モデルに入れたいと話しています。今のGPT-4やChatGPTは、あくまでOpenAIが開発時に取得して学習したデータなので、今ネットで上がっているものとは誤差があるためです。
GoogleのBardは生きているオンライン上のデータから検索できるようになってますので、対抗して次はここらへんが来るんじゃないかな、と予想してますこれは少し意外な点もありますが、先日私もブログに書かせていただいたように非常に重要な動きです(https://ashibata.com)
ChatGPTの利用を考えている企業からは、自社データをOpenAIのAPIにはアップロードできないという声が多く聞かれ、それを理由にChatGPTの利用を禁止したサムソンのような例もあります。
またMeta社のLLaMaがオープンソース化されて以来、モデルチューニング関連の研究開発が劇的に進み、低コストにプライベート環境で自社データを使ったモデルのカスタマイズができる素地が整いつつあります。
また、Googleはオープンソースではないですが、GCP環境におけるモデル追加学習のフレームワークを先週発表しており、企業向けに非常に魅力的な製品展開を開始しています。
このような動きがOpenAIの戦略に少なからず影響を与えていると考えられますが、GPT4レベルのモデルをオープンソース化するのか、それとは別のラインになるのか、とても気になりますし、公開されればこれまで秘密にされてきたOpenAIの開発ノウハウが明らかになる可能性にワクワクします。
この情報のソースであるジ・インフォメーシンはシリコンバレーの有料メディアで、独自の調査を行うジャーナリストが在籍している凄腕メディアです。現時点で、オープンソースのものが色々出てるので、正直少し今更感ありますが、どんなものを出してくるのか、楽しみですね👀
でも ｢GPTと競合するモデルを公開する可能性が低い｣ って競合しないはずがないので、そこはちょっと意味がよくわからない🙈
