日本語能力の高い生成AIの基盤技術、スパコン「富岳」で開発へ…東工大・富士通などのチーム
コメント
選択しているユーザー
東工大と富士通は昨秋に大型の産学連携協定を締結しました。
富士通の時田社長が東工大出身とあって、話が進みやすいのでしょう。
協定締結式では、「まさか東工大のOBである自分が、企業のトップとして東工大との提携を主導する日が来るとは思わなかった」と話しています。
ちなみに東工大にGPUベースのスパコンTSUBAME、富士通はArmベースの理研の富岳を開発した実績があります。
https://newspicks.com/news/7890976
注目のコメント
日本語のLLM、海外でもそれなりにいいのあるんですよね。海外ユニコーンであるHugging Faceには日本語に関するLLMと機械学習モデルがあり、うちは日本語では一部使っています。それなりに精度高いです。
なお、先日Metaが出したLLMが誤ってオープンソース化されて、それをベースに非常に優良な派生モデルが一斉に作られました。今はLLMは自分で持てて作成できるので、仮に東工大と富士通がLLMをリリースした時、それらと勝てるかつコストを回収できるのかはビジネス上で検討すべきです
なので国産LLMには少し懐疑的ですが、提供者が増えてくれる分には開発者としては嬉しいです大学が中心となってLLMを開発していただけるのは非常にありがたいです。
富岳がAI学習に使えるとは知りませんでした。LLMの事前学習は計算量勝負なので、スパコンが使えるならよいですね。
むしろ課題は日本語データセット。東北大学が担当するようですが、多様な文書を大量に集めるには政府の関与も必要だろうと思います。データセットの整備にも期待したいです。
富士通のリリース:
https://pr.fujitsu.com/jp/news/2023/05/22.html
【追記】
今日発表されたスパコンランキングTop500で、AI計算の「HPL-MxP」でも3位とのこと。期待しましょう。富岳はGPUが無いと思うので、大量のCPUで学習を行うということかと思われますが、どの程度のパフォーマンスが出るのか興味深いです。日本語能力の高いLLMの学習には計算リソースも重要ですが、質の高いデータが重要で、ぜひこの活動を通じて日本語LLM開発に有益なデータを公開してほしい。