日本語能力の高い生成ＡＩの基盤技術、スパコン「富岳」で開発へ…東工大・富士通などのチーム

コメント

選択しているユーザー

• 佐々木 一寿

  研究者、ジャーナリスト、編集者、作家、経済評論家

  ・2023年05月22日

  富岳を使う理由はあるのかなと思いましたが、armを使った事例としては価値があるのでしょうか
  NVIDIAのCUDA依存が大きいと聞きますので

注目のコメント

• 小島 舞子

  株式会社クラフター 代表取締役社長

  ・2023年05月22日

  日本語のLLM、海外でもそれなりにいいのあるんですよね。海外ユニコーンであるHugging Faceには日本語に関するLLMと機械学習モデルがあり、うちは日本語では一部使っています。それなりに精度高いです。
  
  なお、先日Metaが出したLLMが誤ってオープンソース化されて、それをベースに非常に優良な派生モデルが一斉に作られました。今はLLMは自分で持てて作成できるので、仮に東工大と富士通がLLMをリリースした時、それらと勝てるかつコストを回収できるのかはビジネス上で検討すべきです
  なので国産LLMには少し懐疑的ですが、提供者が増えてくれる分には開発者としては嬉しいです
• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2023年05月22日

  大学が中心となってLLMを開発していただけるのは非常にありがたいです。
  
  富岳がAI学習に使えるとは知りませんでした。LLMの事前学習は計算量勝負なので、スパコンが使えるならよいですね。
  
  むしろ課題は日本語データセット。東北大学が担当するようですが、多様な文書を大量に集めるには政府の関与も必要だろうと思います。データセットの整備にも期待したいです。
  
  富士通のリリース：
  https://pr.fujitsu.com/jp/news/2023/05/22.html
  
  【追記】
  今日発表されたスパコンランキングTop500で、AI計算の「HPL-MxP」でも3位とのこと。期待しましょう。
• シバタ アキラ

  Weights & Biases カントリーマネージャー

  ・2023年05月22日

  富岳はGPUが無いと思うので、大量のCPUで学習を行うということかと思われますが、どの程度のパフォーマンスが出るのか興味深いです。日本語能力の高いLLMの学習には計算リソースも重要ですが、質の高いデータが重要で、ぜひこの活動を通じて日本語LLM開発に有益なデータを公開してほしい。