東大松尾研、日英対応の大規模言語モデル公開 100億パラメータ、精度は「国内オープンソース最高水準」
コメント
選択しているユーザー
東京大学の松尾研究室が、日英の2カ国語に対応した100億パラメータの大規模言語モデル「Weblab-10B」を開発し、非商用ライセンスで無料公開した。
このモデルは、英語と日本語のデータセットを用い、日本語の精度を高めるための知識転移を行うのが特徴であり、その精度は「国内オープンソースモデルとして最高水準」とされている。
日本の安全保障上、AIの開発は極めて重要な課題となっています。この「Weblab-10B」は、日本発の技術力の高さを世界に示す素晴らしい一歩です。
他国に依存することなく、自国での開発を進めることは、技術の独立性を保ち、国の安全を確保する上で不可欠です。
専門用語の「知識転移」とは、ある言語で学習した知識を別の言語に適用する技術のことです。これにより、日本語の精度を高めることが可能となります。
今後も、このような先進的な研究が日本から世界に発信され、国際社会での競争力を高める一助となることを切に願います。
注目のコメント
松尾研の10Bは是非試したいです！対話モデルもありますね。データセットを明記されたこと、ベンチマークを公表したことが素晴らしいです。ただ、非商用なのが残念。
英語データセットも併せて学習すると、精度が向上することは知られていましたが、これほどとは驚きです。学術界が公開できるのは、商用不可で100億パラメータというのが基準になりますね。
既存の国内オープンソースは、パラメータ数が少ないので、単純比較は難しい。そして、産業界は、自社の競争力を維持しつつ、市場を盛り上げたいので、商用可だけど少ないパラメータ数で公開しがち。
誰がどの精度で商用可／不可で公開するかは、ゲーム理論的な展開になりそうです。パラメータ数競争
世界
1兆2000億 GLaM/Google
1兆850億 PanGu-Σ/Huawai
5400億 PaLM/Google
2800億 Gopher/DeepMind
2600億 Ernie 3.0 Titan/Baidu
1750億 ChatGPT 3/OpenAI
650億 LLaMA/Meta
日本語系
400億 NICT（国立研究開発法人情報通信研究機構）
130億 NEC LLM/NEC
100億 Weblab-10B/松尾研
68億 OpenCALM/サイバーエージェント
36億 Rinna-3.6B/Rinna
36億 japanese-large-lm/LINE
パラメータ数だけで評価はできないですね。アーキテクチャわコーパス数も大事。
