Picks
0フォロー
967フォロワー


日英2言語対応の大規模言語モデルPLaMo-13Bを研究・商用利用可能なオープンソースソフトウェアライセンスで公開 - 株式会社Preferred Networks
川村 正春五城目人工知能アカデミー 所長
この記事のポイントは二つ
- Preferred Networks は自前の AI スーパーコンピューター MN-3 を持っているにも関わらず nVidia の GPU が搭載されている産総研の ABCI を使った
- 産総研の ABCI に搭載されている GPU は古いタイプ(メモリーが 40GB の A100)でしかも 480 台しか使っていないのでモデルのサイズは 13 billion と小さい
# OpenAI の GPT-4 はサイズが 1760 billion で開発に使った GPU はメモリーが 80GB の A100 を 25000 台
つまり日本は計算資源で既に負けている
より専門的な記事はこちら
PLaMo-13B を公開しました
https://tech.preferred.jp/ja/blog/llm-plamo/
- Grouped Query Attention (GQA)
- Parallel Layers
- data parallelism : Zero Redundancy Optimization stage-3
- double quantization
- カスタム CUDA カーネル実装

NORMAL
投稿したコメント