ホーム
1344フォロー
739フォロワー
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
NewsPicks編集部
高山 温NewsPicks Fellow
Groqのハードウェアについて解説している人が居たので読んでみました。 https://codeconfessions.substack.com/p/groq-lpu-design 肝としては、チップの機能はシンプルにして、チップ間の接続、マシン間の接続、ラック間の接続を前提にした設計にして、何万ものLPUを並列化できるようにしたことのようです。その大量のLPUに行列演算の一部ずつをばらまくために、機械学習モデルの計算を分割するコンパイラーも開発しています。その並列化によってレイテンシー(計算結果を得るまでにかかる時間)を下げるということのようです。 GoogleのTPUもノード間を高速ネットワークで接続していますが、(詳しくないですが)TPUを制御するCPUが隣にあって計算の順番待ちをしたり複雑なことをしてるっぽいので、そこからの教訓で、大規模なクラスターを中央で制御しやすいようなシンプルな設計にしたのではないかと思います。 LLMなどの登場でデータセンターの電力需要が何倍にもなると言われていますが、個人的には懐疑的です。これまでも何十年もハードウェアとソフトウェアの高速化によって、料金あたりの計算量が飛躍的に伸びてきたため、今後も現実的なコストに落ち着くような技術革新が起きていくと思います。
397Picks
NORMAL