ホーム
1536フォロー
289174フォロワー
SKハイニックス、2.3兆円投資で半導体新工場-旺盛なAI需要で
Kato Junユーザベース SPEEDAアナリスト
LLMではメモリが重要で、そこでスピードが速いHBMと言われるタイプのDRAMの需要が爆増しており、そこで先行したのがSK Hynix。
Samsungもその独走を許すはずもなく、取り組み仕掛けてはいる。
ただ、メモリは先行投資の世界。その定石に従ってSK Hynixは巨額投資をするという構造。一方で、Samsungの投資可能額は圧倒的に大きいので、追いつかれた瞬間には巨額ゆえにSK Hynixにとってはリスクも大きい。
Samsung幹部がTSMCを極秘訪問、次世代HBMでの技術協力を要請 台湾メディア報道(TECH+、2024/4)
https://newspicks.com/news/9896385
なお、技術革新側も注意が必要。下記は仕組みは理解していないのだが、HBMを使わずして(か、少なくともそれがボトルネックになっていない)、推論の性能が既存のものよりはるかに高いとされているGroqについての記事。
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
https://newspicks.com/news/9881554
テスラ「新モデル」前倒しへ、株価急伸 現行車台・生産ラインで
Kato Junユーザベース SPEEDAアナリスト
生産開始であって、量産とは言ってない。
それより気になるのは、現在のプラットフォームで、という部分。元々想定していたModel 2と呼ばれるものなのだろうか?それともModel 3(よりはもっと古く、今はかなり生産台数絞ったModel Sか…)とかのモデルチェンジによる「新型」?
車格が違うのを同じプラットフォームでやるのは至難の業。何を持ってプラットフォームとするかは難しいところもあり、カローラと同じTNGA-Cプラットフォームでノア・ヴォクシーも生産されている(レクサスUXも)。車格が違うと、同じプラットフォームでやるにしても特にギガキャストで製造してる部分は、プレスより対応が難しそうに素人的には思うが、どうだろう。
ただTeslaはこれまでもエンジニアリングは、意外だけど合理的なイノベーションを達成してきたので、そういう意味でも気になる。
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
Kato Junユーザベース SPEEDAアナリスト
Groq、気になるし驚き。そして他社も続くと思っている。
気になる点は、LPUの仕組み。
記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ(High Bandwidth Memory)が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ(遅延)が発生している。
GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう?
驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。
なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
https://newspicks.com/news/9846040
そして、Amazonは推論専用のInferentia(と学習専用のTrainium)というチップと、それを用いたインスタンスを約1年前に発表している。
こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。
Amazon、生成AI参入 自社クラウド経由で提供(2023年4月、日経新聞)
https://newspicks.com/news/8338354
NORMAL
投稿したコメント