ホーム
1536フォロー
289173フォロワー
SKハイニックス、2.3兆円投資で半導体新工場-旺盛なAI需要で
Kato Junユーザベース SPEEDAアナリスト
LLMではメモリが重要で、そこでスピードが速いHBMと言われるタイプのDRAMの需要が爆増しており、そこで先行したのがSK Hynix。
Samsungもその独走を許すはずもなく、取り組み仕掛けてはいる。
ただ、メモリは先行投資の世界。その定石に従ってSK Hynixは巨額投資をするという構造。一方で、Samsungの投資可能額は圧倒的に大きいので、追いつかれた瞬間には巨額ゆえにSK Hynixにとってはリスクも大きい。
Samsung幹部がTSMCを極秘訪問、次世代HBMでの技術協力を要請 台湾メディア報道(TECH+、2024/4)
https://newspicks.com/news/9896385
なお、技術革新側も注意が必要。下記は仕組みは理解していないのだが、HBMを使わずして(か、少なくともそれがボトルネックになっていない)、推論の性能が既存のものよりはるかに高いとされているGroqについての記事。
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
https://newspicks.com/news/9881554
テスラ「新モデル」前倒しへ、株価急伸 現行車台・生産ラインで
Kato Junユーザベース SPEEDAアナリスト
生産開始であって、量産とは言ってない。
それより気になるのは、現在のプラットフォームで、という部分。元々想定していたModel 2と呼ばれるものなのだろうか?それともModel 3(よりはもっと古く、今はかなり生産台数絞ったModel Sか…)とかのモデルチェンジによる「新型」?
車格が違うのを同じプラットフォームでやるのは至難の業。何を持ってプラットフォームとするかは難しいところもあり、カローラと同じTNGA-Cプラットフォームでノア・ヴォクシーも生産されている(レクサスUXも)。車格が違うと、同じプラットフォームでやるにしても特にギガキャストで製造してる部分は、プレスより対応が難しそうに素人的には思うが、どうだろう。
ただTeslaはこれまでもエンジニアリングは、意外だけど合理的なイノベーションを達成してきたので、そういう意味でも気になる。
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
Kato Junユーザベース SPEEDAアナリスト
Groq、気になるし驚き。そして他社も続くと思っている。
気になる点は、LPUの仕組み。
記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ(High Bandwidth Memory)が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ(遅延)が発生している。
GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう?
驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。
なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
https://newspicks.com/news/9846040
そして、Amazonは推論専用のInferentia(と学習専用のTrainium)というチップと、それを用いたインスタンスを約1年前に発表している。
こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。
Amazon、生成AI参入 自社クラウド経由で提供(2023年4月、日経新聞)
https://newspicks.com/news/8338354
SAPは何故使いにくいのに、世界中で愛されているのか
Kato Junユーザベース SPEEDAアナリスト
少し前にTwitterで話題になっていたものを、補足・深堀したもの。
自分はSAPはおろかERPを使うわけではないが、何を共通化してスケールメリットを追うか(そのトレードオフで何はしないを決めるか)といったことを仕事で考えることが多いので、そうだよなぁと思う点が多かった。
それぞれの現場で、それぞれの責任を果たそうと、皆一生懸命働く。ただ、それは一つの均衡に過ぎない。何か別の均衡に変えれば、今より良い部分も悪い部分も出てくる。
その別の均衡への変化で良い部分の増加が悪い部分の増加より多く、また出てくる悪い部分がクリティカルではなく、均衡の移行にともなうコストやリスクを吸収できる算段があれば、現場の不便はあっても変えたほうがいい。
ただ、個別の現場では責任を果たそうと頑張ることに一生懸命で、今できていることができないと、責任を果たせていないと捉えるから反対が出やすい。ただ、新しい均衡では、果たすべき責任やトレードオフも変わるので、今できていることが出来なくても責任を果たせないわけではないというのが盲点になる。
もちろん、そういった反対を含む議論によって、プロジェクトのリスクが見えてくることもあり、なかには見えていなかったクリティカルなモノも出てくる。一方で、現在の責任を守ろうとし過ぎたり、そのためにカスタマイズをしすぎると、結局コストも膨らむしプロセスも未来に対してより複雑でスケールしにくいものになる。
下記あたりが、こういうスタンスがトランスフォーメーション(BT/BX、DX)では必要だし、そのリアルも示していると思う。
--
以前、Business transformationと呼ばれる会社全体を作り替えるようなプロジェクトに参加したことがありますが、米国本社側から参加していた同僚は口を揃えて「自分たちはこのプロジェクトが失敗したらクビになる、銃口を頭に突き付けられながら仕事をしている(だから協力してくれ)」と冗談交じりに言っていましたが、相当なプレッシャーだったのだと思います。私の目からみてもBusiness transformation(BT)の進めかたに疑問があり当時の上司と話しましたが元軍人のPMやらが入っているのでやり方についての議論は何を言っても無駄みたいな感じでした。
NORMAL
投稿したコメント