Kato Jun

LLMではメモリが重要で、そこでスピードが速いHBMと言われるタイプのDRAMの需要が爆増しており、そこで先行したのがSK Hynix。 Samsungもその独走を許すはずもなく、取り組み仕掛けてはいる。 ただ、メモリは先行投資の世界。その定石に従ってSK Hynixは巨額投資をするという構造。一方で、Samsungの投資可能額は圧倒的に大きいので、追いつかれた瞬間には巨額ゆえにSK Hynixにとってはリスクも大きい。 Samsung幹部がTSMCを極秘訪問、次世代HBMでの技術協力を要請　台湾メディア報道（TECH+、2024/4） https://newspicks.com/news/9896385 なお、技術革新側も注意が必要。下記は仕組みは理解していないのだが、HBMを使わずして（か、少なくともそれがボトルネックになっていない）、推論の性能が既存のものよりはるかに高いとされているGroqについての記事。 【独占取材】AI業界を騒がせる、話題の半導体ベンチャー https://newspicks.com/news/9881554

下記がこれまでの流れ。スイス当局は、Credit SuisseがなくなったのでUBSをつぶすわけにはいかずより保守的になるし、UBSは資本がより多く必要になるほど資本収益性が下がるので反対する。 スイス中銀、資本規制で一段の対策要請　クレディ・スイス破綻で（2024/3、Reuters） https://newspicks.com/news/9735602 スイス金融当局がＵＢＳの調査を強化、今年は健全性審査2回（2024/3、Reuters） https://newspicks.com/news/9741742

Groq、気になるし驚き。そして他社も続くと思っている。 気になる点は、LPUの仕組み。 記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ（High Bandwidth Memory）が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ（遅延）が発生している。 GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう？ 驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。 なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。 Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention https://newspicks.com/news/9846040 そして、Amazonは推論専用のInferentia（と学習専用のTrainium）というチップと、それを用いたインスタンスを約1年前に発表している。 こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。 Amazon、生成AI参入　自社クラウド経由で提供（2023年4月、日経新聞） https://newspicks.com/news/8338354