Kato Jun

LLMではメモリが重要で、そこでスピードが速いHBMと言われるタイプのDRAMの需要が爆増しており、そこで先行したのがSK Hynix。 Samsungもその独走を許すはずもなく、取り組み仕掛けてはいる。 ただ、メモリは先行投資の世界。その定石に従ってSK Hynixは巨額投資をするという構造。一方で、Samsungの投資可能額は圧倒的に大きいので、追いつかれた瞬間には巨額ゆえにSK Hynixにとってはリスクも大きい。 Samsung幹部がTSMCを極秘訪問、次世代HBMでの技術協力を要請　台湾メディア報道（TECH+、2024/4） https://newspicks.com/news/9896385 なお、技術革新側も注意が必要。下記は仕組みは理解していないのだが、HBMを使わずして（か、少なくともそれがボトルネックになっていない）、推論の性能が既存のものよりはるかに高いとされているGroqについての記事。 【独占取材】AI業界を騒がせる、話題の半導体ベンチャー https://newspicks.com/news/9881554

希望的観測…

下記がこれまでの流れ。スイス当局は、Credit SuisseがなくなったのでUBSをつぶすわけにはいかずより保守的になるし、UBSは資本がより多く必要になるほど資本収益性が下がるので反対する。 スイス中銀、資本規制で一段の対策要請　クレディ・スイス破綻で（2024/3、Reuters） https://newspicks.com/news/9735602 スイス金融当局がＵＢＳの調査を強化、今年は健全性審査2回（2024/3、Reuters） https://newspicks.com/news/9741742

記事のグラフを見る限り、HV含みではない、BEVで71％。ちなみに同じ定義で北米48％、中国は39％と予測している。 あと6年で、あまりに希望的観測に見えるのだが…欧州は15％ほどで、またHVが伸びていて約３割。米国ではバイデン政権の2030目標は50％だが、現在EVは新車販売の10％くらいだったと思い、大手自動車メーカーもBEV戦略を見直している。 色々こういう数値を出さざるを得ない理由もある、のではないかとも思うが…

AmazonがAmazon Goを止めるが、一方でリテールメディアは伸び始め、そのターゲティングや分析のためにこういったカメラの需要が伸びていく構造。

マルチタスクは記事の通りで、一方でマルチタスク（っぽく見えるもの）が得意な人がいるのはなぜか。 多分タスクの捉え方が違うのだと思う。ある人にとっては別のものでも、その人にとっては別のものではない、だからシングルタスクを続けていて、スイッチコストが発生していないのだと思っている。 捉え方が違うから、脳の使い方、何をどうやって覚えているか（ワーキングメモリの量ではなく、その使い方）が違って、疲労しない。

Groq、気になるし驚き。そして他社も続くと思っている。 気になる点は、LPUの仕組み。 記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ（High Bandwidth Memory）が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ（遅延）が発生している。 GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう？ 驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。 なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。 Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention https://newspicks.com/news/9846040 そして、Amazonは推論専用のInferentia（と学習専用のTrainium）というチップと、それを用いたインスタンスを約1年前に発表している。 こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。 Amazon、生成AI参入　自社クラウド経由で提供（2023年4月、日経新聞） https://newspicks.com/news/8338354

少し前にTwitterで話題になっていたものを、補足・深堀したもの。 自分はSAPはおろかERPを使うわけではないが、何を共通化してスケールメリットを追うか（そのトレードオフで何はしないを決めるか）といったことを仕事で考えることが多いので、そうだよなぁと思う点が多かった。 それぞれの現場で、それぞれの責任を果たそうと、皆一生懸命働く。ただ、それは一つの均衡に過ぎない。何か別の均衡に変えれば、今より良い部分も悪い部分も出てくる。 その別の均衡への変化で良い部分の増加が悪い部分の増加より多く、また出てくる悪い部分がクリティカルではなく、均衡の移行にともなうコストやリスクを吸収できる算段があれば、現場の不便はあっても変えたほうがいい。 ただ、個別の現場では責任を果たそうと頑張ることに一生懸命で、今できていることができないと、責任を果たせていないと捉えるから反対が出やすい。ただ、新しい均衡では、果たすべき責任やトレードオフも変わるので、今できていることが出来なくても責任を果たせないわけではないというのが盲点になる。 もちろん、そういった反対を含む議論によって、プロジェクトのリスクが見えてくることもあり、なかには見えていなかったクリティカルなモノも出てくる。一方で、現在の責任を守ろうとし過ぎたり、そのためにカスタマイズをしすぎると、結局コストも膨らむしプロセスも未来に対してより複雑でスケールしにくいものになる。 下記あたりが、こういうスタンスがトランスフォーメーション（BT/BX、DX）では必要だし、そのリアルも示していると思う。 -- 以前、Business transformationと呼ばれる会社全体を作り替えるようなプロジェクトに参加したことがありますが、米国本社側から参加していた同僚は口を揃えて「自分たちはこのプロジェクトが失敗したらクビになる、銃口を頭に突き付けられながら仕事をしている（だから協力してくれ）」と冗談交じりに言っていましたが、相当なプレッシャーだったのだと思います。私の目からみてもBusiness transformation（BT)の進めかたに疑問があり当時の上司と話しましたが元軍人のPMやらが入っているのでやり方についての議論は何を言っても無駄みたいな感じでした。