ホーム
1536フォロー
289173フォロワー
【独占取材】AI業界を騒がせる、話題の半導体ベンチャー
Kato Junユーザベース SPEEDAアナリスト
Groq、気になるし驚き。そして他社も続くと思っている。
気になる点は、LPUの仕組み。
記事にあるように、メモリ周りがLLMでは大事。だからHBMという早いメモリ(High Bandwidth Memory)が使われ、ここで先行したSKがSamsungよりもLLMの成長を享受している。それでもこのレイテンシ(遅延)が発生している。
GroqのLPUについて、キャッシュみたいな感じでGPUに直結すれば搭載量に限度が出てくるし、外部にすればレイテンシが発生する。どうやって量とスピードを両立しているのだろう?
驚きは、14nmでの製造という点。最先端ではなく、逆に最先端でやれば各種性能がもっと上がる可能性もあるように思う。
なお、メモリについてはLLM周りで最近Googleの研究者が出した下記の研究も気になっている。上記のようにメモリ需要につながっている、つまりLLMのボトルネックになっている一要因。下記はメモリの使用量を減らしても適切な回答ができるようにするためのアルゴリズムの提案。
Leave No Context Behind: Efficient Infinite Context Transformers with Infini-attention
https://newspicks.com/news/9846040
そして、Amazonは推論専用のInferentia(と学習専用のTrainium)というチップと、それを用いたインスタンスを約1年前に発表している。
こういった形で、GPUよりも高速・高効率なものが出来ていくのだと思う。一方で、技術的な差異・優位性だけがユーザーの選択を決めるものではないので、今は圧倒的な差を築いたOpenAIがこれからどう対応していくか。
Amazon、生成AI参入 自社クラウド経由で提供(2023年4月、日経新聞)
https://newspicks.com/news/8338354
SAPは何故使いにくいのに、世界中で愛されているのか
Kato Junユーザベース SPEEDAアナリスト
少し前にTwitterで話題になっていたものを、補足・深堀したもの。
自分はSAPはおろかERPを使うわけではないが、何を共通化してスケールメリットを追うか(そのトレードオフで何はしないを決めるか)といったことを仕事で考えることが多いので、そうだよなぁと思う点が多かった。
それぞれの現場で、それぞれの責任を果たそうと、皆一生懸命働く。ただ、それは一つの均衡に過ぎない。何か別の均衡に変えれば、今より良い部分も悪い部分も出てくる。
その別の均衡への変化で良い部分の増加が悪い部分の増加より多く、また出てくる悪い部分がクリティカルではなく、均衡の移行にともなうコストやリスクを吸収できる算段があれば、現場の不便はあっても変えたほうがいい。
ただ、個別の現場では責任を果たそうと頑張ることに一生懸命で、今できていることができないと、責任を果たせていないと捉えるから反対が出やすい。ただ、新しい均衡では、果たすべき責任やトレードオフも変わるので、今できていることが出来なくても責任を果たせないわけではないというのが盲点になる。
もちろん、そういった反対を含む議論によって、プロジェクトのリスクが見えてくることもあり、なかには見えていなかったクリティカルなモノも出てくる。一方で、現在の責任を守ろうとし過ぎたり、そのためにカスタマイズをしすぎると、結局コストも膨らむしプロセスも未来に対してより複雑でスケールしにくいものになる。
下記あたりが、こういうスタンスがトランスフォーメーション(BT/BX、DX)では必要だし、そのリアルも示していると思う。
--
以前、Business transformationと呼ばれる会社全体を作り替えるようなプロジェクトに参加したことがありますが、米国本社側から参加していた同僚は口を揃えて「自分たちはこのプロジェクトが失敗したらクビになる、銃口を頭に突き付けられながら仕事をしている(だから協力してくれ)」と冗談交じりに言っていましたが、相当なプレッシャーだったのだと思います。私の目からみてもBusiness transformation(BT)の進めかたに疑問があり当時の上司と話しましたが元軍人のPMやらが入っているのでやり方についての議論は何を言っても無駄みたいな感じでした。
【厳選5社】半導体のプロが教える「金の卵」たち
Kato Junユーザベース SPEEDAアナリスト
テーマ投資的な記事…
最重要なのはひこぐま氏が『コツコツ投資し、株価が下がれば、ルールに基づき損切りをする。』という投資スタイルという点。参考にしたい場合はそこを踏まえないと、とても危険。
リターンが出るかは売買した株価水準次第。でも、記事に株価やそれの根底となる業績・マルチプルについての話はない。
テーマに沿っている銘柄を選び、(バリュエーションは見ないが)規律をもって売買をするのは運用方法の一つだし、そもそも株式市場は売買の自由があるのだから、特に説明責任を他者に持たない個人はどんな投資方法でもよい。
ただ、この記事を読んで、自分の運用の参考にしたい場合は、上記のような損切ができないとリスクが高い。
株は売りが難しい。安くなった時に損切するか、元々売っていなかったのはもっと高くなると思っていたからでナンピンするか。テーマ投資はテーマが崩れた瞬間にすべてがきつくなる。安くなったときに実現損が怖くて撤退できないと、永久塩漬けになるリスクを伴う。
【ビジネスモデル】ドラッグストア、イナカでも不気味な増殖
Kato Junユーザベース SPEEDAアナリスト
Pro-Formaと呼んだりするが、簡易的なモデルを作ってみると、色々分かることがある。
スーパーと比較した時のドラッグストアの平均的な店舗がまさに。ドラッグストアがなければスーパーに行くかもしれない。でもあれば、スーパーに行く頻度を落として、安いし近いドラッグストアを日常使いにできる(少人数や日販低くても運営できるから、高密度出店できる。九州から拡大するコスモス薬品が代表例)。
そして調剤は、利益率の高さから昔から注目はされていた。ただ、食品とPBが成長ドライバーだったのが過去15年くらいだった印象で、そのなかでいよいよ調剤がここしばらくドライバーとして勢いを増してきている印象。
【実例】AIが「金融マン」の仕事を奪い始めた
Kato Junユーザベース SPEEDAアナリスト
AI活用は重要だが、置き換えは未来がないと思っている。
他の方もコメントされているように、一定の訓練をするからこそ、その先がある。
ただ、その訓練は技術進化とともに変わる。前は原本チェックをやっていたのが、原本を上手くチェックするためのプロンプトエンジニアリングに変わるなどはあろう。
そして経験で食っていたシニアは、プロンプトエンジニアリングなどで生産性が圧倒的に高い若手が経験を積んだときには、なかなか厳しくなる。
常にそれが繰り返されてきたと思い、それでも生き残れる人はまた別の戦い方・稼ぎ方を持っている。だから若手などと補完関係が作れて、お互いに活かしあう。
NORMAL
投稿したコメント