ChatGPT最新まとめ

大事では無いことに使う。第三者の意見として使う。叩き台にする。うーむ。

触ってわかる事ですが、
徐々にですが、確実に進化してますね。
何ができるか？色々思案する出張帰りです。

ChatGTPで書かれている内容が事実なのかは、これを使用する人がその道の専門家でなければわからないと思います。
研究論文では100％正しい事実を発表する必要があります。当たり前ですが。
ChatGTPの内容をちゃんと精査でき、自分の研究テーマに本当に必要なデータや知見が盛り込まれていると判断できるのなら
活用してもよいと思いますが、実際はそこまで精査できないからこそ、自分で調べてまとめる方が研究を続けていくためによいと思っています。

記事に出てくるプロダクト・シンキングは、一般的には製品の設計・開発・リリースのプロセスを改善するためのアプローチのことです。
このアプローチはユーザーのニーズを中心に、市場調査・コンセプトテスト・プロトタイピング・リリースまでのフェーズを統合的に管理できます。

自分が知らない間に、ここまで技術が進んでいてい、ちょっとした怖さを感じます。

ChatGPT を筆頭に信じられないレベルで AI が進化している。なぜ急激に質が良くなったかを研究者本人たちですら説明できない ～ をスケール則と宝くじ仮説から読み解く

https://newspicks.com/news/8078371?ref=user_358617

Google の論文「大規模言語モデルの能力創発 (Emergent Abilities of Large Language Models)」が話題になっていたので関連論文を紹介

OpenAI のスケール則 (Scaling Law) は Emergent ではなく冪乗則
モデルサイズ、データサイズ、繰り返しの中ではモデルサイズが最も効率的に性能を上げられる

枝刈り (Pruning) でモデルサイズを10分の1に減らす事が出来る
枝刈りが上手く行く説明として宝籤仮説 (Lottery Ticket Hypothesis) がある

モデルが大きいと当たり籤が増えるので性能が上がりやすい
Emergent Ability は以前から知られていた (Double Descent, Grokking, OpenAI GPT)