Picks
0フォロー
963フォロワー


ChatGPT最新まとめ
川村 正春五城目人工知能アカデミー 所長
ChatGPT を筆頭に信じられないレベルで AI が進化している。なぜ急激に質が良くなったかを研究者本人たちですら説明できない ~ をスケール則と宝くじ仮説から読み解く
https://newspicks.com/news/8078371?ref=user_358617
Google の論文「大規模言語モデルの能力創発 (Emergent Abilities of Large Language Models)」が話題になっていたので関連論文を紹介
OpenAI のスケール則 (Scaling Law) は Emergent ではなく冪乗則
モデルサイズ、データサイズ、繰り返しの中ではモデルサイズが最も効率的に性能を上げられる
枝刈り (Pruning) でモデルサイズを10分の1に減らす事が出来る
枝刈りが上手く行く説明として宝籤仮説 (Lottery Ticket Hypothesis) がある
モデルが大きいと当たり籤が増えるので性能が上がりやすい
Emergent Ability は以前から知られていた (Double Descent, Grokking, OpenAI GPT)
ChatGPT を筆頭に信じられないレベルで AI が進化している。なぜ急激に質が良くなったかを研究者本人たちですら説明できない ~ をスケール則と宝くじ仮説から読み解く
川村 正春五城目人工知能アカデミー 所長
Google の論文「大規模言語モデルの能力創発 (Emergent Abilities of Large Language Models)」が話題になっていたので関連論文を紹介
OpenAI のスケール則 (Scaling Law) は Emergent ではなく冪乗則
モデルサイズ、データサイズ、繰り返しの中ではモデルサイズが最も効率的に性能を上げられる
枝刈り (Pruning) でモデルサイズを10分の1に減らす事が出来る
枝刈りが上手く行く説明として宝籤仮説 (Lottery Ticket Hypothesis) がある
モデルが大きいと当たり籤が増えるので性能が上がりやすい
Emergent Ability は以前から知られていた (Double Descent, Grokking, OpenAI GPT)

NORMAL
投稿したコメント