ChatGPT最新まとめ
コメント
選択しているユーザー
ChatGPT を筆頭に信じられないレベルで AI が進化している。なぜ急激に質が良くなったかを研究者本人たちですら説明できない ～ をスケール則と宝くじ仮説から読み解く
https://newspicks.com/news/8078371?ref=user_358617
Google の論文「大規模言語モデルの能力創発 (Emergent Abilities of Large Language Models)」が話題になっていたので関連論文を紹介
OpenAI のスケール則 (Scaling Law) は Emergent ではなく冪乗則
モデルサイズ、データサイズ、繰り返しの中ではモデルサイズが最も効率的に性能を上げられる
枝刈り (Pruning) でモデルサイズを10分の1に減らす事が出来る
枝刈りが上手く行く説明として宝籤仮説 (Lottery Ticket Hypothesis) がある
モデルが大きいと当たり籤が増えるので性能が上がりやすい
Emergent Ability は以前から知られていた (Double Descent, Grokking, OpenAI GPT)
注目のコメント
現在注目を集めているChatGPTですが、児玉さんの記事によると、成功の背景には開発元のOpenAIによる機能やUIデザイン、マーケティングなど、全体としての「ユーザー体験」の実現があったとのこと。
まだまだ課題は多いとされるChatGPT、岩澤さんのトピックスでは「教育現場」の立場から、齊藤さんのトピックスでは企業としてツールを採用する視点から、気を付けるべきポイントを考察します。記事を取り上げていただきました。各方面で話題になっているChatGPTであり、岩澤さんの教育の視点や、齊藤さんの企業での採用における注意点など、多角的な視点から考えていくことが求められます。
ChatGPTはとてもおもしろいものです。他方、児玉さん、岩澤さんも指摘されている通り、まるで人が書いたようなに読める（→正しい内容であるとは限らない）けどまだまだ発展途上を抱えるものでもあります。だから排除ということではなく、発展を見守りながら企業としてどう捉えどう付き合っていくか柔軟に考えていきたいです。
