文系非エンジニアがChatGPT / LLMを数式なしで解説してみる

コメント

注目のコメント

• 崔 井源

  NewsPicks, Inc. engineer

  ・2023年05月08日

  ChatGPTは話題になった分使用頻度も高まりかなりのデータ（やFB）が集まってきているので精度も恐ろしいほどになっているのだと思います（嘘も自然につくのでw）。特に末尾で言及されている強化学習ですが、教師なし学習のように正解を知らない状態で答えを予測し、当てたら保証がもらえるといった仕組みで動きます。
  
  特にChatGPTは返事に対する人間からのFBをもらって学習を進めます。私もthumbs downアイコンを押してFBしてみたのですが、そうすると2つめのパターンを出してくれます。もちろん良かった返事に対してはtumbs upアイコンを押します。それを繰り返しながら対話すると結構安定して私の欲しい返事をしてくれるんです。その短い間に一定のパターンで安定してくるのには感心しました。
  
  いつかの記事のコメントで、10回同じ質問を投げると6-7通りの返事が返ってくると書いたことがありますが、返事の仕方を具体的に指定すると更に安定してきます。また、英語の対話データのほうが多いからか、英語で問いかけて日本語に訳してもらうのが精度向上に役立ちます。
  
  LLM門外漢の方は、数式のないこの記事を読んでから、論文の解説記事などを読むと更に理解が深まりそうでありがたい記事だと思いました！
• 小野 雅裕

  NASA Jet Propulsion Laboratory 技術者・作家

  ・2023年05月08日

  実際にLLMが何やってるのかについては、英語読める人は、MathematicaのWolframによる解説が秀逸です：
  https://writings.stephenwolfram.com/2023/02/what-is-chatgpt-doing-and-why-does-it-work/
• 伊藤 祐一郎

  株式会社Finatextホールディングス 取締役CFO

  ・2023年05月08日

  ChatGPTをはじめとする大規模言語モデルは、これからビジネスのユースケースがどんどん出てくると期待しています。そうしたアイデアを考えていくうえで、「本質的にどういうものなのか」を理解しておくことがとても大切だと思い、改めてChatGPT / LLMの基本的な仕組みを整理してみました。
  
  出てきた課題とそれを解決していく過程を見ていくことで、何となく原理が理解できるのではないかと思います！！