寄稿 現代の人工知能と「言葉の意味」。そして記号創発システム。 谷口忠大（立命館大学教授、情報理工学）

コメント

注目のコメント

• 大場 紀章

  エネルギーアナリスト/ポスト石油戦略研究所代表

  ・2023年04月28日

  >BERTやGPT-3といった大規模言語モデルはそのほとんどがTransformerと呼ばれるニューラルネットワークに基づき構築されている。これらの大規模言語モデルの多くでは、ある文から一部の単語を欠損させ（空欄にして）そこ入る言葉を予測させる（つまり確率分布をモデル化させる）ということをおこなっている。これは文の一部をマスクして（隠して）それを予測させることで言語モデルを学習することからマスク言語モデル（masked language model）と呼ばれる。
  
  > 空欄に単語を入れるというのは中学生や高校生が英語の試験でやる練習問題のようだが、そんな練習問題をどんな受験生よりもたくさん解くことで大規模言語モデルは言葉の並び方、そしてその並び方に内在する規則を覚えていくのだ。
  
  へええ。AIも中高生と同じく穴埋め問題で勉強していたとは。
  
  > しかし「ただの統計」を侮ることなかれ、である。
  > 人間の知能との根本的な違いをハイライトしようとする論客が「現在の人工知能はただの統計計算をしているだけだ」というように指摘することがある。しかし統計計算だからといって、それが人間の知能のモデルとして不適切だということにはならない。人間の知能だって統計計算をしているし、それは知能の重要な部分をなす。
  
  んだんだ。
  
  今はテキストをベースに学習していますが、今後は話している人の動画を読み込ませまくる事で、口述の対話やスピーチができるAIも出てくるでしょう。
  
  また、人間の目線で社会を眺める動画を大量に読ませれば、生活空間で活動可能なロボットの構成も、そう遠くないかも知れないですね。