AI and Compute

コメント

注目のコメント

• 比屋根 一雄

  三菱総合研究所 執行役員兼研究理事 生成AIラボセンター長

  ・2019年11月08日

  AIの計算量のお話。pfs-dayという単位は、１ペタフロップス(毎秒10の15乗回)のニューラルネット計算を1日回し続けた計算量とのこと。
  
  2012年のディープラーニング登場時のAlexNetでは0.01pfs-dayでした。2015年のSeq2Seqや2016年のResNetでpfs-dayが0.1になり、2017年のニューラル翻訳では一気に100fps-day、2018年のAlphaGoZeroで1000fps-dayを超えました。
  
  記事によると、2012年まではムーアの法則に従って2年で2倍に増えていました。ところが、2012年以降は3-4ヶ月で2倍と大きく加速しているのが分かります。GPUやニューラルチップの並列化が進んだ結果でしょう。
  
  汎用的な自然言語モデルの開発には、まだ全然計算量が足りていないのは明らかなので、当分この計算量増大は続くでしょう。文章の意味理解は10年でも難しいと考えていましたが、このペースだと(計算量的には)案外近いかもしれません。