AIのトップ学会、「再現性の危機」解決へ向けチェックリスト導入

コメント

注目のコメント

• 山崎 俊彦

  東京大学 大学院情報理工学系研究科電子情報学専攻　教授

  ・2019年04月12日

  「研究者は、自身のアルゴリズムを明確に説明し、データ収集プロセスを詳細に説明し、訓練中に使用したあらゆるシミュレーション環境へのリンクを提供し、どのようなデータをどのような理由で保持・廃棄したのかを包括的に示す必要がある。」
  
  この分野ではソースコードとデータセットさえあればある程度再現可能な場合 が多いとは思います。ただし、そのデータセットやソースコードを公開できるかというと、医学的なデータの場合第三者への提供は難しいのも現状。
  
  ACM Multimediaというマルチメディア系のトップ国際会議でも下記に示したとおり再現性保証・確認のための取り組みがなされています。ただ、これはもうお互いに信頼するしかないのですが、第三者が検証するということは論文の採録が決まる前に第三者にコードやデータが渡るので若干の不安が残ります。あえてポインタは示しませんが、剽窃などの噂が０ではないのも事実。さらには、企業の場合は秘密保持の観点から簡単に出せるとは限りません。
  
  Reproducibility CfP
  https://www.acmmm.org/2019/reproducibility-cfp/
  
  （いくつか表現の微修正をしました）
• Saitou Kazuhiro

  U of Michigan 教授 (機械工学), 副学科長

  ・2019年04月12日

  ご参考
  https://newspicks.com/news/3773315
  
  よい傾向かと　一部の、ダークサイドに落ちた研究者への警告の意味でも
  
  追記
  AIではないですが、ワタシの分野でもソースコード提出を要請するジャーナルが増えてきましたねぇ　ただ、山崎センセイが仰るように、査読時の提出は気が引けますねぇ、正直
  追記オワリ
• 吉田 茂史

  IBM Japan Ltd. Associate Partner, IBM Consulting Financial Services

  ・2019年04月12日

  再現性の問題、難しくはありますが取り組むべき問題と感じています。学術領域では更になのでしょうが、ビジネスの、そしてまだ取り掛かったばかりの我々であっても、
  （1）第三者が理解出来るだけの妥当性を示すことがなかなかに難しい
  （2）自らも一から同じ結果に辿り着く確証がない
  （3）よって、蓄積されたと思われる知見が有用かどうか判断出来ない
  というような、初歩的ではありますが、課題意識を感じています。
  勿論アルゴリズムとデータセットがあれば再現そのものは出来るのでしょうが、限られた時間の中で双方をを同時にチューニングしだすケースもまだまだあるため、改めて考えるきっかけになる記事でした。