自動運転ウェイモが買収した英企業、Latent Logicの「模倣学習」の力
コメント
注目のコメント
一般的な強化学習と模倣学習では、報酬の決め方に違いがあるそうな。
①一般的な強化学習では、設計者が報酬を決めて、それを最大限に得ようと機械が学習する。報酬の設計が上手くいけば、囲碁AIのように人間を凌駕することも。
②模倣学習では、熟練者の行動から適切な報酬を機械が推定し、その報酬を最大化することで熟練者を模倣する。環境などが複雑で報酬の設計が難しい時に、まず熟練者レベルを実現する。
(※模倣学習は、報酬の決め方が逆なので、逆強化学習と呼ばれ、広義な意味では強化学習の一種のよう)
=参考=
多様な強化学習の概念と課題認識
https://shibuya.ai/report/3/”強化学習の欠点は複雑な状況において、システムがより人間らしい行動をとることを促進するよりも、リワードを最大化させることにある。”
アルファ碁のように強化学習によって訓練されたものは、人間では通常考えつかないような手を繰り出し、人を驚かせると良く聞きますが、自動運転についても、そういう挙動をし得るということなのでしょうね。
今の強化学習による自動運転の報酬には、車の衝突をなくすことと目的地に早く着くことが挙げられ、乗車している人の快適さは入っていないのですかね。
"人間の行動を模倣することで、Latent Logicは完璧な行動ではなく、現実に即した行動を促すのだ。"
模倣学習は、自動運転以外にもコミュニケーションやファッション関連など人間らしさ（主観、感性、不完全さ）が求められる分野にも使えそうだと思いました。難しいのはあれよね。
普通の画像認識の範囲でおさめるか、強化学習やこの模倣学習使って、経路選択の一部を人工知能的に判断させるかでシステムかなり違いますよね。
後者は特に安全性の評価が難しい。
