NVIDIA、画像内の一部を削除しリアルに修復するDeep learningを用いた画像修復技術を発表
コメント
注目のコメント
これはすでに先行研究があります。白黒画像の自動着色でも有名な早稲田・石川研究室の研究。
飯塚里志, シモセラ エドガー, 石川博, "ディープネットワークによるシーンの大域的かつ局所的な整合性を考慮した画像補完," SIGGRAPH 2017
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ja/
白黒画像の全自動色付け
Satoshi Iizuka*, Edgar Simo-Serra*, Hiroshi Ishikawa (* equal contribution), "Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic Image Colorization with Simultaneous Classification," ACM Transactions on Graphics (SIGGRAPH), 2016
http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/
(追記)
岡村さん、小野さん、中野さん、上村さんらの議論に乗っからせていただいて、いたいけな少年たちの夢を叶えるためにマジレスします。
デモビデオを見ていただくとわかるのですが、風景などの繰り返しのパターンがあり多少間違えても気にならない部分か、「人間の顔」という強い制約をもったものにしか適用していないので、それ以外はまだうまく行かないと思ったほうがよいでしょう。人間の顔は複雑に思われますが、実は目・鼻・口がついていてその位置関係が決まっているという強い制約条件があるので処理しやすいです。
さて、ではこの方式をいたいけな少年のために使うためにはどうしたらいいのか。「ほぼ」同じ構図の正解画像を数万枚程度集めると良いと思われます。
小野さんのおっしゃるように不可能なことかと言われると、誰かがWEBアプリを作ってしまって、世界中の人が「これこそ役に立つ学習データになるはず」と信じる画像を投稿できるようにすると、可能と思われます。
ただし。数万枚を集めているうちに、当の本人は別の画像で満足するものと思われます。凄い。こういうの見てると、ディープラーニングは人間の機能の中で何より眼ととても相性が良いのだと感じる。昔、よく少年誌に宣伝が出てて、疑わずにお小遣いつぎ込んだのに効果がなくて、いたいけな少年たちを涙させたモザイク除去機とかもこれなら実現できる
>小野さん、山崎さん
おふざけコメントに一流のエンジニア・研究者の方からのコメント頂いてとても恐縮です。自分でアルゴを作るとなると、学習に必要な無修正画像データを数万枚手に入れる内に、モザイクを外すというモチベーションが失われそうですね。少年の夢は夢のままの方が良いという教訓となりました岡村さん・・・笑
ちなーーーみに。deep learningは大量のtraining dataがいります。つまり、何万枚もの色々な顔の画像を与えて学習させることで、このような顔の穴埋めが可能になります。岡村さんのコメントにある「いたいけな少年」の夢を実現するには、その部分を写した何万枚の画像を準備する必要があるのですが、おそらく健全な少年諸君はそのようなデータセットを普通は持っていないでしょう。やはり、成長するまで待ってもらうしかなさそうです。
