新着Pick
527Picks
Pick に失敗しました

人気 Picker
読唇術 (lip reading)はCV界でも結構注目を集めており、コンテストなども開かれています。

LIP-READING USING DEEP LEARNING METHODS
https://bmvc2017.london/lipreading-using-dl-methods/


下記は代表例としてVGGなどを開発するOxfordのZissermanらの研究成果。Youtubeビデオもあります。

Lip Reading Sentences in the Wild
http://openaccess.thecvf.com/content_cvpr_2017/html/Chung_Lip_Reading_Sentences_CVPR_2017_paper.html
https://www.youtube.com/watch?v=103CXDFhpcc


また、読唇術でなくて、部屋にある葉っぱやポテチの袋、コップなどが声の音波で微妙に揺れることを利用して遠くから音の内容を推定使用という試みも。

映像だけから音を復元するビジュアルマイク技術。防音ガラス越しのポテチ袋から会話を再現
http://people.csail.mit.edu/mrub/papers/VisualMic_SIGGRAPH2014.pdf
https://japanese.engadget.com/2014/08/05/vm/
金正恩と文在寅が話し込む際の様子を読唇術で「核兵器」「アメリカ」「トランプ」という単語を何度も語ったとされています。

さらに、韓国メディアによると「父があの女性と結婚しろと言ったのでした」などと結婚秘話も語ったと解析しているそうです。

今回の解析方法は明らかにされていませんが、読唇術の精度はAIによってますます上がっていくのは間違いありません。
すごい時代だ。でもこれはもっと進化しそう。
HAL 9000が、David とFrank のポッド内での会話内容をlipread したシーンが目に浮かびますねぇ(浮かばない?)

https://en.m.wikipedia.org/wiki/HAL_9000

あ、言語指定はするんですよねぇ 要らないならスゴイです

追記
↑浮かんだ方が2名ほどいらっしゃったようでウレシイ
追記オワリ

あ、HALのHはheuristicsだったんですねぇ コレは忘れてましたが、示唆的ですねぇ

(上のwikiより)
「HAL(Heuristically programmed ALgorithmic computer) is」
追記オワリ
これはすごいですね。ARと自動翻訳と合わせたりすると面白そうですが、情報量が多すぎて日常使いには今一つですかね。
それ一年以上前に見たニュースなんですが
読唇術ってAI使っても50%の正解率なんですね、低いなぁ。