無音のピアノ演奏ビデオから音楽を生成する「目コピ」AIピアニスト--手の動きを解析
コメント
注目のコメント
対象楽器がオルガンやチェンバロならまだともかく、ピアノ(ピアノフォルテ)では鍵盤を叩く強さやタッチ、ペダリングが醍醐味なのだから、とてもピアノ演奏と呼べないのでは。
ピアノならMIDIキーボードでの代用も容易(ベロシティやダンパーも記録できる)だと思いますので、
木管楽器や、シロフォン、ティンパニー、ギターやハープ、難しそうですが金管楽器なども目コピーしてくれると楽しそうです。
ライブを リアルタイムで目コピーし
自宅や他のホールで ロボットが演奏!
迫力あって楽しいと思います。音から音楽を生成するのでなく、あえて手の動き(画像)を解析してというのが面白いと思いました。演奏のタッチは、音からでなく、手の動きからの方が再現可能だから?
その辺の「なぜ」が素通りされていましたが、そこが知りたかった。そこが分かれば、何か別のことにも汎用性がありそうな気も。