動画生成AI時代へ突入！2024年に抑えておくべき３つのツールとは？

こちらのトピックス“生成AI最前線「IKIGAI lab.」”は、学び合うことを目的としたオンラインビジネスコミュニティ「OUTPUT CAMP meets AI」のメンバーで運営しています。

皆様、明けましておめでとうございます。本年もどうぞよろしくお願いいたします。

私が各所に送りつけた年賀状をこちらにも掲載させていただきます。にじジャーニーでキャラクターを生成し、Canvaで年賀状の体裁を整えました。

他のIKIGAIコミュニティメンバーが生成した年賀状も後半に掲載させていただきますので、生成AIの魅力をお楽しみください。

本題に入る前に、年始にビジネス映像メディア「PIVOT」にて公開された動画を共有させていただきます。

動画の内容は下記の通りです。

出典：PIVOT公式チャンネル【落合陽一：2024年は超AIが来る】

出典：PIVOT公式チャンネル【落合陽一：超AI時代の生存戦略】

個人的には、「人間として面白くなれる方法を頑張って考えていただきたい」という落合さんの言葉が心に刺さっております。

さて、今回は私が挑戦した動画生成AIに関してまとめます。

正直、私自身もまだ動画生成AIは使いこなせていません……。何なら「どうすれば上手く生成できるのか教えてくれ！」という状態です。

しかし、年末の動画生成AIのアップデートを見逃すわけにはいきません！

数ヶ月後には、驚くほど性能が向上していることでしょう。

この記事を通して、私と一緒に動画生成の一歩を踏み出しましょう！詳しい方はコメントにて、サポートください。

今回紹介する動画生成ツールは3つです。

①Runway、②Pika、③VideoPoet

① Runway

Gen-2 by Runway

A multimodal AI system that can generate novel videos with text, images or video clips.

research.runwayml.com

利用には、アカウント作成が必要です。

Text/Image to Video（テキストまたは画像を入力して動画を生成する手法）がRunwayの醍醐味ですので、下記3パターンで動画を生成します。

（1）「Describe how a rabbit transforms and becomes a dragon」（うさぎが変身してドラゴンになる様子）を入力して動画生成

（2）年賀状に使用した女の子の画像を入力して動画生成

（3）シャボン玉の画像を入力して動画生成

（1）「Describe how a rabbit transforms and becomes a dragon」（うさぎが変身してドラゴンになる様子）を入力して動画生成

私の世界観が未熟だったのか、プロンプトが適当だったのかはわからないが、うさぎはドラゴンにならず……。日本語のプロンプトでは全く違う動画が生成されるので、英語のプロンプト入力が必要です。

（2）年賀状に使用した女の子の画像を入力して動画生成

ちょっとショッキングな動画が生成されました。私の可愛いキャラクターがリアルなドラゴンに変身しました。二次元から三次元への変換はナチュラルなので、すごいと思いますが、違った動画がよかった……笑

「Describe how a rabbit transforms and becomes a dragon」の影響もあるかもしれないと考え、「Make flames appear around the girl to represent a woman laughing in a blazing fire」（女の子の周りに炎を出現させて、燃え盛る炎の中笑う女性を表現してください）と指示しました。

すごく怪しい動画ができました。

話題のMotion Brushも使ってみましたが、なぜかリアルな女性の動画が出てきてしまう……。

（3）シャボン玉の画像を入力として動画生成

シャボン玉の動画はかなりいい感じです。人物より風景の方が強そうですね。

② Pika

Pika

An idea-to-video platform that brings your creativity to motion

pika.art

（1）「Describe how a rabbit transforms and becomes a dragon」（うさぎが変身してドラゴンになる様子）を入力して動画生成

やはりうさぎさんは、ドラゴンにはなりませんでした。しかし、アニメーションで簡単にうさぎさんを生成できました。

（2）年賀状に使用した女の子の画像を入力して動画生成

Pikaではプロンプトも必要なので、「Make flames appear around the girl to represent a woman laughing in a blazing fire. Please keep the animation style」（女の子の周りに炎を出現させて、燃え盛る炎の中笑う女性を表現してください。アニメスタイルのままでお願いします）と入力しました。

Runwayよりは崩れませんでしたが、女の子の表情が崩れてしまいました。表情の変化はまだ弱いですね。時間の問題でここは改善されると予想します。

（3）シャボン玉の画像を入力として動画生成

シャボン玉の画像では、「Soap bubbles fly away」とプロンプトを入力しました。

個人的にはRunwayの動きの方が好きですが、Pikaでも自然な動きを生成できました。

③ VideoPoet

VideoPoet – Google Research

A Large Language Model for Zero-Shot Video Generation. VideoPoet demonstrates simple modeling method that can convert any autoregressive language model into a high quality video generator.

sites.research.google

Video Poetは現時点では、まだツールとして使えません。

そのため、Video Poetの論文をChatGPTに読み込ませて要約してもらいました。ポイントは、ゼロショット学習のようです。Googleがモデルを構築しているので、期待は大きいです。

ゼロショット学習では、AIが以前に訓練された特定のデータセットだけでなく、新しいタスクやデータにも適応できる能力を持ちます。つまり、AIは新しい問題や状況に直面したとき、それに対して直接学習した経験がなくても、以前に学習した一般的な知識やルールを使って解決策を見つけることができます。これにより、AIは多様な問題に柔軟に対応できるようになり、より実用的で汎用性の高いものになります。 by ChatGPT