アニメキャラやテキストプロンプトにも対応。ダンス動画生成AIの最前線

2023年は動画や3Dオブジェクトを生成するAIが大きく発展した年でした。こうしたトレンドから派生して、2023年11月末から12月はじめにかけて画像からダンス動画を生成するAIが相次いで発表されました。そこで本稿では、こうしたダンス動画生成AIを3つ紹介します。

TikTokへの応用が意識された「MagicAnimate」

TikTokを開発・提供するByteDanseらの研究チームは2023年11月27日、1枚の画像と動作を入力すると、画像に写っている人物が入力した動作を行う動画を出力するAIモデル「MagicAnimate」を発表しました。同AIのプロジェクトページには多数のサンプル動画が掲載されており、以下のように人物の静止画からその人物がダンスする動画を生成できます。さらにはモナリザのような油彩画の画像からも動画を生成できます。

MagicAnimateのアーキテクチャは、以下の図に表されるような4つのモジュールから構成されています。

1. 外観エンコーダー：入力された人物画像の特徴を抽出するモジュール。抽出された特徴にもとづいて、動画が生成される（図左の上）
2. ダンスポーズシーケンス入力モジュール：生成する動画の動作を抽出するモジュール。動作の指示には動作を収録した動画を入力する方法があるのだが、この入力動画から動作の特徴を抽出する。このモジュールにはControlNetが用いられている（図左の下）
3. 動画拡散モデル：外観エンコーダーとダンスポーズシーケンスによって抽出された特徴にもとづいて、動画を生成するモデル（図左の中央）
4. 動画補間モデル：動画拡散モデルのみでは滑らかな動画を生成できないので、生成動画を滑らかにするために補間的な動画フレームを生成するモデル（図右）

MagicAnimateのプロジェクトページでは、同モデルの応用事例としてDALL-E 3をはじめとしたテキストプロンプトから生成した画像とモーション動画を入力して生成した動画や、複数の人物が写った静止画を入力して生成した複数の人物がダンスする動画も掲載されています。

MagicAnimateのいちばん効果的な応用は、TikTokをはじめとするダンス動画を共有するアプリに活用することでしょう。同モデルを使えば、ダンス動画とユーザが写った画像を用意できれば、ダンスが苦手なユーザであっても自身がダンスする動画を制作できるのです。

アニメキャラにも拡張した「Animate Anyone」

2023年12月7日には、中国のオンラインマーケット企業最大手のアリババグループ傘下のインテリジェントコンピュータ研究所が「Animate Anyone」を発表しました。同モデルはMagicAnimateと同様に人物が写った静止画と動作を収録した動画を入力すると、人物が入力した動作を行う動画を出力します。同モデルは学習データを拡張したことにより、日本アニメのキャラクターが描かれた静止画を入力しても、そのキャラクターが動作する動画を出力できます。

Animate Anyoneのアーキテクチャは、以下の図のように3つのモジュールから構成されています。同モデルは、静止画を連続的に出力することで動画を生成しています。

1. ReferenceNet：入力された静止画の特徴を抽出するモジュール（図上）
2. ポーズガイダー：入力された動作動画から動作の特徴を抽出するモジュール。MagicAnimateで使われていたControlNetは計算負荷が大きいので、動作を抽出するためのモデルを新規に開発して実装した（図下）
3. CLIPエンコーダー：ReferenceNetとポーズガイダーでそれぞれ抽出された特徴を統合するモデル。CLIP自体は画像を入力すると、画像を説明するテキストを出力するモデルだが、カテゴリーの異なる情報を処理できるクロスアテンション機能が画像と動作の統合に流用された（図中央）

Animate Anyoneの学習データには、ファッションフォトと動的ポージングに関するデータセットFashion Video Datasetが含まれています。それゆえ、任意のファッションフォトを入力すると、被写体となっているファッションモデルが動的にポージングする動画を出力できます。インテリジェントコンピュータ研究所が発表した任意の人物画像と衣服画像を融合する「着せ替えAI」とも言えるOutfit Anyoneと、Animate Anyoneを組み合わせると衣服を着せ替えたダンス動画が生成できます。

Animate Anyoneには、現在の画像生成モデルが抱えているような制限事項があります。そうした事項の1つには、手の動きに歪みが生じることがあります。2つ目には、生成画像は1つの視点からしか描画されないため、その視点から見えない部分の描画が不正確になる場合があります。こうした制限事項があるものも、同モデルはダンス動画生成の可能性を大きく拡張しています。

テキストプロンプトを組み合わせた「DreaMoving」

Animate Anyone発表直後の2023年12月11日、アリババグループ・インテリジェントコンピュータ研究所は背景の指定も可能な「DreaMoving」を発表しました。このモデルは、人物が写った静止画と動作を収録した動画に加えて、「フランスの街で、スーツと白いシャツを着て、笑顔で踊る女の子」のようにテキストプロンプトによって動作する人物の背景を指定できるというものです。こうした性能により以下の画像のようにダンスする人物とダンスを共有しながらも、背景をテキストプロンプトによってさまざまに変えられるのです。

DreaMovingのアーキテクチャは、以下の図に表されるように3つのモジュールから構成されています。

1. Video ControlNet：動作を収録した動画から動作の特徴を抽出するモジュール（図上）
2. コンテントガイダー：人物の静止画とテキストプロンプトから生成する画像の特徴を抽出するモジュール（図下）
3. Denoising U-Net：Video ControlNetとコンテントガイダーがそれぞれ抽出した特徴を統合して、動画を生成するモジュール（図中央）

DreaMovingの革新性は、コンテントガイダーにあります。このモジュールでは動作する人物の外見的特徴は画像エンコーダーによって抽出される一方で、背景画像は通常のテキスト画像生成の処理が実行されています。そして、人物と背景が統合された特徴がDenoising U-Netに入力されるのです。

DreaMovingの高度な生成事例として、人物画像に加えて衣服の画像を入力すると、人物と衣服を指定したダンス動画を生成できます。また、モナリザのような実在しない人物に関する画像を入力しても、その人物がダンスする動画を生成できます。

以上に紹介したダンス動画生成モデルは、こうした動画をシェアする文化を大きくアップデートするポテンシャルがあります。その一方で、簡単に悪意ある偽動画を制作できるリスクがあります。生成モデルが社会に普及するためには、生成モデルの研究開発と同時に、電子透かしのような生成の来歴を証明できるメカニズムの研究開発も不可欠となるでしょう。

Writer：吉本幸記