動画背景差し替えや言語による動画編集が可能に：SIGGRAPH ASIA 2025論文より

2026.1.15アート

コンピュータグラフィックスとインタラクティブ技術に関する世界最大級のカンファレンスSIGGRAPH ASIA 2025が、2025年12月15日から18日に香港で開催されました。同カンファレンスでは世界各国の大学所属研究機関による発表のほかにも、大手テック企業が関わっている研究発表もありました。

参考記事：CGへの扉 Vol.81：AI活用は次の段階へ #SIGGRAPHAsia2025 より

本稿ではそうした研究発表のなかからNIVIDIAとSnap、ByteDanceの発表内容を紹介します。

動画内のオブジェクト削除や背景差し替えを可能とするNVIDIAの「OmnimatteZero」

NVIDIAとイスラエルにあるエルサレム・ヘブライ大学らの共同研究チームが発表した「OmnimatteZero」は、動画内にある特定のオブジェクトを削除したり、オブジェクトをそのままにして背景だけを差し替えたりできる動画編集モデルです。

以上のモデルを活用すると、例えば以下のように3羽の白鳥が写っている動画の1コマから、1羽の白鳥だけ除去できます。また、白鳥だけを抽出して（以下の「Foreground」のコマ）、白鳥とは別に撮影した背景動画（「New Background」）を合成して、新しい背景と組み合わせた白鳥動画（「Layer Composition」）を生成できます。

以上のような高精度のオブジェクト除去／抽出と背景差し替えが可能になったのは、OmnimatteZeroが動画内のオブジェクト識別に改善をもたらしたからです。従来の動画内オブジェクト識別では、1コマごとにオブジェクトに注意（アテンション）する手法を採用していました。この手法では、オブジェクトの影のような付随視覚効果を一貫して識別するのが難しいという課題がありました。

OmnimatteZeroでは、従来技法で実行されている空間的注意に加えて、時間的注意も導入します。後者は、オブジェクトの付随視覚効果に関する情報は、ひとつのコマに隣接するコマに注意すれば正確に取得できる、というアイデアを実現するために導入されました。こうした時空間的注意によって、従来手法の課題を克服したのでした。

もっとも、OmnimatteZeroにもいくつかの制限事項があります。多数のオブジェクトが重なり合っているような重度のオクルーション（occlusion：「遮蔽」を意味する英単語）があったり、解像度が低かったりする場合、オブジェクト識別能力が低下することがあります。また、多数のオブジェクトが複雑に動くようなシーンでも、期待した結果が得られない場合があります。

以上のような制限事項は、同モデルのベースとなっている動画生成モデルの性能が向上することで解決すると考えられています。

テキスト入力や動画入力で動画編集が可能なSnapの動画生成モデル

画像共有アプリSnapchatを開発・提供するSnapの研究チームは、テキスト入力や動画入力で動画編集が可能な動画生成モデルを発表しました。同モデルを活用すれば、例えば人物を撮影したポートレート動画に「雨（rain）」とテキスト入力すると、ポートレート動画の背景に雨が降っている動画的演出が追加されます。また、路上を走る自動車の動画に白い煙が立つ動画を追加すると、白い煙のなかを疾走する自動車の動画が出力されます。

以上のようなテキストや動画による動画編集は、従来では編集内容に合致した動画に関するLoRA（Low-Rank Adaptation：小規模データセットによる追加学習）を実行する必要があり、非常に手間のかかる作業でした。対してSnap発表の動画生成モデルは、以下のような3つの手法を用いた動画生成モデルの事前学習を実施することで、LoRAを省いたゼロショット動画編集を実現しました。

マルチDC（Dynamic Concepts、動的概念） LoRA：「滝が崖から流れる」動画のような複数の概念から構成された動画を事前学習する。
グリッドLoRA：マルチDC LoRAによって生成可能となった動画を基本として、オブジェクトを削除したり、背景の動的概念を変えたりしたような2 x 2の動画データセットを作成する。この動画データセットを用いて事前学習する。この学習によって、動画レイアウトに関する編集が可能となる。
グリッド-Fill LoRA：グリッドLoRAで用いた動画データセットの一部をマスクして、このマスク付きデータセットを用いて事前学習する。この学習によって、インペインティング（動画欠落部分の補完）に関わる動画編集が可能となる。

なお、以上のSnap発表モデルのベースとなっているのは、2022年に発表されたTransformerベースの拡散モデルであり、事前学習に用いられた動画は画像および動画素材提供サービスのPexelsから収集しました。

以上のSnap発表動画生成モデルでは、高速の宙返りのようなアクロバティックな動作を伴う動画を合成する場合、失敗することがあります。こうした制限事項は、ベースとなる動画生成モデルの性能向上によって克服できると考えられます。

静止画に対してジェスチャーを合成できるByteDanceの「X-UniMotion」

TikTokを開発・運営するByteDanceは、静止画に対してジェスチャーを合成できるモデル「X-UniMotion」を発表しました。同モデルを活用すると、1枚のポートレート画像に対して、様々なジェスチャーをしている人間を撮影した動画を入力することによって、ポートレート画像の人物が入力動画にあるジェスチャーを振舞うようになります。

同モデルの活用事例には、例えば幼児のポートレート画像に対して、成人女性が踊っている動画を入力すると、幼児が成人女性のように踊る動画が生成されます。恰幅のよい男性のモノクロ線画イラストに対して、黒人女性が手を振っている動画を入力すると、イラストの男性が手を振る動画が生成される、という事例もあります。

同モデルのプロジェクトページには、以上のほかにも様々な事例が掲載されています。すべての事例に共通しているのは、ポートレート画像とジェスチャー動画のあいだには、外見上の類似性がないことです。こうした特徴により、男性のジェスチャーを女性の実写画像に、あるいは実写のジェスチャー動画をアニメ画像に転写できるのです。

X-UniMotionが以上のようなジェスチャー転写ができるのは、ベースとなる動画生成モデルを訓練する方法を工夫したからです。以下の画像は、同モデルの訓練と推論に関するアーキテクチャ図です。

注目すべきは、画像左側にある「Training（訓練）」のアーキテクチャ図における左下の「Id」（Image drive：駆動画像。図ではｄは大文字）の部分です。ジェスチャーをふくむ動画を入力すると、1コマごとに両手と顔の各パーツの運動特徴を抽出します。この抽出時に、髪型などのような外見に関する特徴は捨象されます。抽出された運動特徴は、Is（Image Sause：ジェスチャーを転写する元画像）の各パーツに配置されます。こうした訓練を実行することで、外見に影響されずに運動だけを転写する機能を実現するのです。

以上のようなX-UniMotionの制限事項として、例えば2人が写っているポートレート画像に対して、2人が踊っている動画を転写する、のような複数人物の処理には対応していません。また、ByteDance研究チームが掲げる次の目標として、犬の画像に対して人間のジェスチャーを転写する、のような種族をまたぐ合成の実現を掲げています。

ちなみに、X-UniMotionのほかにSIGGRAPH ASIA 2025に採択されたByteDance研究論文には、複雑な画像生成を可能とする「DreamO」があります。

SIGGRAPH AISA 2025において発表された大手テック企業の技術論文からは、動画生成モデルがより実用的かつ複雑なタスクを実行できるように進化していることがわかります。本稿で紹介したようなAI技術のうちのいくつかは、動画生成アプリに実装されて当たり前の機能となるかもしれません。

Writer：吉本幸記