3Dオブジェクトの変化を表現できる「4D生成モデル」という新潮流

2024.1.24アート

2023年は、テキストや画像を入力すると3Dオブジェクトを生成する「3Dオブジェクト生成モデル」の研究が大きく飛躍した年でした。そして、2023年末には動きのある3Dオブジェクトを生成する「4Dオブジェクト生成モデル」が登場しました。このモデルには、NeRFの後継技術が活用されています。本稿では4Dオブジェクト生成モデルを紹介したうえで、この後継技術のポテンシャルを明らかにします。

3D Gaussian Splattingを用いて4Dシーケンスを生成

2023年12月21日、NVIDIAらの研究チームはテキスト入力すると動きのある3Dオブジェクトを生成するモデル「Align Your Gaussians」（直訳すると「あなたのガウス分布を整列させる」、以下、「AYG」と略記）を発表しました。同モデルの生成サンプルを集めたウェブページを見ると、例えば「速く走るトラ（A tiger running fast）」と入力して生成した動く3Dオブジェクトが確認できます。

AYGのプロジェクトページには、同モデルのアーキテクチャが解説されています。同モデルは、4Dオブジェクト生成を2段階の処理に分けて実行します。第1段階は、テキスト入力あるいは1枚の2D画像から動きのない静的3Dオブジェクトを生成する処理です。この処理において重要なのが、マルチビュー拡散モデルです。このモデルはStable Diffusionをはじめとした典型的な画像生成モデルで活用されている拡散モデルの発展型であり、視点の異なる2D画像を複数生成します。このように生成された2D画像から動きのない3Dオブジェクトを生成します。テキスト入力の内容によっては画質を向上させる必要があるので、そうした場合には通常の拡散モデルを使って高画質化します。この段階では、新規性のある技術やアイデアは使われていません。

AYG生成処理第２段階では、第１段階で生成した3Dオブジェクトを使って動きのある4Dオブジェクトを生成します。静的3Dオブジェクトに動きを付加するのに使われるのが、3D Gaussian Splatting（ガウシアン・スプラッティング）です。この技術を使って動きのあるシーケンスを生成すると同時に、静的3Dオブジェクト生成時に入力したテキストを流用して動画も生成します。このシーケンスにおける特定のポイントと、そのポイントに対応する動画の描画ポイントを照らし合わせることで、シーケンスの品質を向上させます。さらに入力テキストから3Dオブジェクトに関する静止画も生成して、この画像を用いてシーケンスの画質を向上させます。

以上で言及した3D Gaussian Splattingは、2023年8月にフランスの国立研究機関Inriaらの研究チームが発表しました。この技術は、2D画像から3Dシーン画像あるいは3Dオブジェクトを生成するのに活用されていたNeRFに比べて、処理が高速でありながら高品質な生成結果が得られることを特徴としています。こうした特徴により、NeRFでは困難であった4Dオブジェクト生成を実現できたのです。

NeRFを用いた先行モデルを凌駕

AYGの論文では、同モデルの生成結果と先行モデルのそれを比較した実験結果を報告しています。比較対象となったのは、Metaが2023年1月に発表した「MAV3D」（「Make-A-Video3D」の略称）でした。このモデルも4Dオブジェクトを生成しますが、3D Gaussian SplattingではなくNeRFが活用されています。

比較実験は、Amazon Mechanical Turkを使って7名の評価者を集めて、同一のテキストを入力したAYGとMAV3Dから出力された4Dオブジェクトの品質を評価するというものでした。入力テキストはMAV3Dのプロジェクトページに掲載されている28の生成サンプルに入力されたものとし、評価者はそれぞれの観点について優れた方が選ぶか、同一品質の3つの選択肢から回答を選びます。評価観点は以下の表にあるような「総合品質（Overall Quality）」や「3Dの外観（3D Appearance）」を含めた6項目であり、回答結果は同表にまとめた通りとなります。すべての評価項目において、AYGがMAV3Dを凌駕する結果となりました。

AYGの論文には、AYGとMAV3Dがそれぞれ生成したオブジェクトに関する以下のような静止画も掲載されています。「ビールを飲むヤギ（A goat drinking beer）」という入力テキストに関して、MAV3Dから生成された静止画はヤギの表面が陰影のついた白色なのに対して、AYGのそれはヤギの毛並みまで確認できるフォトリアルなものとなっています。なお、MAV3Dの生成結果には背景色が設定されていますが、評価者には背景色を無視するように指示しました。

AYG論文ではAYGの応用として、ゲームや3Dアニメーションをはじめとしたクリエイティブコンテンツ制作における活用を挙げています。さらには、動画内の特定のオブジェクトをトラッキングするモデルを開発する際の学習データの生成にも使えます。その一方で、AYGは「ペガサスに変化して疾走する馬」のような大きな形状変化を伴う4Dオブジェクト生成を実現できていません。こうした劇的な変化を伴う4Dオブジェクト生成モデルは、2024年内に発表されるかも知れません。

カメラ位置が移動する「4D動画生成モデル」も登場

AYG以外の3D Gaussian Splattingの応用事例には、ファーウェイらの研究チームが2023年10月12日に発表した4D Gaussian Splatting（以下、「4D-GS」と略記）があります。このモデルは任意の動画を入力すると、カメラ位置が移動する動画を出力するというものです。カメラ位置の移動が付加されるので、3次元実写動画に1次元が加わった4D動画が生成されるというわけです。

4D-GSのプロジェクトページには、同モデルのアーキテクチャ図が掲載されています。その図によれば、はじめに同モデルは動画内に映ったオブジェクトに関して、3D Gaussian Splattingによって3Dオブジェクトを生成します。そして、Spatial-Temporal Structure Encoder（時空間構造エンコーダー）によって、生成した3Dオブジェクトの中心座標と時間情報を抽出します。こうして抽出した情報をMulti-head Gaussian Deformation Decoder（マルチヘッドガウス分布的変形デコーダー）に入力すると、カメラ位置が移動した動画フレームが出力されます。

もっとも4D-GSには、大きなカメラ位置の移動には非対応だったり、カメラ位置が不明瞭な動画からは高品質な出力結果が得られなかったりする制限事項があります。さらには、都市景観のような大量のオブジェクトが映り込んでいる動画ではレンダリング処理が遅くなってしまいます。

以上に解説した2つの4D生成モデルは、いずれも3D Gaussian Splattingが基幹技術として使われています。この技術はNeRFの後継技術として、4D生成を超えてさまざまなグラフィック生成技術に応用されると予想されます。それゆえ、今年のGTCやSIGGRAPHでは3D Gaussian Splattingがキーワードとなるかも知れません。

Writer：吉本幸記