1枚の2D画像から3DのファンタジーやSFの世界を生成する「3Dワールド生成AI」の最新動向

2024年は、ゲーム生成AIが大きく進化した年でした。このAIに類似した生成AIとして、3D空間を生成する3Dワールド生成AIが台頭しています。そこで本稿では、3Dワールド生成AIに関する最近動向を紹介します。

物理シミュレーターとしても機能する「Genie 2」

Google DeepMindは2024年12月4日、3Dワールド生成モデル「Genie 2」に関するブログ記事を公開しました。このモデルはその名前が示しているように、同組織が2024年2月23日に発表した2Dゲーム画面を生成するAI「Genie」の後継モデルです。

参考記事：ラベルなしの動画を学習してゲームワールドを生成するGenieの可能性

Genie 2に任意の画像を入力すると、その画像の特徴にもとづいた3Dワールドを生成します。ファンタジー世界の画像を入力するとファンタジー世界の3Dワールドを生成し、SF的な画像を入力するとSF的な3Dワールドを生成するというわけです。入力画像を画像生成AIによって作成すれば、実質的にテキスト入力から3Dワールドを生成できます。同モデルを紹介するDeepMindブログ記事では、同社が開発したImagen 3を使って入力画像を生成しています。

入力画像にキャラクターが含まれている場合、そのキャラクターをマウスとキーボードで操作することも可能です。ファンタジー世界の騎士が描画されていればその騎士を、レーシングカーが描画されていればそのクルマを操作できるのです。こうした仕様により、Genie 2はゲーム生成AIとしても機能すると言えます。

Genie 2が生成した3Dワールド内のオブジェクトについては、その物理的挙動が正確に描画されます。例えば風船の破裂や火薬樽の爆発、ドアの開閉が克明に描かれます。NPCが画面に含まれていると、その動きも描画します。

前出のDeepMindブログ記事では、同組織が開発した自然言語による指示に従うゲームプレイAI「SIMA」が、Genie 2が生成した3Dワールドをプレイする事例も紹介しています。この事例は、Genie 2がゲームプレイAIを訓練する環境を生成できることを実証しています。

参考記事：汎用3Dゲームプレイエージェント「SIMA」の仕組みと進化の方向を解説

Genie 2のアーキテクチャは、既存のゲーム生成AIで活用される潜在拡散モデルを採用しています。こうしたアーキテクチャにより、同モデルは入力画像に後続するフレーム画像を連続的に生成することを通して、3Dワールドを描画しています。ゲームキャラクターの操作は、フレーム画像生成の条件付けとして処理されます。

なお、DeepMindはGenie 2をゲーム開発に使うよりも、AIエージェント開発における訓練環境の生成に役立てることを目指しています。そして、多様な環境で訓練されたAIエージェントはさまざまな場面で活躍すると考えられます。

名画から3Dワールドを生成するWorld Labs開発AI

2024年12月2日には、AIスタートアップのWorld Labsが3Dワールド生成AI（まだ名称はない）を発表しました。同社の共同創業者には、GoogleのAIと機械学習部門でチーフサイエンティストを務めていたフェイフェイ・リ（Fei-Fei Li）氏が名を連ねています。

同AIを解説したブログ記事によると、同AIは前出のGenie 2と同様に1枚の画像を入力すると、その画像の特徴を反映した3Dワールドを生成します。マウスとキーボードを操作して視点を動かすことで、3Dワールドを散策できます（解説ブログ記事でデモが体験できる）。入力画像を画像生成AIによって生成すれば、テキストから3Dワールドを生成できることになります。

同AIはGenie 2のようにワールド内キャラクターを操作できませんが、さまざまな視覚効果を付与できます。例えばスライダーで被写界深度を調節して、ポートレートのように手前だけに焦点が合うようにしたり、焦点を固定して視野を広げたり狭めたりするドリーズームが可能です。

3Dワールド内の任意の場所をクリックすると、その場所にスポットライトのような照明が当たったり、その場所からさざ波がたったりする視覚効果も付与できます。画面全体が細かく揺れたり、色彩が変わったりする設定も出来ます。

前出のブログ記事では、ゴッホやホッパーの絵画から3Dワールドを生成した事例も掲載されています。こうした事例では、入力した絵画に描かれていない箇所はAIによって生成されています。また、何人かのデジタルクリエイターにWorld Labsの3Dワールド生成モデルを使ってもらったことで制作されたアート作品も紹介しています。そうした作品には、AIアーティストのブリッタリ・ナタリ（Brittani Natali）が音楽生成AIのSunoなどを併用して制作した短編映画があります。

World Labsの3Dワールド生成AIとGenie 2を比較すると、前者は3DCGツール的なAIであるのに対して、後者はゲームエンジン的なAIと言えるかもしれません。

700万ドル調達する企業もある3Dワールド生成AI市場

Genie 2とWorld LabsのAIは2024年12月に発表されたものですが、実のところ3Dワールド生成AI開発は、すでにさまざまな企業が取り組んでいます。

ゲーム共有プラットフォームのRobloxは、2024年9月6日に開催した開発者会議RDC 2024において、開発中の3Dワールド生成機能を発表しました。YouTubeに公開されているデモ動画を視聴すると、この機能を使うと例えば「（自動車の）レース場を作って」とテキスト入力すると、テクスチャが設定されていないレース場が生成されます。次いで「シーンを砂漠にして」と入力すると、レース場に砂漠のテクスチャが付与されます。同機能の発表時点では実装時期は不明ですが、近い将来、この機能がRobloxで利用できるようになるでしょう。

AIスタートアップのCybeverは、生成AIを統合した3Dワールド生成ツールを開発しています。そのツールは、ワールド生成の最初に例えば「山脈のある島」とテキスト入力すると、入力内容に沿ったワールドのテンプレートを生成します。スライダーを動かすことで、山の高さを調節できます。ワールドに設置する建物のオブジェクトは、マーケットプレイスから検索して選択可能です。このようにして、ユーザが思い描く3Dワールドを迅速に制作できます。このツールは、ゲームエンジンのワールド制作機能と生成AIを組み合わせたようなものと言えます。

テック系メディアVentureBeatは2024年10月8日、AIスタートアップのThird Dimension AIが700万ドルの資金調達に成功したことを報じました。その記事によると、同社が目指す3Dワールド生成AIとは、1枚の2D画像から3Dの都市を生成するものです。こうしたコンセプトは、同社公式サイトに掲げられた「ローマを1日で建てる」というモットーにも表現されています。もっとも、同社が開発する生成AIは動画生成AIを発展させたものというより、3Dオブジェクト生成AIを大規模にしたものになるようです。

以上のように3Dワールド生成AIは、ゲーム生成AIと並行するようにして急速に進化しています。こうしたAIからもっとも恩恵を得る業務は、ゲーム開発でしょう。これらのAIが順調に進化すれば、2025年にはテキスト入力だけでリッチな3Dゲームが制作できる環境が整って、「AI生成3Dゲーム」が集まったゲームプラットフォームが立ち上がるかもしれません。

Writer：吉本幸記