ゲーム開発を刷新するポテンシャルをもつ「動画ゲーム生成モデル」の最前線

2024.9.26ゲーム

2010年代における第三次AIブームでは、AlphaGoをはじめとするゲームプレイAIの研究が大きく発展しました。このブームにつぐ近年の生成AIブームでは、ゲーム動画を学習することでゲームプレイを生成する「動画ゲーム生成モデル」という新しい研究ドメインが台頭しています。そこで本稿では、動画ゲーム生成モデルの2つの最新事例を紹介します。

参考記事：ラベルなしの動画を学習してゲームワールドを生成するGenieの可能性

DOOMをプレイするゲームプレイAIから学習する

Googleリサーチらの研究チームは2024年8月27日、「拡散モデルはリアルタイムゲームエンジンである」というタイトルの論文を発表しました。挑発的なタイトルのこの論文では、従来のゲームエンジンではなく、画像や動画の生成に活用される拡散モデルによってゲームプレイを生成する方法を論じています。

今回開発された拡散モデルの一種であるGameNGen（「ゲームエンジン」と発音する）の仕組みは、モデルをゲームプレイ動画によって訓練することで、任意のゲームプレイ画面を入力すると、その画面に続く画面を出力できるようにするというものです。今回学習したゲームは古典的FPSのDOOMだったのですが、学習するゲームを変えれば、理論的にはあらゆるタイプのゲームプレイを出力できます。

GameNGenのアーキテクチャは以下の図のようになり、大別すると3つの部分から構成されます。

ゲームプレイデータの収集（アーキテクチャ図の左上）：学習データとなるDOOMのゲームプレイ動画を収集する。プレイヤーには、強化学習型AIを採用した。ただし、ゲームスコアを最大化する典型的な強化学習型AIではなく、ゲームプレイを多様化することを目標として設定した。こうした目標設定によって、ヒューマンライクなゲームプレイ動画を収集できるようになる。
拡散モデルの学習（アーキテクチャ図の左下）：収集したDOOMのゲームプレイ動画によって、Stable Diffusion v1.4を訓練する。訓練の結果、同モデルは任意のゲームプレイ画面の1フレームが入力されると、そのフレームに後続するフレームを出力するようになる。なお、本来のStable Diffusionはテキストと画像の対応関係も学習するが、今回はテキスト入力部分を削除した。
ゲームプレイ画面の出力（アーキテクチャ図の右）：以上の訓練済みStable Diffusionの出力では、ノイズが蓄積してしまう。それゆえ、同モデルの出力からノイズを除去するモジュールを追加して、ノイズがふくまれないゲームプレイ画面を出力する。

以上のようにして構築されたGameNGenを活用したゲームプレイ動画が、以下になります。なお、以下の動画では人間がプレイしています。人間のプレイ画面をGameNGenに連続的に入力すると、同モデルはその画面に後続する画面を出力します。その結果、人間プレイヤーは実際のゲーム（今回の場合はDOOM）をプレイする体験が得られるのです。

ゲーム開発がAIモデル開発に接近する可能性

前述のようにGameNGenは、ゲームプレイ画面生成に際してノイズを除去しています。同モデルの論文では、このノイズ除去処理の効果を実証する画像を掲載しています。以下の画像には、左側からGameNGenが生成したDOOMの異なるゲームシーンから抽出した4フレーム、これらのフレームから予測した後続するフレーム、予測フレームに対応する実際のDOOMの画面が並んでいます。この画像から、ノイズ除去が成功していることがわかります。

GameNGenの画像品質の評価として、人間評価者によるテストも実施しました。具体的には同モデルの生成画面とDOOMの画面を並べた130の短い動画（動画の長さは1.6秒と3.2秒を用意）を評価者に見てもらって、どちらがDOOMの画面かを識別してもらいました。その結果、1.6秒動画における識別確率が58%、3.2秒におけるそれが60%となりました。識別が完全に不可能ならば、識別確率はランダムに選択した場合の50%になることから、このテスト結果から簡単には識別できないと言えます。

GameNGenから垣間見えるのは、ゲーム開発が従来のコード作成からAIモデル開発に接近する可能性です。つまり、ゲームを開発するためにキャラクターの画像やゲームプレイ動画によってAIモデルを訓練すれば、その訓練済みモデルがゲームを生成するようになるかもしれないのです。このようなAI訓練型ゲーム開発においては、ゲーム開発者はほとんどコーディングする必要がなくなり、もしかしたらコーディングの知識も不要になる可能性があります。

もっともGameNGenには、いくつかの課題があります。課題のひとつには、フレーム予測時に使うメモリ量があります。同モデルは消費メモリ量に制限があるため、最大で3秒強のフレームを入力できます。この長さの入力フレームだけでは、不適切な予測を出力してしまう場合があります。DOOMよりさらに複雑かつ高画質なゲームを生成するためには、消費メモリ量を大きくする必要があるかもしれません。

もうひとつの課題として、強化学習型AIによって収集するゲームプレイ動画と人間のプレイヤーから収集するそれのあいだにある違いがあります。今回の研究では人間がプレイ可能なDOOMの全ゲームシーンを収集できなかったため、ゲーム生成に失敗する場合がありました。より複雑なゲームを生成するためにはより多くのゲームプレイ画面を収集する必要があるため、ゲームプレイ画面収集を効率化しなければならないでしょう。

テキスト入力が可能なゲーム生成モデルも登場

AIエージェント開発会社のVirtuals Protocolは2024年9月に、2Dアクションゲームの古典であるスーパーマリオブラザーズのゲームプレイ画面を生成するMarioVGG（Mario Video Game Generator）を発表しました。同モデルのアーキテクチャは基本的にGameNGenと同じで、ゲームプレイ動画によってモデルを訓練後、ノイズを除去しながらゲームプレイ画面を生成します。

MarioVGGは、ゲームプレイ画面に加えて、「ジャンプ」のようにキャラクター操作情報をテキスト入力できます。それゆえ、同モデルによってゲームプレイ画面を生成するには、スーパーマリオブラザーズのプレイ画面1フレーム分と、その画面におけるキャラクター制御情報を入力することになります。

MarioVGGにキャラクター操作情報を入力できるのは、学習データとして活用したSuper Mario Bros. Gameplay Datasetのデータ構造に起因します。256×240のpng画像を1フレームとして737,134フレームから構成されたこのデータセットには、各フレームにメタデータとしてキャラクター操作情報が付与されています。こうしたデータセットによって訓練したことで、同モデルはキャラクター操作情報を入力可能となったのです。

Virtuals ProtocolがMarioVGGを開発したのは、“AIモデルによるゲーム開発の民主化”というビジョンを実現するための第一歩を歩み出すためでした。このビジョンはゲーム開発からコーディングを排して、テキストと画像を入力すれば、AIモデルがゲームを生成するとも説明できます。つまり、同社はLLMがテキスト入力だけでソフトウェア開発を可能としようとしているのと同じように、AIモデルとのインタラクションだけでゲームを開発できることを目指しているのです。

GameNGenとMarioVGGがさらに進化すると、ゲーム開発ひいては創作活動全般がAIモデルとのインタラクションによって遂行される未来が到来するかもしれません。こうした未来では、シナリオライター、動画制作者、さらにゲーム開発者は単一の”汎用クリエイティブAI”を使っていることでしょう。このAIを活用すれば、ゲームシナリオやゲームの仕様書、あるいはゲームプレイ動画を入力するとゲームが出力されるので、ゲーム開発者の仕事はゲームデザインや動画制作に近いものになる可能性があります。そして、こうした汎用クリエイティブAIは、あらゆる創作活動の技術的敷居を下げて、万人が創作活動を楽しめる世界を実現するのではないでしょうか。

Writer：吉本幸記