【JSAI2024】AIによるゲーム生成を探求：オーガナイズドセッション「デジタルゲームと人工知能」（前編）

2024年5月28日から31日、2024年度人工知能学会全国大会（第38回）が静岡県浜松市のアクトシティ浜松にてオンラインとのハイブリッドで開催されました。5月28日にはオーガナイズドセッション「デジタルゲームと人工知能（前編）」が行われました。本稿は、このセッションにおけるパネル討論と3つのAIによるゲーム生成事例を紹介します。

第三次AIブーム以前のゲームAI開発者が参加したパネル討論

はじめに今回のセッションのオーガナイザーを務めたモリカトロン株式会社の代表取締役である森川幸人氏が「ゲーム製作におけるAI活用事例」と題して、自身の実績を振り返りました。

森川氏は、自身のゲーム開発実績を人工知能の歴史と重ね合わせるように回顧しました。同氏がゲームを作り出した20世紀末から21世紀初頭は、第二次AIブームの収束後ディープラーニングが台頭していなかった「AI冬の時代」でした。こうしたAIに注目が集まっていないなかで、同氏は隙あらばゲームにAIを実装していました。

そんな森川氏は、自身の開発したゲームとして意思決定にニューラルネットワークを活用した『がんばれ森川君2号』（1997年）、遺伝的アルゴリズムを使って進化する『アストロノーカ』（1998年）、アイテム鑑定などにニューラルネットワークを使った『ここ掘れ！プッカ』（2000年）、歌詞とメロディーを自動生成する『くまうた』（2003年）を紹介しました。

つづいて森川氏、電気通信大学所属の稲葉通将准教授、KLab株式会社所属の濱田直希氏によるパネル討論が行われました。司会を務めた株式会社スクウェア・エニックス所属の三宅陽一郎氏の質問に答えるかたちで進行したパネル討論では、以下のような興味深い発言がありました。

1. （森川氏発言）ベンチマークで性能を測定できるような基盤モデルをはじめとする「正しいAI」と、人間を楽しませるようなゲームAIのような「楽しいAI」はその在り方や評価基準が異なる。
2. （濱田氏発言）キャラクターの魅力のような感性的なもののデータ化・アルゴリズム化に努めたい。
3. （稲葉准教授発言）学界における研究成果がゲームに活用されるのが理想だが、成果の応用方法に再現性がないのが難点。
4. （森川氏発言）ゲーム業界におけるUI/UXの知見は他業界に比べて進化している。フレンドリーなAIの実現には、ゲームAIの知見が有効。
5. （濱田氏発言）ゲーム開発者も人工知能学会をフォローしてほしい。

ミステリーゲーム生成の到達点と限界を模索

モリカトロン株式会社の宮本茂則氏と高橋力斗氏は「Red Ram: 生成モデルを用いたオンデマンドなミステリーアドベンチャーゲーム生成システム」と題して、同社が開発したミステリーアドベンチャーゲーム『Red Ram』の生成システムについて発表しました。

発表のはじめに、『Red Ram』を紹介する動画が提示されました。このゲームは、プレイヤーが凶器や犯行場所といったミステリーの要素を指定すると、AIがその指定に沿ってミステリーのストーリーや登場人物画像を生成するというものです。プレイヤーは、生成されたミステリーの謎解きをします。

『Red Ram』の開発にあたりモリカトロン開発チームは、すでに試みられている「AIによるゲーム素材の生成」をさらに進めて、「AIによるゲーム自体の生成」に着手することにしました。同ゲームのアーキテクチャを説明すると、はじめにプレイヤーがテキストでゲームの基本設定を入力すると、その入力に沿ってGPT-3.5あるいはGPT-4がプロットを生成します。そのプロットにもとづいてストーリーや詳細設定が生成されます。そして、詳細設定にしたがって、Stable Diffusionが人物画像や背景画像を生成します。

プロット生成時にはプレイヤーが入力した基本設定に加えて、ミステリー執筆についての基本的な手法をまとめたミステリー執筆ガイド、ゲームプレイにおける条件分岐等を管理する進行フローを統合してLLMに入力します。すると、LLMがプロットを生成します。

プロットは、LLMを使って詳細設定などを生成するのに活用されるストーリーデータに変換します。そのストーリーデータを再度LLMに入力して詳細設定を生成します。

以上のように生成されたプロット、ストーリーデータ、詳細設定をLLMに入力して、プレイヤーが読む会話シナリオを生成します。

背景画像や証拠品は、関連する詳細設定の記述をStable Diffusionに入力して生成します。画像生成が困難な画像については、事前に用意した画像に差し替えました。

登場人物の画像生成については、ControlNetを使って位置を調整しました。表情についてもControlNetで顔の位置を指定後、表情に関するプロンプトを追加して生成しました。

こうして完成した『Red Ram』は、例えば凶器を豆腐に指定しても「豆腐による窒息死」のような説得力のあるストーリーを生成します。

反対に失敗生成事例には、ストーリー序盤でミステリーの核心となるような秘密を暴露する言わば「ネタバレ」をしてしまうケースがありました。

ストーリーの文脈や進行度を考慮したゲーム生成に課題が残りますが、今回の成果を今後の研究の基準点としてゲーム生成を改善することが目標、と述べてモリカトロン開発チームの発表は終わりました。

ループ型ゲームと生成AIの親和性を立証

公立はこだて未来大学所属の大柳裕⼠氏は「複数のAI自動生成技術を組み合わせたループ型2Dアドベンチャーゲームのシステム開発」と題して、ループ型2Dアドベンチャーゲームに対してAI自動生成技術を応用した成果を発表しました。

はじめに大柳氏は、研究背景を説明しました。ChatGPTの登場以降、生成AIがさまざまな業界でコンテンツ生成に活用されているなか、類似した出力を大量に生成できる生成AIの利点を生かしたゲーム事例はまだありません。

こうしたなか、同氏をはじめとした研究チームは、ループ型2Dアドベンチャーゲームの生成にAIを活用することに着手しました。こうしたゲームを研究テーマに選んだのは、ループという構造上、生成物の再利用が容易なうえに、似たものを多数生成する必要があるゲーム構造がAIの活用に適していると考えたからです。

ループ型2DアドベンチャーゲームにおけるAI技術を用いた要素には、以下のスライド画像のような4つの要素を選びました。今回の発表では、ボスキャラクターの強化学習を除く3つの要素を解説しました。

シナリオの自動生成については、知名度が高くシリアスな展開のループ型作品を8作品選んだうえで、それらの122周分のデータを収集しました。そして、ループ間の関係と生じるイベントという2つの観点から、データの物語構造分析を実施しました。その分析結果に対して因子分析を実行することで、ループ型作品における典型的展開を解明しました。

因子分析の結果、ループ型作品にはエンディングに直結しない困難や、強大な敵と仲間と協力して戦うといった典型的展開が明らかになりました。

以上の典型的展開にもとづいてプロンプトを作成したうえで、そのプロンプトをBingAI（2024年6月時点の名称は「Copilot」）のクリエイティブモードに入力して、あらすじを生成しました。その結果、同じプロンプトから複数の異なるストーリーが出力されましたが、ゲームに採用するには人間による取捨選択が不可欠と判明しました。

キャラクターアニメーションの生成については、現在の動画生成モデルでは姿勢などの一貫性を保つのが難しいという問題を解決する必要がありました（2024年6月時点ではOpenAI Soraなどによってこの問題は大きく改善された）。この問題を解決するために、以下のようなアプローチを実行しました。

• 手書きで動かしたいキャラクター画像を作成。
• 以上の画像に関する学習データ画像を30枚作成。各学習データ画像には規則性のあるキャプションを付与。キャプションに規則性があることによって、画像生成時に使うプロンプトでおおまかな姿勢の指定が可能となる。
• 以上の学習データ画像を用いて、Stable Diffusionに追加学習を実施。
• 追加学習したStable Diffusionを使って、アニメーションを構成するフレーム画像を1枚ずつ生成。生成画像ごとに姿勢を指定することで、キャラクターの動きを表現する。姿勢制御には、OpenPoseも活用。

以上のように制作したキャラクターアニメーションでは、歩く・攻撃するといった基本モーションの制作は可能でしたが、髪の毛の動きのような複雑な表現は困難であることがわかりました。

音響の自動生成については、任意のゲームシーンが惹起する感情に相関したBGMを出力する機械学習モデルを開発しました。このモデルの開発には映画音楽5作品から抽出した179個の音源データを学習データとして用意したうえで、各音源とそれが使われたシーンにおける感情の対応関係を学習する教師あり学習を用いました。その結果、任意のゲームシーンの感情データを入力すると、そのシーンにふさわしい音響特徴量を出力するモデルが完成しました。このモデルを活用して、さまざまなゲームシーンに対応した20のBGMを生成しました。

以上のようなストーリー、キャラクターアニメーション、BGMを統合してループ型2Dアドベンチャーゲームを作成した結果、当初の目論見通り、さまざまなパターンのゲームが制作できました。しかしながら、優れたゲームを生成するにはAIによる生成結果を人間が取捨選択することが望ましいこともわかりました。今後は分析データや学習データを増強してより高品質なゲームの生成を目指すと同時に、ゲーム開発以外における生成AIの成果を取り入れていきたい、と述べて大柳氏は発表を終えました。

LLMと線形回帰モデルでNPCの特徴を表現

KLab株式会社所属の加納基晴氏は「LLMを活用したシンボリックGame AIの構築」と題して、LLMと機械学習モデルを活用したNPCの行動制御について発表しました。

加納氏によれば、ゲーム開発におけるNPCの行動制御には伝統的にシンボリックAIが活用されていました。この技法は直感的に制御できる反面、行動パターンをすべて手作業で実装する必要があるため工数がかかるという欠点があります。

こうしたなか加納氏らの研究チームが実現を目指したのは、ゲーム開発者がNPCに関する指示を入力すれば、LLMや機械学習モデルがNPCの特徴にふさわしい行動を出力するという新たな制作フローでした。このフローは、CEDEC2023において三宅陽一郎氏らが提唱したハイブリッドアーキテクチャの一類型と見なせます。

参考記事：【CEDEC2023】ゲーム業界の次の15年を見すえたハイブリッドアーキテクチャの紹介

以上の制作フローを実現するために、はじめにゲーム開発者が記述するNPCの状態を機械学習モデルが処理できる状態表現に変換する規則を考案しました。この規則は、各種状態を2値ベクトル（ある状態であれば「1」、そうでなければ「0」と処理する）に変換するというものでした。

次に任意の状態において、NPCが何らかの行動を実行した場合、その行動から帰結する結果を記述する方法を定義しました。この方法についても、現在の状態と行動後の状態を実行した行動と紐づけて2値ベクトルで表現するようにしました。

さまざまな行動について、NPCがその特徴にふさわしい行動を実行したかどうかに関する評価は、以下のような手順で行いました。

• ランダムに生成した状態について、その状態から実行可能な行動をランダムに選択する。
• 以上の処理を繰り返すことで、状態と行動をペアにした学習データを作成する。
• 作成した学習データを用いて、NPCの状態と行動に関してLLMを訓練する。
• ゲーム開発者がNPCの特徴を定義する指示書を作成したうえで、その指示内容とNPCの状態と行動に関する記述をふくむプロンプトを訓練済みLLMに入力して、NPCの行動を評価してもらう。例えば「このNPCは攻撃的な性格です。敵が近くにいる時、NPCは攻撃しました。この行動を素晴らしいですか、月並みですか、それとも悪いですか」と質問して、回答してもらう。
• 以上のような質問さまざまな設定で行うことで、訓練済みLLMにNPCの特徴と行動に関するデータセットを作成する。

以上のようにして作成されたデータセットを学習データにして、NPCの行動を評価する線形回帰モデルを訓練します。このモデルはNPCの現在の状態と任意の行動後の状態を入力、行動の評価を出力としています。

上記の線形回帰モデルをNPCの行動決定アルゴリズムに活用すれば、ゲーム開発者が指定したNPCの特徴と現在の状態にもとづいて、可能な行動ごとに特徴に合致しているかどうか評価できます。そして、評価値を比較して最適な行動を自動的に選択できるようになるのです。

最適行動選択モデルの有効性を検証するために、このモデルを実装したゲームAIがドッジボールゲームをプレイする実験を行いました。実験の諸条件は、以下のスライド画像の通りです。今回はゲームAIの特徴として、攻撃型、バランス型、サポート型を設定しました（実験に関する動画は、こちらから閲覧可能）。

実験で検証されたひとつめの結果として、ゲームAIはどのような特徴を設定したとしても、ランダムに行動するAIに対して高い勝率となりました。この結果は、ゲームAIがドッジボールゲームに適応していることを意味します。

検証されたふたつめの実験結果として、ゲームAIは攻撃型とバランス型の特徴を設定した場合にはその特徴にふさわしい行動を選択していたのですが、サポート型では最適行動の選択に失敗していることが判明しました。

サポート型の行動選択失敗の原因をさぐると、特徴を定義するプロンプトに問題があることがわかりました。具体的には、攻撃的に行動するような指示がプロンプトにふくまれていました。こうした問題個所を修正すると、サポート型も最適行動を選択するようになりました。

今回の研究によって、LLMと線形回帰モデルを活用したNPCの制作フローの有効性が実証されました。今後の研究課題として、ビヘイビアツリーのような複雑なシンボリックAIにも今回の制作フローが流用できるかどうかの検証などをあげて、加納氏は発表を終えました。

【参考記事】LLMを活用してシンボリックGame AIを構築する研究の紹介（2024年度人工知能学会全国大会）｜Klab Technologyブログ

以上に紹介した3つの発表では、いずれにおいてもLLMがゲーム開発に活用されていました。LLMは日進月歩しており、近い将来、マルチモーダルLLMのゲーム開発への活用も試みられ、その結果としてより高度なAIによるゲーム生成が実現することでしょう。

Writer：吉本幸記