LLM統合型ゲームエンジンとしてのMindAgentの可能性

2023.10.20ゲーム

2023年9月19日、Microsoft Researchをはじめとする合同研究チームは大規模言語モデル（Large Language Model、以下「LLM」と略記）を組み込んだNPC制御インフラストラクチャ「MindAgent」を発表しました。モリカトロンAIラボではLLMで駆動するゲームプレイAIを紹介してきましたが、このインフラストラクチャは複数NPCの同時制御に対応した「LLM統合型ゲームエンジン」のプロトタイプとでも呼べるものとなっています。本稿では同インフラストラクチャを解説したうえで、ゲームエンジンとしての可能性を考察します。

参考記事：大規模言語モデル駆動型ゲームプレイAIが登場

料理ゲームで概念実証

MindAgentは、LLMの能力のひとつであるプランニング能力をNPCの制御に応用しています。この能力は例えば「事業計画を作成するための手順をまとめて」と入力すると、事業計画を作成するために遂行すべきタスクが箇条書きで出力されるというものです。この量力を使えば、LLMにゲームで実行するべきタスクを入力すると、そのタスクを達成するためのサブタスクが出力されるというわけです。

MindAgentは、プランニング能力をゲームに応用するために以下のようなコンポーネントから構成されています。

LLM：ゲームステージとNPCの状態、そして遂行すべきタスクを入力として受け取り、NPCの動作をテキスト形式で出力する。デフォルトのLLMとしてGPT-4を採用。「プロンプト」サブコンポーネントでは、ゲームのルールやゲームプレイに関するヒントをプロンプトとしてLLMに与えている。
アクション：LLMが出力したNPCへの指示を、ゲームで実行できるように変換する。変換時には、ゲームプレイに関係ないテキスト情報を除外する。
ステート：ゲームの状態をテキスト形式でまとめてLLMに渡す。
メモリー：ゲームとNPCの状態、NPCが実行したアクション等が記録される。

研究チームは、MindAgentの実証テストを実行するためにゲーム『オーバークック』にインスパイアされた「CuisineWorld」を開発しました。このゲームは、人間プレイヤーとMindagentが制御する複数のNPCが協力して注文された料理を完成させるというものです。実証テストにおいてNPCが実行すべきタスクは例えば「オムレツを作る」といったものであり、このタスクを遂行するためには「卵を用意する」「卵をフライパンで加熱する」といったサブタスクを実行する必要があります。

以上の実証テストを評価する指標として、コラボレーションスコアを考案しました。このスコアは、料理を試みたアクション数に対する完成した料理数の割合を意味します。何の失敗もなく料理を完成させた場合はこの評価値は1であり、反対にすべて失敗した場合は0となります。また、ゲームステージは難易度の異なる12ステージを用意し、ステージ1がもっとも簡単でステージ12が最高難度としました。プレイヤーは1人の人間プレイヤーと1～3人のNPCから構成されるようにしました。

Minecraftにも応用可能

前述した実証テストの結果は、ゲームステージごとにまとめた以下の12のグラフ群のようになります。各グラフの縦軸は調理成功率（つまりはコラボレーションスコア）を表し、横軸はゲームプレイにおける制限時間を意味しています。横軸が右になるほど、制限時間が長いことを示しています。各グラフにおける3本の折れ線は、NPCの人数（1～3人）に対応しています。こうしたグラフから読み取れるのは、ステージの難易度が異なっていても、おおむねNPCが多いほどコラボレーションスコアが高い、ということです。

MindAgentの創発性を調査するテストも実施されました。具体的には、NPC数を2人に固定したうえでLLMコンポーネントに設定するゲームに関する情報を変えてコラボレーションスコアを比較しました。その結果、不完全なゲームプレイ事例しか与えなかったり、ゲームプレイに関するヒント（inference knowledge）を与えないようにしても、コラボレーションスコアはあまり減りませんでした（以下の表の「CoS」の値を参照）。この結果は、ゲームに関する情報をあまり与えなくても、MindAgentはある程度は自力で効率的なゲームプレイが発見できることを意味します。その一方で、環境からのフィードバック機能を無効にすると、著しくコラボレーションスコアが減少しました。このようになったのは、フィードバック機能がないと失敗したプレイを改善できないためと考えられます。

MindAgentに実装されたLLMを換装して、LLMの違いによるコラボレーションスコアの変化も調べました。デフォルト設定のGPT-4に加えて、Anthropicが開発するClaude-2、Metaが開発したLLaMa、そしてChatGPTでテストプレイを実施したところ、GPT-4以外ではClaude-2のみが調理に成功しましたが、GPT-4のスコアには遠く及びませんでした（以下の表の「CoS」の値を参照）。この結果は、MindAgentの性能は実装するLLMに大きく左右されることを示唆しています。

研究チームは、MindAgentの汎用性を実証するためにCuisineWorldのゲームシステムをMinecraftに移植することも試みました。つまり、Minecraftのゲームフィールド内で同ゲームのNPCと協力して人間プレイヤーが料理できるようにしたのです。この移植は成功して、最終的に人間プレイヤーがボイスチャットでNPCに指示できるようになりました。さらにはVRモードへの移植も実現して、より没入感のあるプレイが可能となりました。

以上の実証テストから、MindAgentは人間プレイヤーと効果的に協力できるようにNPCを制御でき、ゲームに関する情報が少なくてもある程度のクリエイティブなプレイが可能である、と言えます。さらにはさまざまな世界観のゲーム開発にも対応できるポテンシャルを秘めているので、まさに「LLM統合型ゲームエンジン」のプロトタイプと見なせるでしょう。

ハイブリッドアーキテクチャとしてのMindAgent

以上に解説したMindAgentのポテンシャルを考察するうえで有益な知見として、CEDEC 2023において立教大学大学院人工知能科学研究科の三宅陽一郎特任教授が発表したハイブリッドアーキテクチャがあります。

参考記事：【CEDEC2023】ゲーム業界の次の15年を見すえたハイブリッドアーキテクチャの紹介

三宅特任教授によると、AI技術史にはIBMのワトソンに代表されるようなルールやソースコードで明示的にAIの動作を決定する記号主義と、ディープラーニングに代表されるような人間の脳神経細胞の挙動を模したコネクショニズムという二大潮流があります。ゲーム開発においては拡張性やカスタマイズ性に優れた記号主義的技術が主流でしたが、コネクショニズム的技術も採用することによってNPCのさらなる多様性の実現が期待できます。こうした記号主義とコネクショニズムの両方を統合したゲーム開発アーキテクチャを、同特任教授はハイブリッドアーキテクチャと命名しました。そして、CEDEC 2023の発表ではこのアーキテクチャの一事例として「ディープニューラルネットワーク付きステートマシン」が解説されました。

MindAgentは、ハイブリッドアーキテクチャの一事例と解釈できる特徴を有しています。このインフラストラクチャに実装されたLLMは文字通りコネクショニズム的技術であり、前述の実証テストで示された通り、多様なNPCの動作を出力できます。そして、LLMにゲームプレイに関する情報を提供する「プロンプト」サブコンポーネントは、テキストプロンプトという明示的に定義可能な形式で記述されるので記号主義的だと言えます。そして、プロンプトでLLMにおおまかに指示を出して、LLMが詳細な動作を決定するという構成は、まさにハイブリッドアーキテクチャの特徴に当てはまります。

もっとも、MindAgentはLLMを実装しているがゆえの弱点があります。バイアスやハルシネーションのような既知の弱点に加えて、ゲームとは関係のない入力に対するリスクが指摘できます。例えばファンタジー的な世界観のゲームをプレイしている時に、人間プレイヤーが（おそらくは故意に）日本の政治についてNPCに質問した場合、この質問に誠実に答えてしまってはゲームの世界観が崩壊してしまいます。MindAgentが実用的なゲームエンジンとして進化するためには、こうしたゲームの文脈外の質問を適切に処理できるようになる必要があるでしょう。

現状ではプロトタイプの域を超えないものも、MindAgentはLLM統合型ゲームエンジンという新たなゲーム開発技術の可能性を示しています。このインフラストラクチャは三宅特任教授が提唱するハイブリッドアーキテクチャの一事例とも見なせるので、今後さらに進化すれば、ゲーム業界に大きな影響を与える技術となるかも知れません。

Writer：吉本幸記