その活用カテゴリーは8種類：LLMとゲームの関係を網羅的に考察

2024.5.23ゲーム

GPT-4をはじめとするLLM（Large Language Model：大規模言語モデル）はNPCをはじめとしてゲームに応用されているのは周知の事実であり、モリカトロンAIラボでもさまざまな事例を紹介してきました。こうしたなか2024年2月28日、マルタ大学らの研究チームがLLMとゲームの関係を網羅的に調査した論文を発表しました。本稿では、この論文を解説することでゲームにおけるLLMの現状と展望を明らかにします。

Large Language Models and Games: A Survey and Roadmap

LLMはゲームのプレイと開発の両方で応用可能

上記論文では、現在確認あるいは想定されるゲームにおけるLLMの応用として以下のような8種類を挙げています。

1）ゲームプレイヤー：LLMを活用してゲームをプレイするエージェントを開発する応用。この応用はさらに次のような3種類に細分化される。（a）ゲームの状態をテキストシーケンスに変換してプレイする。（b）自然言語の入出力で構成されているゲームをプレイする。（c）APIを介してLLMの処理とゲームプレイをつなぐ。（c）の事例には、MinecraftをプレイするVoyagerがある。

参考記事：大規模言語モデル駆動型ゲームプレイAIが登場

2）NPC：NPCの会話能力にLLMを活用する応用。こうした応用は、LLMの台頭初期から試みられている。この応用において懸念されるのは、ゲームにおける事実とは齟齬が生じるハルシネーションの発生である。

参考記事：大規模言語モデルがNPCやゲームマスターを演じる最新事例を紹介

3）プレイヤーアシスタント：ゲームプレイを支援するエージェントにLLMを実装して会話できるようにする応用。現時点ではほとんど事例がないが、将来的に有望な応用である。

4）コメンテーター：ゲームプレイをLLM駆動型エージェントによって自動的に実況する応用。こちらも現状ではほとんど事例がないが、応用範囲は多岐に及ぶと考えられる。

5）ゲームマスター：TRPGにおけるゲームマスターの役割をLLMエージェントが担う応用。この応用には多数の事例があるので、問題点も明らかになっている。具体的には、ハルシネーションによってゲームの世界観にそぐわない発言をしてしまうことがある。反対にゲームのルールには定められていないにもかからず、モンスターを精彩に描写するような言わば「ポジティブなハルシネーション」も確認されている。

6）ゲームメカニック：ゲームを進行する機構にLLMを採用する応用。この応用における有名な事例は、元素を組み合わせて新元素を生成するInfinite Craftである。同ゲームの新元素名の生成には、Llama 2が活用されている。MinecraftのNPCを制御するMindAgentもこの応用カテゴリーに該当するだろう。

参考記事：LLM統合型ゲームエンジンとしてのMindAgentの可能性

7）オートメーションデザイナー：ゲーム開発におけるプロシージャルコンテンツ生成にLLMを活用する応用。この応用に関する研究として、ファインチューニングしたGPT-2によってスーパーマリオブラザーズのステージを生成するMarioGPTがある。

8）デザインアシスタント：ゲーム開発者を支援するツールとしてLLMを活用する応用。テキスト入力から画像や楽曲を生成できるマルチモーダルLLMが台頭したことで、さまざまな初期的事例が存在する。こうした事例は、生成AI時代におけるゲームエンジンとして発展するだろう。

参考記事：生成AI時代に対応したAIネイティブゲームエンジンの最前線

“AIコメンテーター”など未開拓な応用が存在

以上の8種類の応用をふまえたうえで、ゲームにおけるLLMの活用に関して以下のような4つの方向性が有望と考えられます。

デザインアシスタントとしてゲーム開発でLLMを活用するのは、今後大きな発展が期待される。将来的にはゲーム開発者は、ゲームエンジンと対話しながらゲームを開発できるようになるだろう。この応用において注目すべき技術は、画像に関する編集指示を入力すると、その指示にしたがって画像を編集するInstructPix2Pixである。ゲーム開発者とLLM駆動型ゲームエンジンの会話は、直感的であるのが望ましい。
プレイヤーアシスタントとしてのLLMの応用は、今後研究され実用化されるべきである。期待される応用として、ゲームマスターを支援するLLMエージェントが考えられる。GMがゲームのルールを参照したい時、エージェントが答えてくれるという活用シーンがあり得る。ストラテジーゲームにおいて「資源を節約しながら人口を増やして」のような指示を入力したうえで、街の管理を任せるようなプレイヤーを支援する事例も有望だろう。
コメンテーターとしてのLLMエージェントはあまり注目されていないものも、非常に有望である。期待される応用事例には、例えばLLMエージェントがゲームストリーマーのプレイを自動で実況することが挙げられる。ゲームストリーマーが視聴者とチャットする場合に、多数の視聴者のコメントを要約する事例も想定できる。
前出の8種類の応用にはないが期待される応用として、プレイヤーがゲームに対して抱く感情の観察と管理がある。例えばプレイヤーとNPCのあいだにおける自由形式の会話に使われる単語や表現から、プレイヤーがゲームを魅力的に感じているかどうかを判断する。このような判断をゲームの進行に沿って行えば、プレイヤーがゲームに抱く感情の推移が把握できる。この応用は現在のLLM技術では実現困難ではあるが、今後の研究によって実現の糸口がつかめるだろう。

技術的限界や倫理的課題が山積

以上のようにLLMのゲームへの応用には大きな可能性がある一方で、克服すべき技術的限界として以下のような5項目があります。

ハルシネーション：LLMの応用全般が抱えている問題。ゲームの場合では、プレイヤーにもっともらしいが誤った情報を提供してしまうことがある。
意図の誤解：LLMは、まだ完全に人間レベルの言語理解を実現していない。LLMの弱点として、皮肉を理解できないことがある。
記憶の制約：LLMには1度に処理できる情報量として、コンテキストウィンドウが設定されている。最近のLLMは100万あるいは200万と大きなコンテキストウィンドウが設定されているが、プレイヤーのゲームプレイ全体を記憶したうえで処理するには小さい値である。この問題は、RAGの活用によって解決できると考えられる。
過度の誠実：TRPGにおいて人間がゲームマスターを担当する場合、ゲームから逸脱しようと行動する悪意あるプレイヤーに対して、何らかの対抗処置が講じられる。対してLLMエージェントがゲームマスターの場合、悪意ある行動にも誠実に対応してしまう可能性がある。
処理時間：現状のLLMは、回答を生成するのに長い時では1分程度の時間を要する。こうした処理時間では、リアルタイム性が重視されるゲームにおける活用は困難である。

技術的限界のほかに以下のような4つの倫理的課題もあります。

二酸化炭素の排出：LLMはその開発と運用において大量の電力を消費する。それゆえ、大量の二酸化炭素排出の原因となっている。こうしたLLMを例えばMMORPGに実装した場合、大きな環境負荷が生じてしまう。持続的成長の観点からは、こうしたLLM活用は推奨しがたいだろう。
生成物の著作権：ゲームエンジンにマルチモーダルLLMを活用する場合、生成物が既存著作物の権利を侵害するリスクがある。この問題に関しては法整備と並行して、安全な学習データで訓練されたクリーンなLLMの開発と普及が期待される。
説明可能性：LLMの出力が生成されるプロセスは、人間には容易に理解できない。一方でゲーム開発においては、出力がどのような過程を経て生成されたかを知ることが重要な場合がある。それゆえ、ゲーム開発におけるLLM活用では、出力の説明可能性が確保されるのが望ましい。
バイアス：LLMが抱える倫理的問題として、人種や職業に関する偏見を含んだ出力を生成してしまうことが知られている。LLMがNPCやコメンテーターとして活用される場合、こうしたバイアスはゲームに悪影響を及ぼす。

以上のように技術的限界や倫理的課題があるものも、ゲームにおけるLLMの活用は今後も進むと予想されます。そして、LLMは依然として速いペースで進化しているので、活用方法自体も変わっていくかもしれません。例えば、最近発表されたOpenAIのGPT-4oやGoogleのProject Astraは、動画をリアルタイムに認識して返答を生成できます。こうした最先端LLMには、ゲームプレイ画面を認識しながらアドバイスを生成するような未知の可能性があることでしょう。

Writer：吉本幸記