ゲームが上手になれば、LLMは賢くなる？ゲームプレイによるLLMベンチマーク最新動向

LLMの性能を評価するベンチマークがその進化に追いついていない昨今、ゲームプレイをベンチマークとして採用する試みが活発となっています。というのも、知識問題を中心に作成された既存ベンチマークに比べて、ゲームプレイは知覚と知識を高度に統合する必要があるうえに、創意工夫の余地が大いにあるからです。本稿は、以上のようなゲームプレイをLLMのベンチマークに活用した最新事例を2つ紹介します。

OpenAI o3は知略で勝利し、Cluade Opus 4は和平に固執した

AI専門メディアでAI訓練サービスも提供しているアメリカのスタートアップEveryは2025年6月5日、各種LLMのベンチマークとしてボードゲーム『ディプロマシー』を活用した顛末を解説した記事を公開しました。

『ディプロマシー（Diplomacy）』とは、英単語で「外交」を意味する単語をそのままゲーム名にしているように、外交をゲームに落とし込んだものです。具体的には、第一次世界大戦前のヨーロッパをゲームの舞台として、プレイヤーどうしの外交的駆け引きを通じて、ヨーロッパの制覇を目指します。MetaやDeepMindは生成AI台頭の2022年末に、同ゲームを攻略するAIを発表していました。

参考記事：MetaとDeepMindが相次いで発表。外交ゲーム『ディプロマシー』ゲームプレイAIの最前線とは？

EveryはディプロマシーをLLMベンチマーク用に改造した「AIディプロマシー」を開発したうえで、OpenAI o3をはじめとする18のLLMにゲームをプレイさせました。その結果は、以下の画像のようなランキングとなりました。ランキングは、左列のいちばん上の「ChatGPT o3（OpenAI o3を意味する）」が1位であり、同列の下に向かってランキングが続き、右の列のいちばん上の「DeepSeek V3」が10位となりました（こちらのTwitchページからゲーム収録動画を視聴可能）。

以上のベンチマークを実施した結果、各LLMのプレイスタイルも明らかになりました。上位を独占したOpenAI開発LLMのうち、1位となったOpenAI o3は策略に長けており、何度も鮮やかな裏切りを敢行することで、ゲームに勝利しました。OpenAI開発LLMに次ぐ勢力となっているClaudeシリーズのうち、Claude Opus 4はしばしば和平に固執して、ゲームの勝利から遠ざかるようなプレイを実行しました。

2025年になって注目されるようになった中国産オープンソースモデルDeepSeekシリーズも健闘し、鮮やかな外交レトリックを駆使していました。同じくオープンソースモデルのLlama 4 Maverickも、そのモデルサイズ（170億パラメータ）の割には、効果的な裏切りを成功させていました。

以上の記事の最後には、今後のゲームによるLLMベンチマークの展望が書かれています。LLMベンチマークに採用するゲームの新たな候補には、MMORPGが挙げられます。このようなゲームをLLMにプレイさせれば、より鮮やかにLLMごとの性格が明らかになるでしょう。また、今回活用したAIディプロマシーを人間もプレイできるように拡張すれば、人間とLLMが参加するトーナメントも開催できるようになるでしょう。

汎用的なLLMゲームベンチマーク環境を構築

2025年3月、モリカトロンAIラボでカリフォルニア大学サンディエゴ校で活動するAI研究機関Hao AI Labが発表した、スーパーマリオブラザーズをはじめとする4つのレトロゲームをLLMベンチマークとして活用した研究を紹介しました。同機関は同年6月、汎用的なLLMゲームベンチマーク環境「lmgame-Bench」と、この環境を使って6つのゲームをLLMベンチマークとして活用した顛末をまとめた記事と論文を公開しました。

参考記事：ポケモンだけではない。FactorioやスーパーマリオのプレイをLLMのベンチマークとする試み

Hao AI Labによると、近年、AnthropicやGoogleのようなLLM開発企業が実施した、『ポケットモンスター 赤』をLLMベンチマークとして活用する事例には不備があります。これらの事例では、本来はゲームをプレイするように設計されていないLLMがゲームをプレイできるように、ゲーム画面の視覚的情報などをLLMが処理できるように変換する「ハーネス（harness：「馬具」を意味する英単語。転じて「補助具」）」が使われていました。

以上のようなハーネスは、ゲームベンチマークを実施するLLM開発企業ごとに独自なものが開発されていました。その結果、『ポケットモンスター 赤』をLLMベンチマークに採用しても、企業ごとに異なったハーネスを用いて性能評価することになります。それゆえ、従来のLLMゲームベンチマークは、ハーネスの性能が混入した性能評価となってしまいます。

ハーネスに影響されることなく、純粋にゲームによるLLMベンチマークを実施するために、Hao AI Labが開発したベンチマーク環境が「lmgame-Bench」です。この環境は、あらゆるゲームの情報を以下のような3つのモジュールを用いて、LLMが処理可能な統一的な情報に変換します。

1. 知覚モジュール：ゲーム画面の視覚的情報をLLMが処理できるように変換する。
2. 記憶モジュール：ゲームの状態をメモリに保存して、プレイ選択時に活用する情報に変換する。
3. 推論モジュール：知覚モジュールと記憶モジュールからの情報を統合したうえで、最適なプレイを推論する。

以上のようなlmgame-Benchを活用すれば、さまざまなジャンルのゲームを独自なハーネスを開発することなくLLMベンチマークとして採用できます。

ゲームスコアと既存ベンチマークの相関を解明

Hao AI Labは、lmgame-Benchを用いてスーパーマリオブラザーズやテトリス、さらには逆転裁判のようなさまざまなジャンルの6つのゲームを用いて、14のLLMについてベンチマークを実施しました。その結果は、以下の表のようにOpenAI開発の推論モデルOpenAI o3とo1が1位と2位となり、次いでGemini 2.5-proが3位となりました（詳細はリーダーボード参照）。

また、スコアをゲームごとにまとめた以下のグラフを見ると、上位3位までのLLMが突出してハイスコアを達成していることもわかります。

Hao AI Labは、lmgame-Benchによって得られた各ゲームのスコアと、MMLU-Proをはじめとする知識問題や推論問題から構成された既存ベンチマークから得られたスコアの相関も算出しました。その結果が、以下のグラフとなります。赤色が濃いほど正の相関が強く、青色ほど負の相関が強くなります。

以上の相関調査から、ゲームスコアと既存ベンチマークのあいだにある以下のような関係が判明しました。

1. テトリスと2048のゲームスコアが高いLLMは、パターン認識タスクに関係するEnigmaEvalやNYT-connectionsのスコアも高い。
2. キャンディークラッシュのゲームスコアが高いと、コーディング能力も高い。
3. 逆転裁判のゲームスコアが高いと、物語理解能力に関係するLiveBench-Languageのスコアが高い。
4. スーパーマリオブラザーズのゲームスコアは、既存のベンチマークとの関連性が認められない。つまり、同ゲームに熟達する能力は、既存ベンチマークでは測定できない。

さらにHao AI Labは、Alibaba Cloudが開発したオープンソースのLLMであるQwen2.5-7B-Instructに関して、簡易的な倉庫番とテトリスでハイスコアが達成できるように強化学習を実施しました。そのうえで、こうした学習によって何らかのLLMの性能が向上しているかどうかを調査しました。その結果は、以下のように箇条書きにできます。

1. 倉庫番を用いた強化学習によって、空間推論に関するスコアが上昇した。
2. テトリスを用いた強化学習によって、プランニング（行動を計画する能力）に関するスコアが上昇した。
3. 倉庫番やテトリスを用いた強化学習を実施しても、数学やコーディングに関するスコアは上昇しない。
4. 倉庫番やテトリスを用いた強化学習を実施すると、LLMがオンラインショッピングを実行できる能力を測定するベンチマークWebShopが大幅に上昇した。

以上の結果から、何らかのゲームを用いてLLMを強化学習すると、特定のLLMの性能が向上することがわかります。この結果は、「ゲームが上手になれば、LLMは賢くなる」と言い換えることができます。

本稿で紹介した2つのLLMゲームベンチマークから、ゲームプレイによるベンチマークによって、LLMの性格といった従来のベンチマークでは測定しにくかった観点が明らかになることや、ゲームプレイ能力と従来ベンチマークにはある程度の相関があることがわかります。さらにはゲームによる強化学習によって、LLMの何らかの性能が向上することも判明しました。

このようにLLMゲームベンチマークには従来ベンチマークにはない特徴があるので、今後もこうした試みが実施されることでしょう。また近い将来、LLM性能向上のためにゲームを用いた強化学習を行ったり、そうした強化学習に最適化された”LLM強化学習用ゲーム”が開発されるようになるかもしれません。

Writer：吉本幸記