ポケモンだけではない。FactorioやスーパーマリオのプレイをLLMのベンチマークとする試み

2025.3.26ゲーム

昨今のLLMは急速に進化している一方で、その性能を測定するベンチマークが進化に追いついていないという問題を抱えています。こうしたなか、チェスや囲碁のような古典的なボードゲームではなく、これらよりさらに複雑なゲームのプレイをLLMのベンチマークとして採用する試みが多数報告されています。本稿では、ゲームプレイによるLLMベンチマークの最新事例を紹介します。

Factorioを使って2種類のテストを実施

対話型生成AIのClaudeシリーズを開発するAnthropicは、2025年2月25日に発表したClaude 3.7 Sonnetの性能を証明する一環として、同AIがゲームボーイ用ソフト『ポケットモンスター赤』をプレイする様子をゲーム実況サイトTwitchで配信しています。

2025年3月6日には、Anthropicの研究チームはClaude 3.5 Sonnetをふくむ6つのLLMに工場建設ゲーム『Factorio』をプレイさせて、その結果をベンチマークとしてまとめた論文を発表しました。この試みについては、プロジェクトページも公開されています。

Anthropic研究チームは、LLMにFactorioをプレイさせるためにFactorio Learning Environment（FLE：Factorio学習環境）と命名したゲームプレイ環境を構築しました。この環境は、FactorioとLLMが相互作用できる仕組みとしてPython APIを開発したうえで、LLMがそれらのAPIを使って同ゲームをプレイするプログラムを生成するというものです。それゆえ、FLEは高度なタスクの実行が課せられた一種のコード生成環境とも言えます。

FLEを活用したベンチマークとして、LLMに課されたタスクは以下のような2種類でした。

オープンプレイ：「可能な限り大きな工場を建設せよ」という指示を与えたうえで、5,000ゲームステップ経過後における指示の達成度を比較する。達成度の比較には、評価時までに生産されたアイテムから計算される生産スコアと、新しいアイテムが生産可能となる度に更新されるマイルストーンを用いる。こうしたプレイを10回行い、各プレイから得られた生産スコアとマイルストーンの中央値を最終的なスコアとする。
ラボプレイ：プレイ開始時に資源を提供したうえで、制限時間内に難易度の異なる24のタスクを実行する。実行するタスクには2台の機械で実行可能な「鉄鉱石の製造」から、100台近い機械を要する「ユーティリティ・サイエンス・パックの製造」まであり、ゲーム序盤から終盤までに登場するアイテムを網羅している。

以上のようなゲームプレイを行うLLMは、Claude 3.5-Sonnet、GPT-4o、Deepseek-v3、Gemini-2-Flash、Llama-3.3-70B、GPT-4o-Miniの6種類としました。

Factorioプレイから得られた6つの知見

前述のオープンプレイの結果を図示したものが、以下のグラフです。横軸がゲームステップ、縦軸が生産スコアの対数尺度表示、グラフの線上に置かれたアイテムのアイコンは、置かれたゲームステップ時点で達成したマイルストーンを表しています。

オープンプレイではClaude 3.5-Sonnetがもっとも優れており、GPT-4o-Miniが最下位でした。注目すべきは、前者ではマイルストーンを達成後に急速に生産スコアが増えることが確認された一方で、後者は多くのマイルストーンを達成できないために、生産スコアが伸び悩んでいることです。

ラボプレイの結果をまとめたのが、以下のグラフ群です。上のグラフは、横軸がタスクに必要な資源の種類、縦軸が達成率です。3種類の資源が必要になるとタスクを達成できないLLMが観察されるようになり、5種類になった時点ですべてのLLMがタスクを達成できなくなりました。

画像下部の3つのグラフは、鉄製歯車、プラスチック棒、自動サイエンスパックに関する各LLMのタスク達成率の推移です。どのアイテムに関しても、ゲーム序盤に急速な進捗を実現後、後退や停滞を繰り返しています。このような推移をたどるのは、新しいタスクを達成しようとする時に、しばしば既存の工場施設を破壊してしまうからです。

ラボプレイの最終結果は、Claude 3.5-Sonnetが1位でタスク達成率21.9%、最下位がGPT-4o-Miniの4.2%でした。そのほかのLLMのタスク達成率は、以下のグラフの通りです（グラフはリーダーボードより引用）。なお、Anthropic研究チームの人間メンバーは、ラボプレイのタスクをすべて達成できます。ラボプレイの結果にもとづけば、LLMは人間より大きく劣るのです。

今回のFLEベンチマーク結果をうけて、Anthropic研究チームは、以下のような6つの考察を導きました。

LLMのコーディング能力が、FLEベンチマーク結果を大きく左右する。
長期的な成長には、継続的な技術への投資が重要。
オープンプレイでは、長期的な計画が不可欠。
テストしたすべてのLLMは、効率よく工場を設置するのを苦手としていた。この結果から、現状のLLMは空間推論に限界があると考えられる。
テストしたすべてのLLMは同じ失敗を繰り返す傾向にあり、「失敗から学ぶ」のを苦手としていた。
LLMごとに異なるプログラミングが観察された。例えば、Claude 3.5-SonnetはPrintを多用するREPL（Read-Eval-Print Loop）スタイルだったのに対して、GPT-4oはあまりPrintを使わなかった。

LLMの進化は目覚ましいものも、以上のようにFactorioのプレイに苦戦することから、LLMにはまだ進化する余地があると言えるでしょう。

LLMにはゲームプレイの向き不向きがある

ゲームプレイをLLMのベンチマークに用いる試みは、Anthropicに限りません。カリフォルニア大学サンディエゴ校で活動するAI研究機関Hao AI Labは2025年3月20日、多数のLLMにスーパーマリオブラザーズをはじめとした4つのレトロゲームをプレイさせた結果をまとめたブログ記事を公開しました。

Claude-3.7 was tested on Pokémon Red, but what about more real-time games like Super Mario 🍄🌟?

We threw AI gaming agents into LIVE Super Mario games and found Claude-3.7 outperformed other models with simple heuristics. 🤯

Claude-3.5 is also strong, but less capable of… pic.twitter.com/bqZVblwqX3
— Hao AI Lab (@haoailab) February 28, 2025

Hao AI Labは、LLMがAPIを介してレトロゲームをプレイできる環境GamingAgentを構築したうえで、OpenAI o1をはじめとした多数の有力LLMにスーパーマリオブラザーズ、倉庫番、2048（数字の合計が2048になるようにするパズルゲーム）、テトリス、Candy Crush（3マッチパズルの1種）の5つのゲームをプレイさせました。こうした試みから得られた知見は、以下のような4項目にまとめられます。

倉庫番やCandy Crushのような長期的計画を要するゲームでは、OpenAI o1、OpenAI o3-miniのような推論に強いLLMが好成績をおさめた。
推論に強いLLMであっても、倉庫番やテトリスのような意思決定空間（可能な選択肢から構成されるゲーム展開の集合体）が大きなゲームでは苦戦し、人間レベルには達していない。
Gemini 2.0 FlashとClaude 3.7は視覚知覚に優れているが、追跡対象が増えると性能が低下。
リアルタイムなゲームプレイが重視されるスーパーマリオブラザーズやテトリスのプレイに関しては、Claude 3.7/3.5、Gemini 2.0 Flashのような推論と視覚認識のバランスに優れたLLMが優れた成績をおさめる。

以上の考察をまとめると、推論が重視されるパズルゲームのプレイには推論に優れたLLMが向いており、視覚的情報の瞬間的処理を要するアクション要素があるゲームのプレイには視覚認識に優れたLLMが向いている、と言えるかもしれません。そして、現状では推論系ゲームとアクション系ゲームの両方で好成績をおさめるLLMは存在しない、ということにも留意すべきでしょう。

本稿ではゲームプレイをLLMのベンチマークに活用した2つの研究を紹介しましたが、これらに共通するのは、ゲームプレイという観点から見れば、LLMはまだ人間に遠く及ばないことを明らかにしたことでしょう。それゆえ、ゲームプレイをLLMのベンチマークにする試みは今後も続くのではないでしょうか。

Writer：吉本幸記