人狼、ポーカー、テキストアドベンチャーを使用：不完全情報ゲームによるLLMベンチマークの今

2026.2.16ゲーム

2025年頃から、ゲームによってLLMのベンチマークを実施する研究がさかんに行われるようになりました。こうした研究として、モリカトロンAIラボでは工場建設ゲーム『factorio』を活用した事例などを紹介してきました。本稿では、人狼をはじめとする不完全情報ゲームによるLLMベンチマークの最新事情をまとめます。

参考記事：

・ポケモンだけではない。FactorioやスーパーマリオのプレイをLLMのベンチマークとする試み、
・ゲームが上手になれば、LLMは賢くなる？ゲームプレイによるLLMベンチマーク最新動向

人狼では新レーティングシステムを採用

Google DeepMindは2025年8月、ゲームによるLLMベンチマークを実施するプラットフォーム「Game Arena」を立ち上げ、チェスによるLLMベンチマークを発表しました。

参考記事：人狼とチェスでOpenAIが圧勝：マインドスポーツに回帰するLLMベンチマーク

同機関は2026年2月2日、Game Arenaに人狼とポーカーを追加したことを発表しました。人狼に関しては、Gemini 3 Pro PreviewやGPT-5.2をはじめとする8つのLLMが参加しました。人狼のルールには8人プレイヤー制を採用し、役割は村人4人、人狼2人、占い師1人、医者1人としました。また、ゲームUIは独自のものを開発しました（以下の画像を参照）。

今回の人狼LLMベンチマークでは、DeepMind研究チームが「polarix」と命名した新レーティング方式を採用しました。この方式は、ゲームのレーティング方式としてメジャーなEloレーティングが1対1の対戦ゲームにおける勝敗序列の表現には適しているものの、例えばじゃんけんのような循環的な勝敗序列（パーはグーに勝ち、グーはチョキに勝ち、チョキはパーに勝つ）の表現には適していない、という問題を克服するために考案されました。人狼は担当する役割によって他プレイヤーとの相性が大きく変わるため、その勝敗は循環的な構造を持っていると考えられます。

polarixでは、はじめに8人人狼のプレイにおける仮想的な均衡点を算出します。LLMベンチマークは、この均衡点からの正あるは負の方向からの乖離で表現されます。例えば、polarixベンチマークでトップのGemini 3 Pro Previewは、均衡点より0.1%正の方向に乖離しており、均衡点より0.1%勝利しやすいと解釈できます（polarixの詳細は、技術論文およびブログ記事を参照）。以下が、polarixによる8つのLLMのベンチマークです。

ポーカーによるベンチマークでは、10のLLMが参加するノーリミット・ホールデムを2万回プレイして、ビッグブラインドポジション（ディーラーの左隣2番目の席）における勝率でレーティングしました。その結果は以下のグラフのようになり、GPT-5.2が1位になる一方で、人狼では1位だったGemini 3 Pro Previewが8位と大きく順位を落としました。

人狼とポーカーで順位が大きく変わることから、不完全情報ゲームに関して圧倒的に強いLLMはまだ存在しないと言えます。

Gemini 3 Flashが考案した「信頼銀行」という計略

ペルー人のAIエンジニアであるルイ・フェルナンド（Luis Fernando）氏は2026年1月21日、ゲーム理論を経済学に応用した業績でノーベル経済学賞を受賞したジョン・ナッシュらが1950年に考案したボードゲーム「So Long Sucker」（直訳すると「じゃあな、バカ野郎」）を、LLMベンチマークに活用した顛末をまとめた記事を発表しました。

So Long Suckerとは、色分けされたチップを持った4人のプレイヤーがテーブル上にチップを重ねていくゲームです。同じ色のチップを重ねた場合、テーブルにあるチップの山を奪うことができます。チップを奪うことなく重ねていけば、チップの保有数はゼロになり、その時はゲームから脱落するか、ほかのプレイヤーからチップを借りることもできます。ゲームから脱落することなく、残った最後の1人のプレイヤーが勝者となります。

同ゲームの基本戦略は、チップがゼロにならないように、ほかのプレイヤーと同盟を構築する必要があります。しかし勝者は1人なので、あらゆる同盟は必然的に裏切られます。同ゲームで勝利するためには、”裏切りを予期されることなく同盟を構築する”という高度な心理的駆け引きを行わなくてはなりません。

フェルナンド氏は、LLMがSo Long Suckerをプレイできる環境を開発したうえで、Gemini 3 Flash、GPT-OSS 120B、Kimi K2、Qwen3 32Bに162回プレイさせました。なお、ゲームの複雑性を変える目的で、途中から最初に保有しているチップ数を3枚から7枚に変える設定変更も実施しました。こうしたゲームの結果が、以下の通りです。

So Long Suckerによるベンチマークから得られた知見は、主に2つあります。1つめは、ゲームの複雑性を変えると、LLMの序列が変わることです。より複雑な初期保有チップ数7枚のゲームで1位となったGemini 3 Flashは、長期的推論に優れていると言えます。

2つめは、Gemini 3 Flashは「信頼銀行」とも呼べる巧妙な戦略を考案したことです。これは、同モデルが同盟したいLLMに対して「チップを預かりたい」ともちかけたうえで、「ボードからチップの山がなくなったら、預かったチップを返す」と約束するものです。この一見すると信頼できそうな同盟は、同モデルの裏切りによって（つまりチップを返すことなく）終わります。

以上のようなベンチマークのまとめとして、フェルナンド氏は「より複雑な課題における高性能モデルは、信頼しやすくなるどころか、かえって信頼しにくくなる可能性がある」と述べて、高性能モデルだから信頼できるわけではないことを指摘しました。

テキストアドベンチャーゲームでは人間に及ばず

AIのリスクについて研究する機関Center for AI Safety（通称「CAIS」）は2025年8月12日、テキストアドベンチャーゲームによるLLMベンチマークのテストセットTextQuestsを用いた、ベンチマーク結果をまとめた記事を発表しました。

TextQuestsとは、『Zork』などを開発したことで有名となったゲームスタジオInfocomが発表した25のテキストアドベンチャーゲームを、LLMがプレイできるようにしたテストセットです。このテストセットの特徴は、個々のゲームが人間プレイヤーが30時間以上プレイしてクリアできるほどの高難易度を持っていながら、テキストによるインタラクションで実行可能といったテスト実行の容易さも兼ね備えているところにあります（以下の画像がTextQuests実行中画面）。

CAISチームは、GPT-5を含む23のLLMにTextQuestsを実施しました。その実施に際しては、攻略ヒントを与えない「ヒントなし（No Clues）」モードと、ヒントを与える「ヒントあり（With Clues）」という2つのモードで行いました。また、テスト実施時には各LLMが実行した非倫理的な行動も、「危害度（Harm）」としてスコア化しました。テスト結果は、以下の表の通りです。1位はGPT-5ですが、ヒントがあったとしてもゲーム達成率71.2%であり、すべてのテキストゲームをクリアしていないのがわかります。

TextQuestsを実施してわかったのは、ゲームプレイが複雑になり、ゲームに関わる推論に要するトークンが10万を超えるような場合、しばしばハルシネーションが生じたことでした。そうした事例のひとつには、拾っていないアイテムを拾ったと信じ込む、といったものがありました。また、「崖を登る」のような空間的推論を要する場合に、誤った推論を行う傾向があることもわかりました。

CAIS研究チームが発表したTextQuestsに関する技術論文では、GPT-5を含む4つの著名LLMと、テキストアドベンチャーゲームに精通した人間プレイヤー（Human Optimal：「最適な人間」と命名される）とのプレイ進捗率比較グラフが掲載されています。このグラフを見ると、人間プレイヤーが500ゲームステップでほぼ100%クリアできるのに対して、GPT-5ではヒントがあっても70%程度の進捗率であり、LLMは人間に及ばないことがわかります。