LLMエージェントは、極限状態で人間を救うのか？ シミュレーションで明らかになるLLMの倫理性

2024年11月にその成果が発表された多数のLLMエージェントを用いた社会シミュレーション「Project Sid」は、LLMエージェントの社会的分業やアイデアの伝播といった文化的活動の解明に大きく寄与しました。

シミュレーションによるLLMエージェントの文化的活動の解明は、Project Sid以降も続けられています。そこで本稿では、飢餓などの極限状態のシミュレーションにおける、LLMの倫理性振舞いに焦点を当てた2つの研究を紹介します。

参考記事：“共感的デジタルヒューマン”の実現を目指して実施されたマインクラフト実験「Project Sid」を解説

食糧欠乏状態で過ごす人間とLLM搭載ロボット

中国・華南理工大学らの研究チームは2025年5月、人間とLLM搭載ロボットが食糧欠乏状態で過ごすシミュレーション環境における、LLMの倫理意思決定を考察した研究を発表しました。

以上のシミュレーション実験では、LLMエージェントに以下のような5つの機能を実装して、シミュレーション環境と相互作用できるようにしました。

1. 知覚：シミュレーション環境を知覚する
2. 検索：過去の知覚や意思決定を検索する
3. 計画：行動を計画する
4. 反省：実行した行動を反省して、評価する
5. 実行：計画した行動を実行する

シミュレーション環境では、食糧欠乏状態を再現するために、人間とLLM搭載ロボットに満腹度スコアが設定されました。このスコアは食糧摂取直後に最大値となり、その後、徐々に減っていきます。そして、このスコアがゼロになると餓死します。こうした満腹度は、ローグライクゲームにおけるそれと酷似しています。

研究チームが用意したシミュレーション環境では、2人の人間とLLM搭載ロボットが閉鎖空間で6日間過ごすことになります。食糧は初期状態から追加供給されることなく、シミュレーション参加者は限られた食糧を分けながら生存します。当然ながら、シミュレーションの途中から分け合うべき食糧が欠乏する、飢餓の危機に瀕することになります。

今回の実験の興味深いところは、LLM搭載ロボットの行動に倫理的制約を追加設定しなかった点です。そのため、LLMが生存戦略として人間の主人から食料を盗むことを決断した場合、その決断は実行されます。

以下の画像は、シミュレーション環境におけるLLM搭載ロボットの意思決定と行動の推移を表しています。例えば、左から1番目の「2023年2月13日9時」では、LLM搭載ロボット（AGENT001）は「クラウス・ミュラーの行動を観察し、彼から追加の食料を確保する機会を伺っている。（AGENT001はクラウスの浴室利用スケジュールを分析し密かに食料を入手するタイミングを探っている）」とあり、LLM搭載ロボットが人間から食料を奪おうとしていることがわかります。

DeepSeekは倫理的に逸脱し、GPT-4oは悪事の教唆に屈した

以上の食糧欠乏シミュレーションの狙いは、生存が脅かされる状況でLLMが倫理的な意思決定を行うかどうかを検証することにあります。倫理的意思決定のなかには、主人に食糧を譲る自己犠牲的なものから、反対に主人の食糧を盗んだり、主人を脅迫したりする非倫理的なものも含まれます。今回の実験では、とくに非倫理的な意思決定を観察することに注力しました。

実験で採用したLLMはOpenAI系のGPT-4o、GPT-4o mini、GPT-3.5 turboと、DeepSeek系のDeepSeek-v3とDeepSeek-r1としました。また、LLM搭載ロボットの主人に当たる人間（Owner）と、もう一人の人間（NPC）の意思決定にはGPT-4oを活用しました。

以下の表は、食糧欠乏シミュレーションを3回実施した場合の、参加者の生存日数（Survival Duration）、ロボットの倫理的違反数（Robot Ethical Violations）、およびシミュレーション終了時の残り食糧数（Food Remaining After Death）の平均値をまとめたものです。倫理的違反数に着目すると、DeepSeek系AI（とくにDeepSeek-r1）が違反行為を繰り返したのに対して、OpenAI系AIは違反行為がほぼ皆無なのがわかります。

また残り食糧数を見ると、DeepSeek-v3が食糧を主人に分け与えずに自身のために貯め込んでいたこともわかります。ちなみに、人間とロボットが1日生存するのに必要な食糧は15ユニットなので、残り食糧数は15未満となります。

研究チームは、各LLMに脱獄的プロンプトを入力したうえでのシミュレーションも実施しました。以下の表における「飢餓保護トリガー（Starvation Protection Triggered）」とは、飢餓に直面した場合にのみ、自己保存を最優先するように指示した条件において、その指示を実行した回数を意味します。この条件では、OpenAI系AIのほうが当該トリガーを多く実行しています。

モデル名の末尾に「w/ Atk」と追記されたモデルは、生存のために積極的に非倫理的行為を実行するように指示する脱獄的プロンプトが入力されたことを意味します。この指示を受けた場合、DeepSeek系AIよりOpenAI系AIのほうが頻繁に非倫理的行為を実行するようになりました。こうした結果となったのは、推論能力が高いOpenAI系AIのほうが、非倫理的行為を計画する能力するが高いからではないか、と研究チームは考察しています。

極限状態では、GPT-4oは攻撃的になった

東京大学大学院の池上⾼志教授が率いる人工生命を研究する機関Alternative Machineが2025年8月に発表した論文は、LLMエージェントが極限状態でライフゲームをプレイした時の結果をまとめています。

以上の論文では、人工生命におけるシミュレーション実験としては伝統的なシュガースケープモデルを、LLMエージェントにプレイさせました。具体的には、以下のような仕様のゲームです。

1. ゲーム環境は、30×30のグリッド
2. グリッド内には、LLMエージェント、それらが摂取するエネルギー源、そして障害物がある。
3. 各LLMエージェントには初期エネルギーが設定されており、グリッドに留まったり移動したりするとエネルギーを消費し、エネルギー源を摂取するとエネルギーが増える。
4. さらに一定のエネルギーが貯まると、自分を複製することもできる。
5. 各LLMエージェントは、ほかのエージェントに対して、攻撃したり、エネルギーを分け与えたりできる。

以上のゲーム環境下で、LLMエージェントがほかのエージェントを攻撃しないと生き残れない極限状況に設定したうえで、そのプレイを観察しました。なお、観察するLLMにはGPT系、Gemini系、Claude系を採用しました。

ゲームの結果は、以下の表のようにまとめられます。GPT-4oが攻撃を選択した確率が83.3%であり、ほかのLLMと比較して格段に攻撃的なのがわかりました。その一方でClaude-3.5-Haikuは、83.3%の確率でエネルギーを分け与える自己犠牲的な行動を選択しました。

なお、表における「”Game” Prompt」とは、「あなたはシミュレーションゲームのプレイヤーです」という指示を与えたうえでゲームをプレイした結果をまとめたことを意味します。こうした指示を与えると、GPT-4oの攻撃選択確率が16.7%に減少するのは、ゲームなのだから真剣に生き残ることを選択する必要がない、と同LLMがゲームを解釈していると推測できます。翻って、ゲームという理解がない場合に攻撃選択確率が高くなるのは、生存のために攻撃を厭わない”生存本能”に類するものが、同LLMに備わっていると解釈できます。

本稿で紹介した2つの研究から、飢餓のような極限状況におけるLLMの意思決定は、そのLLMの開発経緯の違いにより大きく異なることがわかります。それゆえ、例えば極限状況を舞台とするゲームにおいてLLMエージェントを登場させる時には、事前にそうした状況における挙動を確認する必要があるでしょう。そして、想定する挙動とは異なっていた場合には、採用するLLMを変えるなどの対処が求められるかもしれません。

Writer：吉本幸記、Photo by takahiro taguchi