【JSAI2024】LLM活用によって新次元に突入した人狼知能研究の可能性と限界

2024年5月28日から31日、2024年度人工知能学会全国大会（第38回）が静岡県浜松市のアクトシティ浜松にてオンラインとのハイブリッドで開催されました。5月30日には企画セッション「人狼知能コンテスト2024国内大会自然言語部門」が行われました。本稿ではこのコンテストに参加した5つの人狼知能を概観することで、人狼知能の可能性と限界を明らかにします。

セッション概要と商用AIとの接点

はじめに静岡大学情報学部行動情報学科所属の狩野芳伸准教授が、今回の企画セッションの概要を説明しました。このセッションのテーマとなっている人狼を簡単に説明すると、プレイヤー間の会話から「人狼」と呼ばれる役職を演じているプレイヤーを推理するというものです。もっとも人狼を演じるプレイヤーは時には嘘をつくこともあり、「占い師」や「狂人」といった特殊な役職も加わるので、このゲームで勝利するには高度な推論と説得力がある話術が求められます。

近年、人工知能研究のテーマとして人狼をプレイする「人狼知能」に取り組まれるようになり、そうしたトレンドをうけて「人狼知能プロジェクト」が誕生しました。人狼知能が人工知能研究のテーマに選ばれる理由には、このAIに求められる能力である人間の発言を理解したうえで一貫した論理を構築する推論力や、時には嘘をつくことで有利になろうとする駆け引きが、人工知能の進歩に寄与すると考えられるからです。

続いてSpiral.AI株式会社の代表取締役を務める佐々木雄一氏が「キャラクター性に着目した大規模言語モデルの開発」と題して、同社の言語モデル開発と人狼知能の接点について講演しました。

Spiral.AIが開発する言語モデルSpiral LLMの特徴のひとつとして、「個性を持った会話」ができることがあります。例えば特定の質問を入力した場合、GPT-4が模範解答的な回答を生成するのに対して、同モデルはまるで人間が話しているような回答を生成します。この違いは、同モデルがある女性芸能人に実施したアンケート調査の結果を学習したうえで回答を生成しているからです。

Spiral LLMのもうひとつの特徴として、「自然なマルチターン会話」があります。この特徴は、GPT-4をはじめとする通常のLLMが一問一答的に回答するのに対して、同モデルは人間ユーザとの会話を通して回答を探っていくことを意味しています。そうした特徴が表れているAIキャラクターには、同社が開発した「ククリさま」があります。

Spiral LLMには、大規模言語モデル「ItakoLLM-7b」が実装されています。同モデルは、現在最高峰のLLMのひとつであるClaude-3-Opusよりも「会話が弾んだか」といったEQ（Emotional Intelligence Quotient：心の知能指数）の観点で優れていることが実証されています。また、さまざまな架空のキャラクターを演じられるように事前学習したことで魅力的な会話も可能となりました。

以上のようなSpiral LLMは「楽しく会話する」ことを目的に開発されていますが、マルチターン会話や特定のキャラクターを演じるロールプレイは人狼知能にも有益な能力と言えます。このように、エンタメ系LLMと人狼知能にはその根底において相通じるものがあるのです。

テンプレートと要約を併用した「ガッツだぜ!!」

佐々木氏の講演後、2024年3月から4月に実施された人狼知能大会2024国内大会に参加した5つの人狼知能の開発者が解説するパートになりました。はじめに東京大学工学部システム創成学科4年のチーム「ガッツだぜ!!」が開発したモデルについて堀川有祐生氏が解説しました。

堀川氏によると開発における目標として、戦略等を人間がコーディングせずにLLMだけでゲームプレイが可能になることと、トークン数を節約することをかかげていました。このような目標を達成するために、同AIのアーキテクチャは以下のスライドのようにしました。このスライドを簡単に説明すると、ゲームサーバから会話を取得後、ゲームのターンに合わせた発話をテンプレートを参照しながら生成します。発話生成時には、ゲームの現状もデータとして入力します。

発話生成時のテンプレートの参照は、具体的にはゲーム中の会話とテンプレートとの類似度計算として実行されます。こうしたテンプレートは、過去の会話ログから頻出会話を抽出して作成されました。さらにテンプレートの本質的内容だけを抽出した要約文を作成して、トークン数の節約を実現しました。こうして作成された要約文は、1370件になりました。

発話生成時の類似度計算では、類似度の低いゲーム中の発話はゲームの勝利につながらないものとして破棄する処理としていました。こうした類似度と破棄する会話の量は、トレードオフの関係となります。この関係は、類似度から算出される精度と破棄されなかった会話の割合が両方とも0.8程度の時が最適だとわかりました。

当初の目標であったトークン量の節約は実現できました。しかしながら、発話生成時に思考過程も出力するようにしたほうが人狼知能としては強くなるものも、処理速度が低下することも判明した、とまとめて堀川氏は発表を終えました。

戦略の比較により高度な話術を実現した「GPTaku」

電気通信大学伊藤毅志研究室所属の岡田拓馬氏は、「GPTaku」の成果について解説しました。GPTakuが開発した人狼知能の仕組みは、以下に引用するシステムのアーキテクチャを参照すると理解できます。このアーキテクチャは、4つの処理から構成されています。

1. 発話準備：対戦サーバから会話履歴を取得後、取得した情報にもとづいて複数の発話戦略を戦略DBから取り出す（アーキテクチャ①②）
2. 発話生成：取り出した戦略をChatGPTに入力後、戦略ごとに発話を生成する（アーキテクチャ③④）
3. 発話選択：生成された発話を比較戦略スレッドに入力後、ChatGPTに最適な発話を選択させる（アーキテクチャ⑤）
4. 発話出力：選択した発話を戦略DBに入力して、戦略DBの状態を遷移させて次の戦略候補を参照できるようにする。さらに選択した発話を対戦サーバに入力して、ゲームターンを終える（アーキテクチャ⑥⑦）

彼らが開発したモデルの仕組みで重要なのは、戦略DBと戦略比較処理です。前者については発表後の質疑応答における岡田氏の発言によると、担当する役職と行動によって戦略が分岐するツリー構造となっており、こうした構造は人力で開発して言わばChatGPTに「外付け（外装）」したものとなっています。後者については、ChatGPTに「これまでの会話から、あなたが最もすべき会話はAとB…のうちどれであるかを答えてください」と質問することで実現しています。つまり、この処理はChatGPTの推論力に依存しているのです。

以上のようなGPTakuが開発したモデルは、占い師ではないにもかかわらず占い師のような発話をするような高度な話術（占い結果騙り）を実行できるようになりました。しかしながら、不自然な戦略を決定することもあり、戦略決定にいたる処理に改善の余地があることもわかりました。具体的な改善案として、以下のスライドに示すような事項を示して岡田氏の発表は終わりました。

推論をアシストするプロンプトを活用した「kanolab」

静岡大学所属の渡邉嶺王氏はチーム「kanolab」の成果について解説しました。渡邉氏によると、同AIの基本設計は「ChatGPTにプロンプトを与えるだけで適切なプレイ行動（発話や投票など）を実行する」という極めてシンプルなものです。この基本設計をアーキテクチャ図に表すと、ゲームサーバからの会話履歴を受け取ったうえでプロンプトを入力すると、ChatGPTがプレイ行動を出力する、というものになります。

以上の基本設計では、時として大会におけるゲームルールと矛盾した推論をする場合があります。例えば1日目に追放されたプレイヤーに対して、そのプレイヤーが狂人や人狼の可能性がある、と推論するのです（大会のルールでは1人だけの人狼が追放された時点でゲームが終了するので、ゲームが継続しているならば、追放されたプレイヤーは人狼ではない）。こうした矛盾した推論をさせないために、ChatGPTの推論を支援するような内容をプロンプトに追加しました。

ChatGPTが間違うケースには、嘘のカミングアウト（役職の開示）を鵜呑みにしてしまうこともありました。例えば大会のルールでは占い師は1人なので占えるプレイヤーは1人なのですが、2人のプレイヤーが占った結果を発言した場合、ChatGPTは2人の占い師がいると推論するのです。こうした間違いに対しては、ゲームルールと発言の矛盾点、嘘をついているプレイヤーが担当している可能性のある役職の列挙、そして特定のプレイヤーが占い師だと仮定した場合における各プレイヤーが担当する役職の可能性をプロンプトの内容に追記する対策を実行しました。

以上のようにkanolabが開発したモデルは、推論はChatGPTに任せる一方で推論を支援する内容を人間がプロンプトとして与える人間とAIの協力体制を実現していると言えるでしょう。

LLMにルールベースアルゴリズムを実装した「satozaki」

明治大学所属の佐藤岳大氏と奈良先端科学技術大学院大学所属の尾崎慎太郎氏は「satozaki」が開発したAIモデルについて解説しました。なお、このチームの名称は発表者2名の名前に由来しています。彼らが開発したAIの設計コンセプトは、「スタイルをもち、戦略的な発話を行うLLMベースのエージェント」としました。このコンセプトを実現するために、LLMは人狼の戦略を理解していないという理解にもとづいて、戦略的な判断はルールベースアルゴリズムを追加実装する方針を採用しました。

SatozakiのAIのアーキテクチャは、以下のスライド画像のようになります。対戦サーバから会話履歴とゲームデータを取得後、GPT-4に発話の生成あるいは状況に合わせた定型文の生成を実行してもらい、GPT-3.5には投票先の情報と占に結果の情報を処理してもらいます。こうしたLLMからの出力をルールベースアルゴリズムに入力して、最終的な戦略的発話を対戦サーバに返すのです。

使用された戦略的発話の一例には、対抗カミングアウトがあります。同AIが人狼である場合、他プレイヤーが演じる占い師が人狼であると占うと、同AIが敗北する可能性があります。こうした場合、「私（人狼であるsatozakiのAI）こそが占い師で、（satozakiのAIを占った）プレイヤーこそが人狼だ」と発言して、占いによる人狼確定を回避するのです。そのほかの戦略として、会話の終了条件の設定があります。

satozakiのモデルには、出力する発話にキャラクター性を持たせる機能も実装しました。こうしたキャラクター性として5パターンを用意したのですが、方言で発話を生成するように指定すると流暢に話すことがわかりました。

開発過程で試したものも効果が実感できなかった施策もありました。例えば、会話の要約を作成してみましたが情報が欠落するうえに、そもそも現在のLLMのトークン数では要約しなくても処理できることがわかりました。またGeminiを使ってみましたが、GPT-4が80点とすると、Geminiは50点程度の性能でした。

佐藤氏は、今後の展望をまとめた以下のようなスライドを提示して発表を終えました。

要約やペルソナ応答例を活用した「UEC-IL」

電気通信大学所属の田中義規氏は「UEC-IL」の成果について解説しました。同AIは「文脈に一貫した発話」「対話内容に一貫した行動」「キャラクタ性を備えた発話」を実現すべき設計目標にかかげました。この目標を達成するために考慮する情報として、「対話履歴」「行動履歴」「ペルソナ」「発話方針」を定めました。

対話履歴は、発話の一貫性を実現するために不可欠な情報です。しかし、この情報を省略なく処理しようとするとトークン長が大きくなり、発話生成に要する時間も長くなります。こうした問題を解決するために、1日の終了時に対話要約を生成することにしました。この要約は、各プレイヤーの発言と行動を簡潔にまとめたものとなっています。

ペルソナの実現に関しては、「国王」のようなペルソナ名とそのペルソナが話す口調に関する応答例をLLMに入力するようにしました。

行動の一貫性については、日の最終ターンで投票先を宣言したうえで、その宣言通りに特定のプレイヤーに投票するようにしました。このような処理にすることで、発言と投票行動の齟齬を回避したのでした。

田中氏は、以上の解説をまとめた以下のようなスライドを提示して発表を終えました。

大会結果から見える人狼知能の進化と限界

以上のような人狼知能の解説後、狩野准教授は人狼知能大会2024国内大会の結果を発表しました。この大会は前出の5つの人狼知能が参加し、大会ルールとして人狼における会話に対する審査員の主観評価と対戦勝率で優劣を決めました。主観評価では、発話表現の自然さをはじめとした5項目を5段階で評価しました。また、評価委員による特別賞も設けられました。

3つ選ばれた特別賞とその授賞理由は、以下の通りです。

1. 裏切らない者賞：satozaki ）大槻恭士 山形大学准教授が選出。礼儀正しく、発言に対して理由を述べる点を評価。ゲームプレイとしては不利となる裏切り行為をしないプレイスタイルが賞の名前の由来。
2. 説得賞：kanolab ）片上大輔 東京工芸大学教授が選出。人狼のプレイのなかでは高難度の「説得によってプレイヤーの意見を変える」ことに成功したことを評価。その説得は、人間のプレイと遜色ないように思われた。
3. 逆転勝利賞：ガッツだぜ!! ）原田慧 電気通信大学教授が選出。人狼としてのプレイ時に、敗色濃厚な状況から逆転勝利した点を評価。

人狼知能大会2024国内大会の最終結果は、3位がsatozaki、2位がUEC-IL、総合優秀賞がkanolabでした。主観評価と勝率は、以下のスライドの通りです。勝率に関しては、明確な優劣が見てとれます。

人狼知能大会2024国内大会の結果発表後、狩野准教授は2024年9月に開催されるINLG（International Natural Language Generation）2024において、人狼知能に関するワークショップが開催予定であることを告知しました（2024年7月時点で正式に開催予定）。

以上の告知後に狩野准教授は企画セッションを総括する以下のようなスライドを提示しました。そのスライドによれば、人狼知能はLLMを活用するようになったことで表現力が格段にヒューマンライクになった一方で、プレイにおける戦略性は開発者がプロンプト等で指示するようなLLMに対して外部的な機能で実現する傾向がありました。また、LLM駆動型人狼知能は嘘をつくのを不得意としていることも指摘されました。この欠点は、LLMは人間ユーザに対して有害にならないように設計されているので、とくに指示がなければ誠実に振舞う仕様に起因していると考えられます。

LLM駆動型人狼知能の課題である戦略性の実現に関しては、今後さらにLLMが進化することでデフォルトの推論能力で人狼を高度にプレイできるようになる可能性があります。その一方で、人狼における戦略性をRAG（Retrieval-Augmented Generation：検索拡張生成）のように追加実装する解決法も有望です。今後の人狼知能研究は、後者の方向に沿って進化するかもしれません。そしてこうした「人狼用RAG」開発技術は、NPCやAIアシスタントの制御に影響を与えることでしょう。

Writer：吉本幸記