【JSAI2024】AIによるゲーム制御の可能性：オーガナイズドセッション「デジタルゲームと人工知能」（後編）

2024年5月28日から31日、2024年度人工知能学会全国大会（第38回）が静岡県浜松市のアクトシティ浜松にてオンラインとのハイブリッドで開催されました。5月28日にはオーガナイズドセッション「デジタルゲームと人工知能（後編）」が行われました。本稿は、このセッションで発表された4つのゲーム制御事例とNFTイベント事例を紹介します。

「小説家になろう」から収集したセリフで有効性を実証

電気通信大学の稲葉通将准教授は「対話システムのための対照学習によるキャラクタ性の評価」と題して、話者キャラクターの同一性を評価する言語モデルについて発表しました。

稲葉准教授によれば、LLMの発展にともなって、これらのモデルに実在あるいは架空のキャラクターを演じさせる研究が活発化しています。このような研究は、モリカトロンAIラボでも以前に紹介しました。

参考記事：LLMはベートーヴェンを演じられるのか？ロールプレイAI研究の最前線を紹介

こうしたなか稲葉准教授が取り組んだのは、任意の発話が特定のキャラクターが発言しそうなものなのかを判定するモデルの開発でした。このモデルを活用すれば、何らかのキャラクターと対話するシステムにおいて、そのキャラクターにふさわしくない発話を応答前にフィルタリングできます。また、特定のキャラクターの応答事例集を収集する際にも、ふさわしくないデータを除外処理できます。

以上のようなモデルの開発にあたっては、「話者が誰か」ではなく「話者が同一か」を判定する仕様の実現を目指しました。同モデルは、話者の同一性を判定するエンコーダーとしてRoBERTaを採用しました。このエンコーダーに対して、例えばキャラクターAの発話を入力すると、事前に用意しておいた同キャラクターのほかの発話（発話部分集合）と類似しているかどうか算出することで、発話者の同一性を判定します。同モデルには、キャラクターAとは異なる話者（例えばキャラクターB）の発話集合も学習することで、キャラクターAをめぐる同一性と差異を算出できるようにします。なお、同一性と差異の算出には、コサイン類似度を採用します。

提案モデルが話者キャラクタの同一性を判定する際には、入力データとなる発話を検索クエリとして、話者キャラクターの発話部分集合に対してBM25（類似した情報を順位付けするアルゴリズム）を実施して比較する発話を抽出します。この抽出された発話と入力データを使ってコサイン類似度を計算することで、話者同一性を判定します。

稲葉准教授は、提案モデルの性能を評価する実験を実施しました。同モデルの学習データには、小説投稿サイト「小説家になろう」に掲載された完結済み100作品から2,155名のキャラクタの39,279発話を収集しました。

発話キャラクターの話者同一性を評価する際に参照する評価対象発話は、一般ユーザがキャラクター対話システムと対話しているという想定にもとづいて、6作品の17キャラクターについてシナリオを作成しました。これらのシナリオに対して、5名の評価者が発話キャラクターの発話らしいかに関してYes/Noの評価を付与しました。この評価の集計結果が、各シナリオの評価スコアとなります（つまり評価スコアは0～5）。この評価スコアと提案モデルが算出した類似度が相関しているほど、同モデルは人間のようにキャラクターを同定していることになります。

実験には比較対照として、ChatGPTによるロールプレイをはじめとする7つの手法を選定しました。評価指標にはスピアマンの順位相関係数を使いました。実験結果は、以下の表にようになりました。評価指標がもっとも高いモデルの評価値は赤字となっています。提案モデルが、ほとんどのキャラクターに関してその同一性をもっとも妥当に判定していることがわかりした。

模倣学習と強化学習を組み合わせて遊戯王プレイAIを開発

株式会社コナミデジタルエンタテインメント制作支援本部技術開発部所属の佐竹空良氏は「デジタルゲームにおける強化学習の実践的活用」と題して、トレーディングカードゲーム『遊戯王』をプレイするAIの開発について発表しました。

1999年から発売し75の国と地域でプレイされている遊戯王のMDチームには、同ゲームをプレイするAIを新たなエンタメの軸としたいという意向がありました。具体的にはゲームAI同士を対戦させたり、将棋の形勢判定AIのようにゲームの形勢を視覚化することなどを模索していました。このような意向をうけて、佐竹氏のゲームAI研究は始まりました。

遊戯王プレイAIの開発にあたっては、以下のような3つの問題がありました。

1. 問題1：多様な属性をもち、さまざまな条件で特徴が発動する各カードの情報は、AIが扱うには複雑すぎる。
2. 問題2：各カードにはさまざまな実行可能なアクションがあるうえに、ゲーム状況によって可能なアクションが変わるので、そうしたアクションをAIに落とし込むのが困難。
3. 問題3：ゲームの勝利までの過程における報酬を特定しづらいので、単純な強化学習は活用しづらい。

問題2については、今回の研究ではカードデッキをブラック・マジシャンデッキとブルーアイズ・ホワイト・ドラゴンデッキの2つに限定しました。このふたつを選定したのは、遊戯王特有の動きをするカードがふくまれているからです。

問題1については、カード情報を遊戯王とゲームAIで共通して処理できるインターフェースであるUDI（Universal Duel Interface）を整備して、テーブル形式で情報を整理できるようにしました。

遊戯王のプレイの学習にあたっては、プレイ中の行動に関する価値を評価するQ値を算出する必要があります。こうした処理については、ゲームの各局面における行動特徴と状態特徴からQ値を算出するアーキテクチャを採用しました。

問題3については、模倣学習を実施した後に制限のある強化学習を行うことで対処しました。模倣する対象には、今回のふたつのデッキを用いたプレイに特化したルールベースAIを選定しました。模倣学習後の機械学習AIを強化学習する際には、Q値が最大となる行動を選択するようにして、行動の探索範囲を限定しました。

以上のように開発された機械学習AIは、ソロモードで稼働しているゲームAIであるCOMに対して、ブラック・マジシャンデッキを用いた場合には5割以上の勝率を実現しました。

開発した機械学習AIは、遊戯王のイベントで実際に稼働させました。対戦中にはQ値をゲーム画面に表示したのですが、観戦者はこの値をAIの思考状態と見なし感情移入していました。また、遊戯王のアニメにAIに関するエピソードがあったこともあり、プレイヤーは機械学習AIを好意的に受け入れていました。

Transformerを用いて複数機のドックファイトをシミュレーション

第一工科大学工学部所属の小林篤史専任講師は「シミュレーション空間上の場面評価への機械学習手法適用に関する検討」と題して、航空機シミュレーションにおけるAI活用について発表しました。

小林講師の研究の背景には、近年さまざまなゲームにおいて人間を凌駕するゲームAIが開発されたことがあります。こうしたAIは、モリカトロンAIラボでも紹介してきました。こうしたなか、同講師は3次元空間内を飛行する航空機のシミュレーションにAIを活用する研究を続けてきました。

参考記事：レースゲームAIが自動運転技術に貢献する可能性：月刊エンタメAIニュース vol.26
MetaとDeepMindが相次いで発表。外交ゲーム『ディプロマシー』ゲームプレイAIの最前線とは？

小林講師は、航空機が1対1で後ろの位置をとったら勝利するドッグファイトのシミュレーションにおいて、モンテカルロ木探索を用いた研究で強力なAIを開発できていました。しかしながら、2対2の場合、同様のアプローチでは成果が出ませんでした。成果が出ない原因として時系列情報を考慮できていないことなどが考えられたので、時系列データの処理にすぐれたTransformerを採用した研究に着手しました。

今回の研究で評価するシナリオでは、2機の航空機から構成された青チームと赤チームが、どちらかの後方をとった場合に勝利となります。行動の進行はターン制とし、選択できる行動は位置座標や速度等が異なる47種類とします。

行動の選択アルゴリズムには、モンテカルロ木探索を採用します。行動選択時には、各機の位置関係に関する画像を生成します。さらにモンテカルロ木探索によって選択された次の行動に関する位置関係も画像化します。現在の状態画像を入力、次の状態画像を出力として、入力から出力を予測するTransformerを訓練します。こうして訓練されたTransformerモデルは任意の画像状態を入力すると、モンテカルロ木探索によって勝率が高いと予測された行動に関する画像を出力するようになります。

Transformerの訓練に用いる画像には、任意の航空機とその最近傍にいる機体との位置関係を可視化したもの（以下のスライド左）と、任意の航空機が行動選択後に移動した状態を可視化したもの（スライド右）とします。

訓練済みTransformerの出力画像を再帰的に入力画像として使うと、n番目（nは再帰の回数）までの行動を予測できるようになります。

以上のTransformerモデルをまだ開発していなかったので、今回の発表ではモデル構想の解説にとどまりました。今後は実際に同モデルを開発したうえで、検証実験を行う予定です。なお、同モデルには画像処理が可能なVision Transformer等を利用し、比較対象として従来研究で用いていたNIN（Network In Network）を採用する予定です。

NFTイベントの有効性を検証

九州大学大学院芸術工学府所属の荻野宏実氏は「NFTのインセンティブとしての有効性に関する研究」と題して、地域イベントにおけるNFT活用事例を報告しました。

デジタルデータに一意性を付与することでフィジカルなアート作品と同等の取引を可能とするNFTは、デジタルデータの取引で非常に注目された反面、公共的なコンテクストでの活用事例はほとんどありません。こうしたなか荻野氏らは、福岡県久留米市で開催された日本カンボジア友好70周年記念チャリティーコンサートとの連携イベント「久留米市デジタルスタンプラリー」においてNFTバッジを配布することで、地域イベントにおけるNFT活用の有効性を検証しました。

上記チャリティーコンサートに来場した119人のうち、さまざまな年齢と居住地の28人が以上のスタンプラリーに参加しました。そのうち56%がNFTを知っており、36%はすでに所有していました。ただし、60代以上では過半数がNFTを知りませんでした。

今回のスタンプラリー参加後にNFTに関するアンケート調査を実施ところ、68%の回答者がNFTへの関心が高まったと回答しました。また、96%が同様のイベントを知人に勧めると回答しました。

さらに、92%の回答者がイベント後に久留米市に好感をもったと答えました。

以上のようにNFTを用いた地域イベントの開催は、NFT自体への関心を高めると同時に開催された地域にもポジティブな効果があることが検証されました。しかしながら、当該イベント関連のUI/UX設計が不十分であったことから、スタンプラリーを途中で離脱した参加者もいたなどの課題も明らかになりました。

ゲームキャラクターへの簡単な指示を自然言語で実現

東京大学学部生の伊藤黎氏は「自由形式の自然言語命令に従うゲームエージェント」と題して、自然言語による指示でゲームキャラクターを制御する研究について発表しました。

今回の研究の背景には、ゲームシリーズ『ポケットモンスター』をはじめとするプレイヤーがゲームキャラクターに指示を出すタイプのゲームでは、依然としてコマンド形式が採用されているものが多いことがあります。過去には『シーマン（SEAMAN）』のような会話にフォーカスしたゲームもありましたが、このゲームにおける会話は開発者が事前に会話内容を実装するルールベース的（「ハードコーディング」とも言える）なものでした。こうしたなか伊藤氏が取り組んだのが、ハードコーディングなしに自然言語でゲームキャラクターに指示できるシステムの開発でした。

伊藤氏が今回の研究の先行事例として参照したものに、Googleロボティクスチームが発表したロボットを自然言語で制御する研究があります。もっとも、この研究におけるロボットは単一の簡単な指示を実行するだけにとどまるうえに、ゲームに直接流用できません。対して同氏が目指したのは、ゲームキャラクターに連続的に自然言語で指示を出すシステムでした。

実現すべきシステムに関する基本構想として、伊藤氏は自然言語による指示をゲームキャラクターが実行可能なコードに変換するためにLLMを活用することを着想しました。そして、こうした変換機構を「ビヘイビアブランチ（Behavior Branch）」と名付けました。

ビヘイビアブランチは、ゲームキャラクターを制御する内容をふくんだノードと、そのノードのつながりによって表現されます。ノードにはゲームキャラクターが実行すべきアクションを定義したアクションノード、アクションを条件分岐で制御するコンディショナルノード、そしてノードの連結を制御するコントロールノードの3種類を考案しました。

さらに現在従うべきノードを指示するキャレントモード、キャレントモードからの状態遷移を指示するアクティブアクションモードも定義しました。

コントロールノードのひとつであるThenノードは、ノード間の連結を制御します。例えば異なる指示をふくむアクションノードをThenノードで連結すると、連結した順番でアクションを実行します。Thenノードを介して連結したノードの実行には、詳細なルールが設けられています。こうしたルールがあることで、複数のアクションを条件分岐も加味しながら連続的に実行できるのです。

以上のようなビヘイビアブランチに関する定義やルールをプロンプトとしてLLMに入力して、LLMにビヘイビアブランチを理解させます。そして、プレイヤーの自然言語による指示をLLMに入力したうえで、入力された指示をビヘイビアブランチが処理可能なコードに変換するようにLLMに依頼します。つまり、ビヘイビアブランチを言わば一種のプログラミング言語に見たててLLMにコード生成させるのです。こうして生成されたコードをゲームキャラクターの制御コードに入力すれば、そのキャラクターはプレイヤーの指示通りに動くようになります

LLMによるビヘイビアブランチの生成を実現した伊藤氏は、実際に自然言語によるゲームキャラクターの制御に関する簡単な実験を実施しました。この実験には4人の日本人評価者が参加し、73の指示に関してゲームキャラクターが適切な行動しているかどうか評価してもらったところ、87%の精度で適切な行動を実行しているという結果になりました。なお、LLMにはLlama-code 34Bを用いました。

以上の実験で明らかになった課題として、応答の遅さがあります。ゲームキャラクターが指示を実行するまでに平均して2.5秒も要してしまい、ユーザが応答までに許容できる最長時間と言われる0.4秒を大きく上回っています。また、複雑な状況で指示を実行させるにはビヘイビアブランチでも対応できなくなることが予想されるので、より精緻な機構の考案が求められます。

AIを直接的にテーマとしていない荻野氏の発表を除けば、以上に紹介した発表にはふたつの傾向が認められます。ひとつめの傾向は、LLMをはじめとする言語モデルの活用です。この傾向は、稲葉准教授と伊藤氏の発表に認められます。ふたつめは、ルールベースAIによるゲーム制御からの脱却です。この傾向は、佐竹氏と小林氏に当てはまります。そして、これらの傾向はいずれも今後のゲーム開発の潮流となると予想されます。したがって、ゲーム開発はAIの進化に合わせて今後も進化し続けると言えるでしょう。

​​Writer：吉本幸記