【JSAI2025】LLMはゲームAIをどのように変えていくのか？

5月に行われた人工知能学会全国大会（第39回）から「デジタルゲームの人工知能」セッション（KLab・濱田直希氏、立教大学・三宅陽一郎氏主催）の模様をレポートします。LLMをはじめ、AIが洗練されたツールとして普及した今、ゲーム開発はAIとどう関わっていくべきか、その可能性を探ります。

AIとxRが切り拓く未来のゲーム像

最初に登壇した濱田直希氏（KLab株式会社）は「ゲームの中のAIは機械学習でどう変わるか」という観点で未来のゲーム像を語りました。

濱田氏がまず指摘するのは、ゲームとAIの関係が変わりつつある近年の状況です。ゲーム業界におけるAIの活用は、大きく2つの領域に分かれています。1つはゲームコンテンツそのものの中で活用されるAI、もう1つは、制作支援やマーケティング、カスタマーサポートなど、ゲームコンテンツの外側の周辺業務で活用されるAIです。ここ数年、特に生成AIの進展により、後者の分野での活用が急速に拡大しています。しかし、これからは改めて「ゲームの中」でAIが果たす役割に注目すべき段階に来ていると語りました。

濱田氏が所属するKLabでは、2021年から機械学習グループを立ち上げ、従来の開発支援や運用効率化にとどまらず、ゲーム内部でプレイヤー体験にAIが直接関わる研究開発を進めています。

そこで注目されているのが、大規模言語モデル（LLM）を活用したキャラクターAIの研究です。例えば、2023年に発表されたVoyagerという研究では『マインクラフト』をLLMで自動プレイするAIが示されました。AIはLLMによって行動計画を立てるだけでなく、その計画にしたがってキャラクターを操作するJavaScriptコードを生成して敵と戦ったりアイテムを作成するなど、プレイを続ける中で自らスキルを蓄積し、より高度な行動を実現します。このような取り組みは、AIが従来の単純なNPC制御を超え、ゲームプレイそのものの主体となり得る可能性を示していると言えます。

すでに実用段階に入っている事例もあります。Nianticの『Peridot』というARペットゲームでは、地形メッシングや物体検出によってペットが現実世界の地形や物体を動的に認識し、LLMによってユーザーや現実世界とインタラクションできる機能が導入されています。このように、AIが仮想キャラクターに新たな命を吹き込む事例は増えつつあり、AIがコンテンツ内部に深く組み込まれる時代が到来しつつあるのです。

オープンワールドARゲームの到来

KLabが九州大学と一緒に共同研究を進めてきた成果として、濱田氏が紹介するのは、沼津市のご当地VTuber『西浦めめ』とコラボしたAR観光アプリです。西浦めめは街じゅうを歩いて案内し、椅子に座ったり、周囲を理解して会話することができます。

このアプリでは、Peridotでも用いられた地形や物体の動的認識に加えて、インターネットのさまざまな情報を統合して街のデジタルツイン（現実世界と瓜二つな仮想世界）を構築します。そして、デジタルツインの様子をVoyagerのようにLLMで分析して行動計画を立て、西浦めめの振る舞いを生成します。西浦めめはユーザーとともに街を歩きながら、道案内や周辺情報を解説したり、目にしたものにリアクションしたりすることができます。

インターネットの情報を活用することで、スマートフォンのカメラやセンサーだけでは実現できないAR体験を生み出しているのです。ストリーミング配信される3D都市モデル（Google ARCore Streetscape Geometry）によって、ユーザーがどこに移動しても周辺100m程度の地形が瞬時に構築されます。道案内では、GoogleマップAPIで取得したルートに沿ってナビゲーションメッシュを動的に構築することで、街のあらゆる道を西浦めめが歩けるようにしています。

3D都市モデルの建物やカメラで検出した物体は、Web検索の情報（名前や口コミなど）とイベントトリガーを付加され、スマートオブジェクトとして3D都市モデル上に配置されます。これにより、西浦めめが状況に応じたリアクションをとることを可能にします。例えば、椅子を認識すればそれに座ることができますし、ユーザーが建物について尋ねればそれについて会話することが可能になっているわけです。

さらに、太陽の現在位置や現地の天候情報を用いて、ライティングやキャラクターの服が風になびく様子を調整することも可能です。

変わるコンテンツの役割、「Contents 3.0」へ

このように、現実と仮想の融合は自然なものとなりつつあります。従来、こうした物体検出や空間マッピングには高性能なGPUなどの大規模な計算リソースが必要でしたが、近年ではスマートフォン単体でも十分に処理できるようになっています。このことから濱田氏が指摘するのは、こうした技術の進展によるゲームの役割そのものが変わっていくという可能性です。

これまでコンテンツは映画や小説のように「鑑賞するもの」としての位置づけが一般的でしたが、近年ではコンテンツが人を集める「集客装置」としての機能を強め、聖地巡礼など関連サービスへの波及が活発化しています。さらに、将来的にはコンテンツそのものがプラットフォームの入り口となり、あらゆるサービスや商品へのアクセスを提供する「窓口」として機能する社会がくると考えられます。

濱田氏はこれを、コンテンツが鑑賞物であった「Contents 1.0」から、集客要素となった「Contents 2.0」を経て、フロントエンドとして機能する「Contents 3.0」が始まると表現します。このような変化が実現すれば、従来の検索エンジンやECサイトといった既存プラットフォーマーの役割は相対的に縮小し、IPやコンテンツを有する企業が顧客接点を直接握ることが可能となるというわけです。

日本は、コンテンツ制作に情熱を注ぐ文化が根付いており、質の高いIPを多数生み出してきた歴史があります。こうした状況を踏まえて、日本の強みを活かし、アカデミアと産業界が双方向に協力し、研究成果を現場に届けるだけでなく、現場の課題を研究テーマとしてフィードバックする体制を確立することが重要だとします。

これからのゲーム産業は、単なるエンターテインメントの枠を超え、科学技術と融合しながら社会的価値を生み出す装置としての可能性を秘めています。AIと機械学習の発展を背景に、コンテンツの在り方、そしてユーザーとの関係性が大きく変わろうとしている今こそ、産学連携の重要性が一層高まっていると言えます。

探索が困難かつ状態行動空間が広大な問題を解くための IMPALAとDemonstrationの併用

佐竹空良氏は（株式会社コナミデジタルエンタテインメント：共同研究の服部壮一郎氏、木原直也氏も同所属）、コナミデジタルエンタテインメントが進める『遊戯王オフィシャルカードゲーム』（以下、遊戯王）を題材とした強化学習の研究について発表しました。探索困難な、つまり状態空間・行動空間が極めて広大なカードゲームにおいて、少ないデモンストレーションデータ（以下、デモ）を活用して学習を効率化する方法を検証することを目的とした研究です。

遊戯王は26年の歴史を持つ世界的に人気のあるカードゲームであり、カードの種類は1万2千種類以上に及びます。プレイヤーはモンスターカードを召喚して相手を攻撃し、魔法・トラップカードを活用して支援や妨害を行いながら、相手のライフポイントをゼロにすることを目指します。このように多様なカードと複雑な戦略要素をふくむため、AI開発の題材としては非常に難易度が高い、難しい問題と言えます。

何の工夫もせずに従来手法を適用すると、まったく学習が進みません。そこで、16試合分のデモデータを手作業で作成して、強化学習をする際に学習データに少しずつ混入させていくという方法が採られています。

この研究は、同ゲームをオンラインで楽しめる「遊戯王マスターデュエル」を利用し、学生などを対象にしたAI対戦企画として、AI同士が対戦できる仕組みの構築を目指す中で生まれたものです。対象としたデッキは、「デュエルロワイヤル」企画で使用されている「青眼の白龍デッキ」です。AI対戦企画を想定した設定のものですが、特定のデッキに限定した場合でも状態空間と行動空間は依然として膨大であり、探索の難易度は極めて高い状況です。

また、遊戯王では単一のカードを使うだけでなく、複数のカードを組み合わせて連続的な手順（いわゆる「コンボ」）を構築することが重要になります。例えば、ルールベースAI「COM」に対してランダムな方策で挑むと1%も勝てません。つまり、ランダムな探索では効果的な戦略を見つけ出すことが困難であり、従来の強化学習手法では十分な学習が進まないという問題があります。

先行研究と本研究のアプローチ

先行研究としては、StarCraft IIを題材とした「AlphaStar」が有名です。AlphaStarでは、大量のユーザーログを模倣学習に活用することで、高い性能を達成しています。しかし、遊戯王では特定のルール設定に沿った十分なプレイログが存在しないため、同様のアプローチは適用できません。

そこで本研究では、少数のデモを手作業で作成し、それを強化学習に段階的に組み込む手法を用いています。価値ベースの手法である「R2D3」などを参考にしつつも、状態空間および行動空間が膨大な遊戯王のような問題には、方策ベースかつオフポリシーの手法が適していると考え、IMPALAとデモを組み合わせた学習手法を採用しています。

IMPALAは、方策ベースかつオフポリシーの強化学習手法であり、ActorとLearnerのプロセスを分離できる点が特徴です。この構造により、GPUなどの計算リソースを効率的に活用できるという利点があります。本研究では、Actorリプレイバッファとは別にデモリプレイバッファを設け、デモデータを少量ずつ学習データに混ぜることで、成功体験を強制的に学習させる仕組みを構築しました。

一方で、オフポリシー手法では重点サンプリングによる補正が必要です。しかし、人間のプレイデータには行動確率がふくまれていないため、分母の補正値をどのように設定するかが課題となります。本研究では、(1)行動確率を100%と仮定する方法と、(2)最新モデルを用いて行動確率を定期的に再評価する方法の2種類を検討し、(2)が採用されています。予備実験の結果、後者のほうがデモの挙動をより正確に保持できると判断したのです。

実験結果と考察

デモとして、人力で作成した16試合分のデータを使用し、低い割合でIMPALAに混ぜ込みながら学習を進めました。そして、「遊戯王マスターデュエル」においてCOMを相手に、互いに青眼デッキを用いて対戦を行ったところ、対COM戦で勝率50%を達成しました。これは、強力なルールベースAIと同等の性能を示す結果であり、従来手法では全く進まなかった学習が進展したことを示しています。成果として、少数のデモを活用する手法の有効性が確認できたとします。

さらに、上級者プレイヤーとの対戦による検証を行っています。その結果、COMと似た戦術を取る相手には勝利できた一方で、異なる戦術（待ちの戦略）を取る相手には大敗しました。その原因として、後者との対戦では学習時とは異なる試合展開になり、学習していない未知の盤面にうまく対応できなくなったのではないかと分析しています。例えば，非効率的な挙動――自身の魔法・トラップカードを誤って破壊するといった行動――が見られました。このことから、勝敗だけではなく、行動の適切性を評価する仕組みが必要であることがわかります。

佐竹氏はまとめとして、少数のデモを活用して強化学習を効率化する今回の手法の有効性を確認することができたことを成果としつつも、非効率な挙動の改善に向けて、行動の適切性を評価する指標の導入やモデルアーキテクチャの最適化を課題として述べました。

HTN-RL：Hierarchical Task Networkと強化学習を併用したデザイン可能なゲームキャラクターAIの検討

伊藤黎氏（東京大学学際情報学府）は、三宅陽一郎氏（東京大学生産技術研究所）との共同研究として、階層型タスクネットワーク（HTN：Hierarchical Task Network）を活用したゲームキャラクターAIの実装とその検証結果について紹介しました。

まず、背景としてキャラクターAIの実装について、Deterministic（決定論的）な手法とNon-deterministic（非決定論的）な手法に区分できるとするBourg、Seemannの区分を援用しました。

前者は、従来よりも多くの商用ゲームで採用されてきた方式であり、ビヘイビアツリーやステートマシンなど、ゲームデザイナーがキャラクターの行動を細かく制御できる点が特徴です。一方で、非決定論的な手法としては、ニューラルネットワークを用いた強化学習などが挙げられます。

従来のゲーム開発においては、プレイヤーに提供する体験を一貫してデザインできるという点で、決定論的手法が主流でした。例えば、ゲームデザイナーが「この場面では敵に攻めてほしい」と意図した場合、その行動を予測可能に制御できなければ、プレイヤー体験が不安定になる恐れがあります。しかし一方で、キャラクターの細かい動きを全て手動で記述することは、作業量が膨大になり、開発負担が大きくなるという課題もあります。

Deterministicのデザイン可能性と Nondeterministicの簡略性の融合

こうした課題を踏まえ、本研究の目的は決定論的なデザイン可能性と非決定論的な学習による柔軟性の両立にあります。戦略レベル（マクロの動き）は決定論的にデザイナーがデザインし、戦術レベル（ミクロの動き）は非決定論的に行う、つまり強化学習による制御で実現したいということです。

先行研究には、ビヘイビアツリーと強化学習を組み合わせたもの、あるいはステートマシンと強化学習を組み合わせたものなどがあります。しかし、ビヘイビアツリーもステートマシンも短期的な戦術を想定した手法であり、タスクごとに環境を用意する必要があり、開発コスト、時間もかかります。そこで、本研究では戦略レベルとして、階層型タスクネットワーク（HTN：Hierarchical Task Network）を採用しています。

具体的には、戦略レベル（マクロの行動）は決定論的にHTNで制御し、戦術レベル（ミクロの行動）は強化学習で自動化することでデザイナーの負担を軽減しつつ、多様な行動を実現することを目指すということになります。HTNは、AIプランニングの枠組みとして古くから利用されているもので、複数のタスクを階層的に管理できる点が特徴です。HTNにおける基本単位はプリミティブタスクであり、各タスクには発動条件（コンディション）と効果（エフェクト）が設定されています。これらを直列または入れ子構造で接続することで、柔軟かつ複雑なタスクプランニングが可能となります。

今回の実験では、シンプルなMOBA形式のアクションシューティングゲームを開発し、HTNと強化学習の組み合わせを検証しました。ゲームキャラクターの操作は、十字移動とロックオンによるフルオート射撃のみとし、エイム力を必要としない仕様としました。ゲームの勝敗条件は、敵の本拠点を破壊することとし、戦略性を持たせるために中継地点の占拠や拠点破壊によるデメリットなどの要素を設けています。

HTNの構造としては、「本拠点突撃型」「中継地点経由突撃型（2方向）」「中継地点確保型」「本拠点防衛型」といったコンパウンドタスクに、「移動」「本拠点攻撃」「本拠点防衛」「中継地点占拠」「中継地点防衛」といったプリミティブタスクを組み合わせました。プリミティブタスク部分を深層強化学習（PPO）によって学習させ、UnityのML-Agentsを用いて約100時間の学習を実施しました。

学習結果の評価として、学習されたキャラクターAIの挙動が意図通りであるかを確認するために、Prolificを用いて多国籍の被験者10名にアンケート調査を実施しました。被験者には、キャラクターの行動動画を提示し、「現在このキャラクターが何をしているか（攻撃・防御など）」を選択してもらいました。その結果、正答数は平均8/10、中央値9/10となり、多くの被験者がキャラクターの行動を意図通りに認識できていることが確認できました。つまり、HTNのプリミティブタスクを強化学習に代替して、ゲームスタートから学習しても、指定した挙動を行えることは他者評価で分かったということになります。

転用性の検証

学習済みのプリミティブタスクを別のHTN構造に転用できるかについても検証を行いました。異なるHTNに「移動」「本拠点攻撃」「本拠点防衛」「中継地点占拠」「中継地点防衛」といったプリミティブタスクを適用し、ランダムに遷移させることでゲームを実行しました。同様に被験者にアンケート調査を行ったところ、こちらも平均値8/10、中央値8/10となり、転用可能性が示唆されました。これはつまり、あるHTNで学習したプリミティブタスクを別のHTNへ転用しても、指定した挙動が行えることが他者評価でわかったということになります。

結果として、HTNのプリミティブタスクを深層強化学習に代替しても、一定の範囲で意図通りの挙動を実現できることが確認できました。しかしながら、プリミティブタスクごとに学習状況の偏りがあり、MOBAゲーム以外のゲームでの検証は必要となると伊藤氏は指摘します。例えば「移動」に比べて「本拠点攻撃」ができる瞬間は少なく、そのため学習状況に差がついてしまうということです。

また、現時点では挙動の不自然さが課題として残っており、例えば敵を正しく認識しない、動きがぎこちない、有効な回避行動を取らないなど、商用ゲームとしては改善が必要だと伊藤氏は考えています。今後の研究では、より自然な挙動の定義と実装を進めるとともに、難易度調整の仕組みを検討し、ユーザー体験を損なわないAI制御を目指す予定です。また、MOBA以外のジャンルへの応用可能性についても検証を進め、実際のゲーム開発における実用性を高めていく方針だと述べました。

シナリオ自動翻訳

下斗米貴之氏（株式会社ヘッドウォータース：共同研究者は野田寿輝也氏、小谷拓史氏、竹川智貴氏、池内隆人氏、柴田楓佳氏、竹石興紀氏）は、シナリオ自動翻訳に関する新たな手法の研究を発表しました。近年、生成系AIの発展により、機械翻訳の品質は飛躍的に向上しつつありますが、それでもなお「世界観が壊れてしまう」という課題は残っています。本研究では。この「世界観とは何か」を見つめ直すことから、より忠実で一貫性のある翻訳を目指すことになります。

「世界観」とは？

ゲームやアニメの海外展開において、ローカライズは極めて重要です。機械翻訳の普及によって、翻訳コストを大幅に下げられる期待が高まっていますが、実際にクリエイターが機械翻訳を使ってみると、「キャラクターらしさが失われている」「物語の雰囲気が変わってしまった」といった声が多く上がります。下斗米氏は、これを単なる翻訳ミスではなく、従来の機械翻訳の仕組みが持つ構造的な限界だと捉えました。

特に、大規模言語モデル（LLM）は文章を入力トークン長という単位で分割して処理します。そのため、長いシナリオを翻訳すると、文脈の一貫性が途切れがちになります。また、日本語と英語では言語構造が異なり、言い換えの幅も大きく、固有名詞や関係性の表現が揺れやすいという問題もあります。

物語の中で重要なのは、キャラクターの性格や口調が場面ごとに変わらないこと、そしてキャラクター同士の関係性がぶれないことです。そこで提案するのが、グラフ構造の知識表現を組み合わせる方法です。これにより、1つは作品全体の「スタイル」を守ること、もう1つはキャラクターごとの「キャラクター性」を守ることで世界観を維持することができます。

関連研究と本研究のアプローチ

関連研究として、キャラクターとのチャットに関する研究があります。「キャラクターのファインチューニングで事実と矛盾する状況を拒否する」という研究が有名ですが、これはキャラクターLLMをファインチューニングすることでキャラクターの口調を真似するといったものです。[注1] また、BigFiveという性格診断でキャラクターを分類し、キャラクターごと、場面ごとに要約をしてチャットボットで会話する「CPT」という研究があります。[注2] 一方で、コンテンツの対訳という意味で、シナリオ対訳の抽出方法がJSAI 2024で発表されています。[注3]

[注1] Character-LLM : SHAO, Yunfan, et al. Character-llm: A trainable agent for role-playing. arXiv preprint arXiv:2310.10158, 2023.
https://arxiv.org/abs/2310.10158

[注2] Character Persona Training (CPT) : PARK, Jeiyoon; PARK, Chanjun; LIM, Heuiseok. Enhancing Consistency and Role-Specific Knowledge Capturing by Rebuilding Fictional Character’s Persona. arXiv preprint arXiv:2405.19778, 2024.
https://arxiv.org/abs/2405.19778

[注3] 大嶽匡俊, et al. キャラクターの性格と人間関係情報を付加した映像翻訳データセットの構築. In: 人工知能学会全国大会論文集 第 38 回 (2024).
一般社団法人 人工知能学会, 2024. p. 4A1GS603-4A1GS603.

ここで、取り上げられているRAG（Retrieval-Augmented Generation）という技術は、データベース内の意味検索をしてよく似た文章を取り出し、LLMに付加して投げるというものです。さらに「グラフRAG（Retrieval-Augmented Generation）」という技術が登場しており、これはその情報を文章ではなくグラフに変換して情報として持つというものです。例えば、RAGでは「キャラクターAとキャラクターBの関係は？」と問うと、類似する文章を検索してくるだけですが、グラフRAGの場合は関係性そのものをノードとエッジで管理するため、データベース内に文として存在しない情報も生成できます。

本研究が用いるのは、グラフRAGとLLMと一緒に使うことで、シンボリックなものと感覚的なもの、両者の弱点を補完し合うことができるのではないかというアプローチです。

関係性の保存と推論

全体のシステムとしては、グラフRAGとN-shotで例文を与える例文データベースとなります。キャラクター性を保つためには、誰がどのような性格で、どの場面でどのような口調で話すのかを明示的に管理する必要があります。ここではグラフRAGが鍵となり、これにより、翻訳をまたいでもキャラクターの関係性を一貫して表現することができます。さらに、「例文データベース」を用いて、過去のシナリオから抽出した対訳例を蓄積しLLMに与えることで世界観的なもの、情報を与えて翻訳時にスタイルを維持できるようにします。

ただ、グラフRAGをそのまま使うには問題があります。元の文と翻訳後の文、さらにプロンプトに与える言語がずれてしまうと、固有名詞の表記揺れなどの問題が生じます。これはグラフRAGに限らず、機械翻訳における問題です。翻訳するときに元の言語Aと翻訳先の言語B、さらにプロンプトの言語Cが置かれます。AとC、CとBが違っても、固有名詞の揺れなど、意味の損失が起こります。そのため、揺れの発生を抑える仕組みの導入が必要となります。本研究においては、グラフRAGを使う際にプロンプト言語を固定するなどの補正を加える工夫を行っています。また、例文データベースのほうはすでにある対訳関係をいかに抽出するかがポイントとなります。

検証結果

実際に、この方法でキャラクターの識別がどの程度保たれるかを検証しました。対象とするストーリーはオープンソースの「Alice Project」（https://github.com/alicenovel）です。翻訳後、キャラクター情報を除外してキャラクター判別を実施し、F1マクロ値で評価しました。結果は、従来の方法に比べて提案手法の方が高いスコアを示しました。つまり、キャラクター性の一貫性が向上していることが確認できたわけです。

ただし、すべてのキャラクターで完璧に識別できたわけではなく、性格や口調が似ているキャラクターほど区別が難しいという課題も残っています。この点については、今後はキャラクターごとに個別対応を検討していく必要があるとしています。

また、対訳データベースの構築についても課題があります。シナリオの文章は長さや構造が多様で、完全一致することはほとんどありません。そのため、「DPマッチング」と呼ばれる手法を用い、BERTによる多言語類似度計算を活用して、どの部分が対応しているかを自動的に割り出しています。

こうして作られた例文をLLMに与えて翻訳させた結果について、LLM(GPT4o)にGPTによる直訳と比べ「どちらが世界観を保っているか」をブラインドで比較評価してもらったところ、直訳よりも提案手法のほうが高く評価される結果となりました。例文は大量に与える必要はなく、むしろ少数の代表例が効果的であることも分かってきました。

下斗米氏は、これらの技術をゲームシナリオだけでなく、アニメの台本や小説の翻訳などにも応用できると考えています。将来的にはUIの制約や場面ごとのニュアンスなど、より実運用に近い課題に対応する必要がありますが、「世界観を守る自動翻訳」という目標に向けて、今後も研究を進めていくと述べています。

知識表現としてニューラルネットワークを用いたエージェントの環境認識

立教大学の三宅陽一郎氏は、近年注目されている「ニューラルネットワーク形式の知識表現」を活用したゲームエージェントの環境認識について発表しました。今回の発表では、従来主流であった記号的（シンボリック）な知識表現から、ニューラルネットワーク形式の知識表現へと変革することで、ゲーム内のキャラクターの意思決定をより柔軟かつ効率的に実現する提案が示されました。

ゲームにおける知識表現

ゲームにおける知識表現は、一般にオブジェクトに付与される形で管理されてきました。例えば、「これは岩である」「ここは隠れることができる場所である」といった属性やアフォーダンスの情報が、記号的に定義されます。この記号的知識は、ビヘイビアツリーやステートマシンの条件として用いられ、キャラクターの動作制御に活用されてきました。

しかし、このような記号的知識表現は、膨大な設定作業を必要とし、動的に環境や敵の行動が変化するような状況に対しては柔軟性に欠けるという課題がありました。今回、三宅氏が提示するアプローチは、こうした課題を解決するために、ゲーム内のオブジェクトにニューラルネットワークを「貼り付ける」形で知識表現を実現するというものです。これにより、マップ内のオブジェクトからニューラルネットワークデータを取り出し、それによってキャラクターの意思決定を変えることができます。

この考え方はスマートオブジェクトの概念とも関連しています。スマートオブジェクトとは、環境がキャラクターの動作に介入し、オブジェクト自体が知能を持つという考え方です。こうした仕組みは、スマート環境アクター、スマートオブジェクト、スマートスペースなどと呼ばれ、環境側がAIを動かすというアプローチとして注目されています。

今回の提案もこれに関連しており、オブジェクト側からキャラクターの行動を操作するデータを与えるという考え方に基づいています。ニューラルネットワーク形式の知識表現は、このスマートオブジェクトの延長線上に位置づけられ、オブジェクト側がキャラクターの意思決定の一部を担う形となります。

一方で、ゲームにおけるデータの作り方という観点では、主に次の2つに区分されます。1つ目は、物理的な動作を制御するための衝突モデルです。これは物理演算として扱われる部分にあたります。2つ目は「スマートオブジェクト」と呼ばれるもので、オブジェクト自体がキャラクターの動作に影響を与える仕組みです。つまり、オブジェクト側が知能を持ち、キャラクターを制御する形になります。今回のニューラルネットワークの活用にも2つの見方があります。1つは、オブジェクト（客体）からキャラクター（主体）の意思決定の一部が渡されるという考え方です。もう1つは、客体が主体を操るという見方です。

従来、ゲームデータの中では、衝突データ、描画システム、人工知能システムは知識表現・世界表現を表すデータであり、開発データとしてシンボリックに用意するというのがこれまでのやり方でした。これに対し、今回のアプローチは、オブジェクト側にニューラルネットワーク形式の知識表現を持たせ、キャラクターの意思決定モジュールに直接組み込むというものです。

一般的には、オブジェクトが持つニューラルネットワークはキャラクターのエージェントアーキテクチャ内で意思決定の一部として組み込まれ、必要に応じて部分的に置き換えたり追加したりする形が考えられますが、今回の実験では、あえて複雑な処理は行わず、オブジェクトが持つニューラルネットワークをそのままキャラクターの意思決定部分にセットし、動作を変化させるシンプルな手法が採られています。

実験の概要と結果

実験では、まず敵キャラクターに対して「自分自身の動きを模倣するニューラルネットワーク」を学習させます。このニューラルネットワークは、学習前はランダムな重みを持ちますが、自身の行動を繰り返しトレーニングすることで動きを獲得します。味方キャラクターは、この敵キャラクターが持つニューラルネットワークを取得し、自身の意思決定モジュールにセットします。

すると味方キャラクターは敵の動きを追従・模倣できるようになります。この仕組みにより、敵の種類が複数あっても、それぞれの動きを別々に学習・設定する必要がなく、知識表現としてのニューラルネットワークを動的に取得・利用することで効率的に動作を制御できます。つまり、知識表現ベースでキャラクターの行動を制御できるわけです。例えば、図21のようなタイムシークエンスのデータの相対座標を作って、キャラクターを学習させます。

今回、学習に用いたデータは、プレイヤーの行動を模倣する単純なものです。具体的には、相対座標の時系列データを5フレーム単位で10回分取得し、これをニューラルネットワークの入力としました。この時系列データに対してバックプロパゲーションを繰り返し適用し、動作追従のネットワークを構築しています。

実験の結果、初期段階（フェーズ1）では学習が不十分なため、敵キャラクターに近づけませんでしたが、学習が進むに従い、味方キャラクターは敵の動きに追従できるようになりました（フェーズ2）。ただし、最終的には局所最適解に陥る傾向が見られ（フェーズ3）、動作が限定的になるという課題も確認されました。

ルールベースを組み合わせる

さらに、ニューラルネットワークによる動作の模倣に加え、ルールベースの行動制御も組み合わせる実験を行いました。例えば、プレイヤーの動きを模倣するニューラルネットワークに加えて、「敵を攻撃する」といったような、シンプルなルールベースのロジックを組み込む形です。

この組み合わせにより、学習が進むほど敵に近づきやすくなり、攻撃頻度も上昇することが観察されました。ルールベースは今回単純なものとしていますが、より高度なビヘイビアツリーやステートマシンを組み合わせることで、複雑で柔軟な行動制御が可能になると期待できます。

今後の展望

今回の発表は、直線的な動きの模倣を例にしたシンプルなコンセプト実証にとどめた形ですが、三宅氏はより複雑な敵キャラクターの動作学習や多数の敵が存在する環境での応用も視野に入れていると述べました。

例えばプレイヤー側に相対的な座標の連続値を入れる、あるいは複数の敵がいる場合に座標系などを教師データとして与えるなど、より複雑な敵キャラクターの動きを学習させることもできます。さらに、プレイヤー側の動きからの相対座標に対する学習や、さまざまな知識表現をニューラルネット形式で集めて配列にしていくという応用の仕方も考えられると言います。また、ニューラルネットワーク形式の知識表現を拡張し、攻撃のタイミングや回避動作といった複数の行動要素をネットワークで表現、統合することで、よりリアルでダイナミックなエージェントの動作が可能になるとしています。

Writer：大内孝子、Photo by 森 友亮