【JSAI2022】AIの連携からAIの育成まで、ゲームAIが欠かせない未来へ向けて

2022.7.20ゲーム

ハードウェアの進化にともなって求められるコンテンツのボリュームが増え続ける近年のゲーム産業では、ゲーム内オブジェクトの自動生成やレベルデザインにおけるバランス調整にAIモデルの活用が欠かせない時代が到来しました。ゲーム産業におけるAIモデルのあり方は、6月14日から6月17日まで開催された第36回人工知能学会全国大会においても重大な議題の一つでした。今回、新型コロナウイルスの影響でハイブリッド開催となった同大会から、「エージェント：ゲームAI」というセッションを取材しました。

FF15の仲間が主人公をサポートする仕組み

ゲームコンテンツを形成するゲームAIは、登場人物を動かすための「キャラクターAI」、ゲーム全体の流れを動的に制御するための「メタAI」、そして空間認識をサポートするための「スパーシャルAI」という3種類に大きく分類されます。これらを連動させた新たなAIモデルとして、スクウェア・エニックスの三宅陽一郎氏は「MCS-AI動的連携モデル」（Meta-Character-Spatial AI Dynamic Cooperative Model）を提案しています。

MCS-AI動的連携モデルの動作と効果は、3種のAIのどれが起点となるか、どのようなメッセージングが交換されるか、どのような順番で起動されるかによって決定されます。今回の発表では、このMCS-AI動的連携モデルにおいて想定されるいくつかのデザインパターンについて語られました。

たとえば、ゲーム内の戦闘中に仲間NPCが必要に応じてプレイヤーの回復に駆けつけるような状況を演出したい場合、誰がどのように行動するのかを最適化する必要があります。MCS-AI動的連携モデルでは、まずNPCのキャラクターAIがメタAIに対してプレイヤーを助ける許可を申請します。するとメタAIはプレイヤーまでの距離が最短で、かつ交戦状態にないキャラクターを検索するようスパーシャルAIに指示します。つぎに検索結果から選択されたNPCにプレイヤーの回復を命令し、ほかのNPCには戦闘を続行させると同時にシーンに応じた台詞を発言させるための脚本を指定します。この間、回復役となったキャラクターAIは現在位置からプレイヤーまでのパス検索をスパーシャルAIに依頼し、その結果をもとに移動して回復するという連携の流れです。

このほか、プレイヤーの目的地へ向かって仲間NPCが先導するような状況を演出したい場合、仲間NPCにはプレイヤーの意図を予測して行動させる必要があります。こういったケースでは、メタAIがプレイヤーの目的地を推定し、スパーシャルAIにパス検索を依頼し、その経路上からプレイヤーの前面かつ適切な距離を維持したポイントを要求します。この時、スパーシャルAIは戦術位置検索という技術を用いて最適解をメタAIに返します。メタAIからキャラクターAIに移動命令が伝わると、キャラクターAIはスパーシャルAIに目的地までのパス検索を要求します。その検索結果に従って、実際にキャラクターが移動するという仕組みです。この一連のやりとりを一定間隔で繰り返すことで、プレイヤーを先導するNPCが実現できるというわけです。

こういった仕組みはゲーム産業にとどまらず、現実世界を模倣したデジタルツインやメタバースの実現、はてはスマートシティ構想の礎として機能する可能性を秘めていると、三宅氏は語ります。

プレイヤーがキャラクターAIを成長させる

スクウェア・エニックスのボエダ・ゴティエ氏は、WONDERという同社の技術デモに使われているキャラクターAIの意思決定システムを紹介しました。WONDERは、仮想空間におけるスマートオブジェクトに対してキャラクターAIが選択するアクションをプレイヤーが評価することで、キャラクターAIが成長していくプロセスを検証するための技術デモです。GDC 2022における同社の機械学習と感情表現に関するセッションにも使用されました。

関連記事：キャラクターAIが感じるままにお絵かきできたら

スマートオブジェクトとは、サイズや重さ、形状といったオブジェクトに関する多様な情報をあらかじめ設定されたアイテム全般を指します。これらのパラメータをもとに実行可能なアクションのリストが生成されます。WONDERのキャラクターAIはそれぞれのアイテムの適切な用途をまったく知らない状態から、プレイヤーから褒められたり叱られたりすることで自身のアクションを評価しながら学習していきます。また、類似アイテムに対するアクションは、形状や持ち方を比較することで知識を継承できるということです。

この過程におけるキャラクターAIの意思決定には、「ゴールマネージャー」と「GOAP」（Goal Oriented Action Planning）という技術が用いられています。ゴールマネージャーは、「歌う」「食べる」「絵を描く」といったアクションを管理するユーティリティベースのシステムです。ここで算出されたスコアをもとに目標となるアクションが決定され、後述するGOAPがそのプロセスを計画するという仕組みです。

GOAPはその名のとおり、目的から現在の状態までをさかのぼってアクションを計画する技術です。たとえば、「空腹を満たす」というゴールに対して、「プリンを食べる」「そのためにプリンを作る」「そのためにレシピを学ぶ」といった具合に、最終目標から逆算するようにアクションを計画します。ゲーム業界では、主に戦闘シーンにおける敵キャラクターのAIに使われています。WONDERでは、キャラクターAIの成長を検証するためにGOAPをさらに拡張したということです。

WONDERの各アクションには、キャラクターAIの現在の心理状態や身体状況に基づいた動的なコスト計算関数が設定されており、複数のプランが存在する場合は目的達成までの実行コストがもっとも低いプランを選択するように設計されています。

たとえば、「プリンが好き」「脚が痛む」という状態の時、空腹を満たすというゴールに対して前述した「プリンを作って食べる」ための3つのアクションと、「リンゴを取りに行って食べる」という2つのアクションからなる2通りのプランが存在するとします。この時、プリンが好きなので「プリンを食べる」というアクションのコストは低く、かつ「脚が痛む」ので「リンゴを取りに行く」というアクションのコストは高く算出されるようになるという具合です。結果として、アクションの数は多くても合計コストが低い「プリンを作って食べる」というプランが選択されるというわけです。

深層強化学習とエンタメの両立へ向けて

近年、ディープラーニングの急速な発展によって囲碁や将棋をはじめ、「Dota 2」や「Starcraft」のような競技性の高いビデオゲームでAIモデルが人間を凌駕するケースが増えてきました。一方で、ゲーム産業におけるキャラクターAIの開発に深層強化学習が用いられた実例はほとんどありません。従来のエンターテイメントとして成立するためには、ゲームプランナーによる仕様どおりにエージェントの挙動を実装しなければならないからです。

そこで立教大学大学院の周済涛氏が提案したのは、ディープニューラルネットワーク付きステートマシンを用いたエージェント強化学習です。ルールベースやステートベース、ビヘイビアベースといった従来のキャラクターAIの構築手法に深層強化学習を分割して組み込むことで、最終的なエージェントの挙動をプランナーの要望どおりにコントロールしようという考え方です。これまでにも複数の研究者やゲーム開発者が先行研究を発表してきました。

今回の技術検証では、ステートごとに分割された複数のディープニューラルネットワークを用いて、それらを切り替えながら動作させることでエージェントの制御を試みています。Unity3Dで作成した3Dモデルを使って、左辺の通路と右辺の広間からなる2次元空間において、「右辺エリアのランダムな位置に出現するボールを取る」「その位置から左辺エリアの通路入口まで移動する」「通路を抜けてゴール地点に到達する」「ゴール地点から逆走して通路入口まで戻る」という4つのステートからなるタスクを学習させたエージェントが披露されました。

検証の結果、ステートマシンとして分割せずにディープラーニングのみで一連のタスクを学習させた場合に比べて学習時間を削減できたほか、特定の順番どおりにタスクをこなすように要求されるような状況において優れたパフォーマンスが得られることが実証できたということです。今後は、ステートマシンごとの学習過程をコントロールすることで、複数のディープニューラルネットワークを遷移しながら学習できるモデルの構築を検討したいとのことでした。

Writer：Ritsuko Kawai / 河合律子