【CEDEC2021】NPCとのインタラクティブな対話を実現するGOAPと感情生成パイプライン

スクウェア・エニックスのボエダ・ゴティエ氏がキャラクターAIに関する2つのセッション「キャラクターAIを成長させるためのGOAP意思決定システム」と「NPCもプランナーも開発者にも心がある！感情システムをゲーム制作に！」に登壇しました。いずれのセッションでも、プレイヤーとキャラクターAIの相互的なコミュニケーションを実現し、新たなゲームデザインの鍵となる技術が紹介されました。

GOAPをキャラクターAIに活用する

キャラクターAIの行動を制御するものとしてプランニング技術があります。目的を達成するためにアクションリストを作成し、リスト（候補）から状況に応じて選択することでキャラクターをゴールに導くというものです。そのひとつに、GOAP（Goal Oriented Action Planning）があります。特徴として、ゴールから開始しそれを達成するまでの計画を立てる、バックワードプランニングという手法を採ります。これは主にエネミーAIの戦闘時の行動制御によく使われている技術です。

スクウェア・エニックスのAIチームでは、このGOAPをアバターAI、コンパニオンAIといったキャラクターAIに活用することで、キャラクターの内面の変化を表現したり、物語の語り部として動かすことができないかというチャレンジを行っています。このセッションでは、技術デモとして進めている「WONDER」プロジェクトを通して、GOAPを活用したキャラクターの育成について、その可能性が示されました。

例えば「お腹がいっぱい」な状態になる目的を達成するために「プリンを食べる」、あるいは「りんごを食べる」という選択肢があり、それぞれ、プリンを食べるためには「プリンを作る」、プリンを作るために「レシピを読む」というプラン、りんごを食べるために「リンゴを取りに行く」というプランを立てます。

キャラクターAIは周囲の状況により自分で判断して行動するわけですが、プレイヤーはガイド役としてキャラクターAIのその選択が正しいか否か答えを与えて、育てていきます。WONDERでは、GOAPだけでなく次のような技術を実装し、キャラクターAIを成長させることを目指します。

1. スマートオブジェクト：アイテムが持つ情報からアクションを生成する
2. ラーニングコンポーネント（ユーティリティベース）：キャラクターAIに行動を学習させる
3. 知識の継承システム：意識モデルをさらに深める

スマートオブジェクト

WONDERでは、キャラクターがアクションを選択するとき、キャラクターが目的を達成するためにフローを考えるとき、キャラクターが会話するために話題を探すとき、キャラクターが未知のアイテムと出会うときに、スマートオブジェクトが使われています。

スマートオブジェクトに対して、サイズ、耐久度、重さ、形、持ち方、回復値、タグ情報などのパラメーターを持たせ、それぞれの値により、その状態で実行可能なアクションリストを生成します。例えば、図3では「リンゴ」に対して「食べる」「踏む」「投げる」「持ち上げる」「蹴る」というアクションが生成されました。

ラーニング

プレイヤーはキャラクターAIの行動を褒めたり叱ったりすることによって、アイテムをどのように使うかをキャラクターAIに伝えます。キャラクターAIはそれを自分の記憶領域に記憶することで学習します。学習の結果、それ以降の行動が変化します。

キャラクターAIはどのようにアイテムを使えばいいか知りません。知識（経験）によってアクションを選択（推測）しますが、それが正しいアクションとは限りません。例えば、図4では「ゴムボール」のアクションとして「蹴る」が一番高い確率となっています。ところがキャラクターAIが「投げる」を選択し、プレイヤーから褒められると、投げるを選択する確率が高くなります。このように学習をしていきます。

プレイヤーの評価と確率の関係は、実行したアクションが褒められた場合に+20%、叱られた場合に-20%、どちらでもない場合は特に変更なし、となります。最終的に正規化を行い、アクションリストに反映します。

知識の継承

今回の肝と言えるのが、この知識の継承システムです。これは未知のアイテムをどのように使用すればいいのかを記憶にある使用済みアイテムから推測するというものです。使用済みアイテムと未知アイテムについて「形状」「持ち手」「持つ場所」を比較し、スコアを出します。既存のアイテムのうち一番スコアが高いものが未知のアイテムと最も似ていることになり、そのアクション選択確率を未知のアイテムに継承します。

例えば図5では、未知のアイテムに対し、緑の瓶が100％ですので、緑の瓶のアクション選択確率を継承します。未知のアイテムのアクション確率にそれぞれ緑の瓶のアクション確率を加えて正規化して、継承は完了です。

また、上記の技術に加え、物語の中でキャラクターAIが自然に振る舞えるよう、WONDERではGOAPが拡張されています。

GOAPの拡張

キャラクターAIの振る舞いをより自然に見せるために、GOAPを拡張し、複数の事前条件、動的な編集処理に対応できるようにします。例えば、「お腹がいっぱい」という目的を達成するために「リンゴを食べる」というプランがあります。この時に「リンゴを食べる」というアクションの事後条件を「お腹がいっぱい」とすると、事前条件は「リンゴを持つ」になります。同時に、「リンゴを持つ」は次のアクション（＝リンゴを取りに行く）の事後条件となります。そして「リンゴを取りに行く」の事前条件は「リンゴがある」です。

WONDERでは次のようにプランニングをしていきます。例えば次の図7では、キャラクターのお腹はペコペコです。リンゴを食べるにはどうすればいいかをキャラクターAIは考えます。シーンの中にはいくつかのアイテムがあるし、木までは行けるはずだし、色々な可能性があります。

目的（＝お腹がいっぱい）を達成するために「リンゴを食べる」、その事前条件である「リンゴを持つ」を達成するためにリンゴを取りに行くアクションを選択します。しかし、リンゴは木の上にあり、「リンゴが地面の上にある」という条件を達成する必要があります。そこから連想して「リンゴが落ちる」という特別なアクションが生成されます。そして、「リンゴが落ちる」の事前条件（＝木が揺れる）を達成するために「木を揺らす」アクションを行います。すると、「お腹がいっぱい」という目的を達成することができます。このように、GOAPの拡張により複雑な計画を立てることが可能です。

さらに、このGOAPの拡張によってもっと正確なゲームステートの定義ができるようになります。変数としてインタラクション、アイテム、キャラクターを用いて、プランニングを実行する前に現在のステートの定義を行います。アイテムでインタラクションをマスターしたプレイヤーがいて、お腹がいっぱい、性格は協調性、気分はルンルン気分、というように具体的に今のゲームステートを定義し、その情報をGOAPが利用するという形です。これは、GOAPの実行が遅くなるという欠点もありますが、多くの利点があります。

1つにプランの選択です。GOAPを実行後、複数のプランが存在した場合に一番コストの低いプランを選択します。図8の例では、「プリンを食べる」「プリンを作る」「プリンのレシピを読む」というアクションのコストは「6」で2位と設定されています。それに対し、「リンゴを食べる」「リンゴを取りに行く」のコストは「5」で1位、より低いコストのプランが選択されるという具合です。

さらに、問題解決におけるキャラクターの心理状態を表すためにGOAPの各アクションは動的なコスト計算関数を持ちます。例えば、キャラクターは「プリンが好き」で「脚が痛い（疲れた）」状態であれば、「プリンを食べる」ほうが順位が上がります。疲れたからリンゴを取りに行くのはちょっと面倒なアクションになる、つまり、それによってコストが上がります。

このように拡張することでGOAPの技術をエネミーAI以外、他の多くのケースに広く使用することができるということになります。

感情生成パイプラインでNPCの感情を表現する

感情生成パイプラインはCEDEC2019でも、その成果が発表されています。感情生成パイプラインによって、NPCをより意識的に、表現的に、より生き生きと表現することが可能となります。CEDEC2021では、その感情生成パイプラインのWONDERプロジェクトへの導入事例が紹介されました。

WONDERの理念は「神は賽を振らない」こと。つまりAIを使ったゲームデザインは、すべての意思決定は可能な限り自然で、意味があり、エージェントの成長を可能にするものでなければならないということです。そのため、感情や気分を表現したり、個性を表現する感情パイプラインを持つことはプロジェクトにとって自然な選択だったのです。

まず、ここで用いる「感情」「気分」「性格」の定義は次のとおりです。それぞれ、セリフや表情、アニメーションの変化につながります。

1. 感情：短期的な影響を受け、時間とともに急速に変化するもの［ex. 喜び、苦痛、恐怖］
2. 気分：長期的な影響を受け、ゆっくりとスムーズに変化するもの［ex. 活力的であったり、落ち込んでいる、落胆的気分］
3. 性格：時間経過で変化しない、エージェントの個性を定義するもの［ex. 好奇心、内気、怠惰］

感情モジュール「inspired OCCモデル」

感情生成パイプラインの感情モジュール（OCCモデル）では24の感情がサポートされていますが、WONDERで用いる「inspired OCCモデル」はそのうちの上部、10の感情をサポートするものです。

ゲームイベントを分析し、それがエージェントにとって良いものか良くないものかを判断します。例えばボールを当てられたら「消極的なイベント」、美味しいケーキを食べたら「積極的なイベント」というように判別し、それによって感情を生成していきます。「ボールが当たったせいで窓が割れた」や「雨のせいで服装が濡れた」といったイベントの結果から想起する感情（期待、恐れ、喜び、悲しみ）、イベントに対するエージェントのアクション（自己＝自尊心、羞恥心、他のエージェント＝称賛、非称賛）、オブジェクトの見た目に対する感情（好き、嫌い）など、最終的に10個の感情をサポートしています。

例えばプレイヤーがバットでボールを打った場合、それを見ているエージェントにとっては、プレイヤーが成功したのでうれしいという積極的なイベントとなり、プレイヤーに対して称賛という感情を生成します。あるいは、そのボールのせいで窓が割れた場合、消極的なイベントとなってしまい悲しみなどネガティブな感情を生成します。このように、イベントに応じて感情が生成されていくというわけです。

こうした感情を性格や気分とブレンドして、アニメーションや会話で表現します。このモデルの適用性は高く、作りたい体験にそれぞれ適用することが可能です。イベントから予想できるなら、期待や恐れという感情を生成することができます。未知のアイテムに対するフラグとして「慣れた見た目なのか不慣れな見た目なのか」を立てたり、プレイヤーや他のエージェントとのインタラクションに対する関連性を鍵にしたり、感情を追加することも可能です。

具体的には、感情はゲームイベントによって、3つのパラメーター（種類、期間、強度）で定義されます。たとえば図11では、種類が「EAT_FOOD」（エージェントのアクション）で、強度の計算式は食べているアイテムの好き嫌いによって変わります。もし嫌いな食べ物だった場合などでネガティブな値になると消極的なイベントと判断されます。

アイテムの「好き／嫌い」については、感情が最初に生成されるときに行われます。例えばエージェントがフェンスに触れて感電した場合に悲しみという感情が生成され、その際「フェンス」というアイテムにネガティブなアフェクトを追加されます。つまり、次にフェンスを見ると嫌な感情になるというわけです。ちなみに、アフェクトは「強度」と「記憶に残る時間」の2つのパラメーターを持ち、値によっては”時間が経つと悪い経験を忘れていく”といった表現も可能です。

気分モジュール「PAD」

気分モジュールとしてはPADモデルが使われています。P（Pleasure）は快、どれほど良い気持ちか、A（Arousal）は興奮、感情がどれほど激しいのか、D（Dominance）は自分の感情をどれだけコントロールできるかを3次元の空間で表します。

この空間の中に感情モジュールで定義された感情が配置されているというイメージです。赤で示すポイントがデフォルトの気分で、最初は真ん中にありますが、感情が生成されるときに移動しています。パラメーターには「感情」「強度」「時間」があり、強度の値が高いと移動するスピードが速くなります。

これは気分によって有効なゴールや可能なアクションが異なるなど、意思決定に影響を与えることができ、ベースとなるボディアニメーションのバリエーション変化も可能です。また、気分によって音声を変化させることも可能です。この部分はTsugi合同会社と協力して進めた部分で、PADの値によって音声が変化します。

ただ、PADモデルは3次元空間のため膨大な表現のバリエーションがあることが利点ですが、デバッグとバランスが難しいという弱点もあり、WONDERではP（Pleasure）とD（Dominance）の2次元空間を採用しています。

性格モジュール

性格モジュールはユーティリティパラメーター（怠惰、好奇心、正直、従順など）で構成される、非常にシンプルなモデルです。ベースとなるボディアニメーションやアクションなどのバリエーションを使ったり、話し方で表現します。気分と同様に、性格によって有効なゴールや可能なアクションを変えることができます。

重要なのは「どこに表現するか」「何に影響を与えるか」を設定することです。例えば、WONDERでは8つの性格パラメーター「明るさ」「自立心」「情熱」「プライド」「ロジカル」「モラル」「やさしさ」「協調性」を用いています。そして、性格はアニメーション、話し方、意思決定に影響を及ぼします。

ただ、アニメーションに関しては、8つの性格パラメーター×4つの気分＋ベースで33のアニメーションを作成することになってしまうため、4つの性格（わんぱくこぞう、ワルガキ、おくびょうもの、マジメくん）を作り、×4つの気分+ベースで17のアニメーションを作成しています。

デバッグツールとして「気分ヒートマップ」や「性格履歴」「感情履歴」、あるいは「感情全体情報」を用いて、細かな調整も可能となっているとのことです。

これまでのプレイヤーとキャラクターのコミュニケーションは、プレイヤーからキャラクターへの一方向のものでしたが、今回ご紹介した技術が実装してキャラクターの内面を作り込むことで、プレイヤーとキャラクターの間の相互的なコミュニケーションが少しずつ実現されています。新たなゲーム性をもたらす鍵として注目の高まる分野です。

Writer：大内孝子