【CEDEC2021】ゲーム産業における対話キャラクターAIの発展（後編）

本稿はCEDEC2021で行われたセッション「ゲーム産業における対話キャラクター人工知能技術の発展」のレポート後編となります。ゲーム分野以外にも対話エージェントに注目が集まっている今、対話キャラクターAI技術の体系化には大きな意味があります。本記事では、スクウェア・エニックスが過去資産を保存するプロジェクト「SAVE」で発掘された『ワンダープロジェクトJ1』および『J2』や他社の事例を紹介しつつ、対話モデルを中心に人工知能技術の歴史を読み解いていきます。

【CEDEC2021】ゲーム産業における対話キャラクターAIの発展（前編）

CEDEC2021で行われたセッション「ゲーム産業における対話キャラクター人工知能技術の発展」で三宅陽一郎氏が登壇し、ゲームAIにおける対話エージェントとゲーム産業外で活用される対話エージェント研究の違いについて解説しました。

『ワンダープロジェクトJ/J2』に見るAIプランの変遷

70年代のコンピュータRPG（CRPG）の流れから、80年代にキャラクター対話ゲームが登場したことによるゲームシステム（語り手）とキャラクターの分離が起きます。80年代後半になると、ゲームシステム自体がストーリーを語るわけではなく、キャラクターを通して、そこから物語を読み取らせる形でプレイヤーとのインタラクションを組み立てるゲームが登場します。

1990年に発売された『ドラゴンクエスト4』には、戦闘のための人工知能が搭載されました。プレイヤーが選択した「さくせん」に基づく戦闘の方針にそってAIが仲間の戦術の選択をしたり、それまでの戦闘経験から魔法の発動をコントロールする学習機能など、いくつかの人工知能が混在したシステムになっています。ゲームシステムはキャラクターの人工知能を通して、さまざまな戦闘のシステムを作っていくことで「こういう体験をして欲しい」とプレイヤーに間接的に語りかけます。

そして、1994年に『ワンダープロジェクトJ 機械の少年ピーノ』（エニックス）が発売されます。同タイトルはコミュニケーションアドベンチャーという新しいジャンルのゲームで、スーパーファミコンのゲームタイトルとして発売されました。「SAVEプロジェクト」（スクウェア・エニックスにおけるゲーム開発資料発掘プロジェクト）で見つかった大量の資料から、AI設計の初期プランから完成までを見ることができます。

この資料は初期のものなので実際のゲームに実装されたものとは異なっていますが、アイテム（刺激物）からAIに自発的に行動をさせて、それに対してプレイヤーが行う教育（「褒める」「無視する」「止める」「叱る」の4つのモード）に応じて成長するというシステムが当初のプランから採用されていることがわかります。

次の段階では、教育はシンプルなものになり条件反射値が変化します。さらに、知性、感性、精神力などのパラメーター群が用意されて、パラメーターの値が変化していくことで成長していきます。

最後期になると、いくつかの行動に分類されたものが教育となり、それらがパラメーターを変化させるというシンプルな形にまとまる形でAIが設計されていきます。

ゲーム内の模式図で示すと図6のようにAIキャラクターの比重が非常に大きくなります。ただ一方でプレイヤーはAIキャラクターと対話をしつつ、同時にゲームシステムとも対話をしているという二重構造になっています。

次は『ワンダープロジェクトJ2 コルロの森のジョゼット』（エニックス、1996年）です。これはJ1の好評を受けて開発された続編で、ジョゼットというヒロインが成長する物語です。対応機種はNintendo64です。これらも仕様書が2つ残っており、図7左がジョゼットのAI概念フローになります。J1からそれほど変わっていませんが、それを開発の段階で徐々に精密化していきました。

まずスタート地点で状態（HP・MP）をチェックします。そして感情のチェックが入り、そこからアイドリング状態への移行、あるいはアイテムやイベントの誘導が行われます。

何もしない時にAIが何をするかというのは実はとても重要で、キャラクターの方から自発的にプレイヤーに対してインタラクションを施すものが用意されていなければなりません。それに対して、プレイヤーが「叱る」「褒める」という評価を行うことでAIの学習がされるわけです。同時に、J2では理解情報と呼ばれる記憶に関する設計も精密にされています。これは記憶情報が変化することで、頭脳が発達していくということですが、これについては後述します。

また、さまざまな感情パラメータが用意されています。単に用意されたパラメータによって同じように表現されるわけではなく、「発動期」「ノーマル期」「表現期」「爆発期」と段階的に分けられて表出します。ノーマル期は感情の潜伏期間で感情表現は特になく、表現期になるとパラメータ値が一番高い感情を表示する、爆発期はパラメータ値が最高になった感情を表示するという仕様になっています。

『ワンダープロジェクトJ/J2』に見るキャラクターの学習モデルの設計

学習方式としては、まずJ1では「コレコレ方式」「イベント方式」「アイテム方式」が採用されています。コレコレ方式は、キャラクターに”コレコレ”という形で誘導し、それに対して「いやそれは違う」と叱ったり褒めたりすることで学習させる方法です。後に『ブラック&ホワイト』（ライオンヘッドスタジオ、2001年）でも同じような方式が採られますが1994年に実装されたJ1は最も早いと言えるでしょう。

イベント方式は、イベントに参加させることで内部パラメータを変化させたり、見せることで学習させるというやり方です。アイテム方式は、例えばバッテリーなど実際にアイテムを渡すことによって状態を変えるものです。これは、学習というよりは成長といった方が妥当かもしれません。

J2でも基本的な形は踏襲され、さらに「推理方式」と「思考シナリオ方式」が追加されています。推理方式は記憶したものから「これとこれを組み合わせるとこういうことができるのではないか」と推理させる方法です。それに対して、思考シナリオ方式はプレイヤーからYes/NO（褒める／叱る）で学習していきます。つまり推理方式で見つけたものが思考シナリオ方式で是正されるという形になっています。

このような記憶表現のことをAIでは知識表現と呼びますが、これは要するに記憶の形式のことです。まずアイテム方式の場合は、例えば「料理」に対して「運ぶ」のか「投げる」のか「食べる」のか「作る」のかといった行動が紐付いてインプットされ、投げた場合には叱るといったフィードバックを何回か繰り返すことで、それが間違った行為であると学習されていくというものです。イベント方式では、例えば客が良い人なのか悪い人なのか分からない状態から、イベントを見せることで彼らを分類します。つまり行動表現でもあり分類表現でもあると言えます。

そして、いくつかの情報の組み合わせでさらに高次の情報を理解する思考シナリオ方式は、ある知識に対してあるものがYES/True（あるものはNO/False）という具合にシークエンスが定義された形になっています。

J2では、さまざまな項目に対してアクションや性質を学習し、さらにそれら複数の情報から推論された情報をテーブル情報として持ちます。これは「理解情報ボックス」と呼ばれます。理解情報はジョゼットがイベントなどをクリアするために理解しなければならないものです。作り方は2つのタイプがあり、コレコレ方式の「はい／いいえ」から構築する場合と、思考シナリオ方式で発見された価値をプレイヤーの評価によって確定する場合があります。

この理解情報ボックスが増えていくことで、ジョゼットの頭の中の記憶・知識が増し成長していきます。一番興味のあるイベントや事柄が決定されたことが、アイドリング状態の時にどういう会話をするか、反応をするかに影響を及ぼしてます。

このように、ワンダープロジェクトにとって対話エージェントの経験の影響は非常に大きく、対話エージェント自体がプレイヤーの経験を作り、その上にゲームシステムが混在するという構造になっています。

ワンダープロジェクトJ1およびJ2が極めて早い時期にキャラクターの内面モデルと学習モデルを提示したことは特筆すべきでしょう。5年後に『ザ・シムズ』がユーティリティベースの内面モデルを発表しますが、それに先駆けて複雑な内面モデルを提示していたと言えます。

8,000ノードのニューラルネットワークで学習する

『Creatures』はキャラクターを学習させるだけのゲームです。これはワンダープロジェクトと同様に、ものの使い方を学習していきます。例えばボールを投げるのは遊ぶ方法としては正しいというように、ものとアクションを組み合わせることで学習させていきます。

『Creatures』はWindows 3.1用のゲームですが、約8,000ノードのニューラルネットワークを組んでいます。パッケージされたニューロンはローブと呼ばれ、ローブがつながることで大きなアーキテクチャが組まれ、ものの定義とそれに対する行動を定義していきます。これは2010年くらいまでのニューラルネットワークとしては最大規模のものだったと言えるでしょう。

当時はリソースの制限もあったため（80年代〜90年代のゲームは凝ったAIを実装すると容量がほとんど残らなくなってしまう）、ゲームシステムとしては非常にシンプルで、ニューラルネットワーク上での簡単な単語のやり取りをしながら学習していくエージェントが動き、プレイヤーとインタラクションしているに留まっています。

遺伝的アルゴリズムを応用した『アストロノーカ』

『アストロノーカ』（スクウェア・エニックス、1998年）はバブーという敵キャラクターがプレイヤーの仕掛けるトラップを回避しながら、遺伝的アルゴリズムによってトラップの特徴を学習して進化していくゲームです。遺伝的アルゴリズムとは単体ではなく集団を進化させるもので、『アストロノーカ』の場合は20体を1ユニットとして進化させていきます。それぞれのキャラクターが持つ遺伝子から2つの遺伝子を持ってきて掛け合わせ、新しい遺伝子を作ることで、どんどん新しい世代を作っていくわけですが、前の世代で優秀だった個体が比較的高い確率で親になるルーレット方式が採用されています。

以下は、開発者森川幸人氏による人工知能学会に投稿された論文（森川幸人「テレビゲームへの人工知能技術の利用」,人工知能学会誌 vol.14 No.2 1999 3）を元にした解説となります。

ゲームの流れは次のようなシークエンスになっています。まず、ゲームが1日単位で始まり、毎日1体ずつバブーがやってきます。宇宙農家であるプレイヤーは育てている野菜を守るためにバブーに対しさまざまなトラップを仕掛けます。最初はトラップに引っかかってばかりいたバブーは遺伝的アルゴリズムによってトラップを回避するように進化し、優秀なパラメーターを持つ遺伝子が生き残ることで、どんどん賢くなっていきます。

パラメータは体重、身長、腕力、脚力、耐性と解決策を見出すものがあります。ゲームの表でプレイヤーと対するのは1体だけですが、裏側では20体を進化させて世代交代をさせています。プレイヤーが罠を仕掛けるたびに相手も賢くなると体感できるだけの進化を裏でさせているということです。『アストロノーカ』もゲームに遺伝的アルゴリズムを使った例としては極めて早く、その完成度も高いと言えます。

『アストロノーカ』はゲームのほとんどがAIとの対決パートであり、どんどん成長していくAIとのインタラクションを楽しむ内容となっています。

『シーマン』に見るメロディ言語

対話エージェント（会話型エージェント）は前編でも述べたように、社会的なニーズも増えて人工知能学会の中でも盛り上がっています。ただ、学術ベースで研究されている対話エージェントでもいまだに自然な会話をするには至っていません。ディープラーニングなどで、大量のコーパス（会話データ）で学習させてもなかなか自然な会話になりませんでした。

ところが、20年近く前に発売されたゲーム『シーマン』（SEGA、1999年）は自然な会話を実現できていたということで人工知能学会内で話題になりました。そこで三宅氏ら学会誌の編集メンバーは開発者の斎藤由多加氏を訪ねてインタビュー記事を学会誌に掲載しました。ここでは、その内容を要約して紹介します。

シーマンのシステムは膨大な分岐によって成り立り、「メロディ言語」（斎藤氏の造語）という概念を採用していることにその特徴が有ります。たいていの会話研究では音のデータを重視しませんが、日本語の会話では同じ単語でもイントネーションやアクセントによって意味が異なることが多々あります。つまり、同じ言葉でも音もふくめた制御を行わないと会話が成り立ちません。

また文法的に正確な言い回しが必ずしも話し言葉として最適ではない場合もあります。例えば相手の声が聞こえない時に「もう一度言ってください」と返すのはサービスロボットの応答としてはいいかもしれませんが、会話としては自然ではないはずで、シンプルに「聞こえないよ」と言ってしまった方が会話としては自然になります。このように私たちが日頃普通に行っている会話で使われている音と言葉のインタラクションから抽出された要素のひとつがメロディ言語となります。

このインタビューで斎藤氏は、最近の会話エージェントは検索エンジンのような作りになっているのではないか？と指摘しています。つまり会話のリズムなどは度外視して常にインプットに対して正確な情報のみを相手に返そうとしているということです。このように、『シーマン』は90年代においてエポックなゲームであり、その成果は現在に至るまで人工知能学会の中でも注目を集めています。

『-どこでもいっしょ- トロと流れ星』（ソニー・コンピュータエンタテインメント、2004年）もまたAIを実装したキャラクターとの会話を楽しむコンテンツです。どこでもいっしょシリーズでは、プレイヤーが覚えさせた言葉を使って人間になることを夢見る猫のキャラクターであるトロが会話をします。

このように、非常にシンプルに組まれたゲームシステムの中でAIを実装したキャラクター主要なコンテンツとして見せるのが、『シーマン』やどこでもいっしょシリーズのようなキャラクターとの会話を楽しむゲームの最大の特徴です。

自律型エージェントの登場

2000年代に入ると、シム・ピープルシリーズとして『The Sims（邦題：シムピープル​​）』（2000年、マクシス）がリリースされます。これは『アップルタウン物語』や『リトル・コンピュータ・ピープル』と同じようにキャラクターを観察するゲームですが、キャラクターが多様な行動をすることでプレイヤーに色々な楽しみを与えます。

講演の中で三宅氏は、海外の大学のサイトやGDCのサイトなどに分散して掲載されている『The Sims』のAIに関する情報をまとめて発表しました。The SimsのAIはUtilityベースですが、「Meta」「Peer」「Sub」で構成されます。Metaが全体的なAIの仕組みのことで、Peerはキャラクターのことです。

『The Sims』には色々なキャラクターの情報があり、グラフィック、アニメーション、サウンドといったインタラクションがそれらのオブジェクトに仕込まれています。

キャラクターに使われるのが「モチーフエンジン」と呼ばれる、いわゆる人格モデルです。Hunger、Comfort、Hygiene、Bladderという身体（生理）的なパラメータ、Energy、Fun、Social、Roomという精神パラメータ、合わせて8つのパラメータがあります。The Simsは、その8つのパラメータが行動によって変化していくシステムになっています。例えばトイレに行くことで生理パラメータが緩和される、人と話すとSocialのパラメータが回復するという具合です。

また、それぞれのパラメータに対して、ウェイトグラフが仕込まれており、ウェイトと値をかけたものが全体の幸福度（Mood）となります。それにより最適（＝最大効用）な行動を選択できる仕組みになっています。

例えば、お腹が空いた状態が「-80」から「60」に回復した時の変化は、全体の幸福度としては「-80」から「60」のウェイトをかけたものになります。さらに、それが「60」から「90」への変化になったとします。この時、-80から60になった場合と60から90になった場合の幸福度の増加を比較すると、前者が圧倒的に大きくなります。つまり、「ものすごくお腹が空いている状態」から「ちょっとお腹がいっぱいの状態」になる方が、「ちょっとお腹がいっぱいの状態」から「さらにお腹がいっぱいの状態」になった時よりも幸福度が大きくなるということです。「ビールは最初の1杯目が一番美味しい、さらに2杯目はちょっと美味しい」という現象を経済学で「限界効用逓減の法則」と言いますが、この効用の仕組みが導入されています。

CCPにおける協調配置システムの研究

『EveOnline』を開発しているCCP Games（以下、CCP）ではレイキャビク大学と共同でエージェントたちの自然な振る舞いを研究しています。例えばキャラクターが4体集まる場合、真ん中に円を描くように配置します。これは心理学の知見を応用したもので「Oスペース」「Pスペース」という言い方をしますが、ここでは人と人が向い合う時に形成する立ち位置を分析し、キャラクターのソーシャルビヘイビアを設計しています。例えば人間は背中が弱点なので、壁に向かって立つ時には無意識に壁に背を向けるため、壁に向かっていると違和感があります。そうした知見を応用しているわけです。他にもキャラクターを何人か配置する時に空間をどう使うかを判断する際に活用される、心理学的な知見に基づいた技術F-formationも実装しています。

プレイヤーと直接会話をするものではありませんが、例えば4人目としてプレイヤーがこの集団に入ってきた時、既にいた3体のAIキャラクターたちが新しくやってきたプレイヤーと円を描く形になると、より自然で人間的な振る舞いになります。そうすることで、街の群衆のエージェントたちがより自然に振る舞っているように見せることができます。

環境認識を対話に活用する

『LEFT 4 DEAD』（Valve Software、2012年）に使われているパターンマッチング法は、条件群のうちキャラクターが視認したものに対して特定の会話が応答される方法です。例えば敵や仲間との簡単な会話をゲーム内でさせたい場合は、目視した情報から会話の候補が提示され、その中から最も評価値の高い候補により応答をします。

『The Last of Us』（Naughty Dog、2014年）も、同じような方法を採っています。The Last of Usでは次の台詞が前の台詞の条件群で決まります。設定されたさまざまな条件群によって次の会話の候補に点数がつけられ、さらに次の台詞へと連鎖していきます。そのようにして作られた文脈を用いてキャラクターにちょっとした会話をさせることでその場の状況をプレイヤーに説明するという、間接的なナラティブを採用しています。

『FINAL FANTASY XV』におけるMCS-AI動的連携モデル

三宅氏が最後に紹介したのは『FINAL FANTASY XV』に実装されたMCS-AI動的連携モデルです。こちらはメタAI、キャラクターAI、スパーシャルAIの連携となっており、仲間協調や対話システム、移動会話などが実装されています。

こうしたことも、キャラクターに発言をさせることでプレイヤーにさまざまな体験をもたらす間接的なナラティブ表現になります。例えば、シナリオで伝えたいことが特定のセリフそのものではなく、今の状況がいかに逼迫しているかをプレイヤーに伝えたい場合、その状況を示唆する言動をキャラクターにさせることもあります。

例えばメタAIが実装されていない場合、仲間のエージェントが1箇所にどんどん集まってしまいますが、パーティーのうちの2体は戦闘で忙しいので「おまかせするよ」「わかった」という会話をさせるようにメタAIが調整することで、自然な場面の流れを描くことができます。この場合、キャラクターAIはメタAIにこのプレイヤーを助けていいかを問い合わせ、メタAIからパス検索の情報などをもらってプレイヤーを助けにいく仕組みになっています。また、会話に関しては台本システムが用意されており、それぞれ台本の候補の中から今回はどのセリフをどのキャラクターにしゃべらせるかを判断します。

「Face to Faceシステム」は、キャラクターが会話する時に適切な位置を計算してその場所に向かってパス検索を行うというものです。ビヘイビアの上で対話を行うという、会話の位置取り的なことをするシステムにもなっています。こちらもAIが連携しながら位置を決めたり、全体的な制御を決めるなどをします。あるいは「移動会話」はプレイヤーの行きたい目的地を推測して、その目的地とプレイヤーの間の位置を検索し、そこに向けて位置取りをしていきます。

こうした機能により、セリフだけではなく身体のポジションニングや位置取りなどを通して、仲間たちにサポートされている感覚をプレイヤーに伝えることができます。

対話エージェントのこれから

これまで見てきたとおり、ゲーム産業における対話エージェントは独自の進化を遂げてきました。一方で、学術分野における対話エージェント研究は自然言語処理による会話を軸に進化してきました。現在は第3の流れとして、ゲーム産業以外の対話エージェントが台頭しつつあります。

次のゲーム産業のアクションとして、この3つの流れを組む形で次世代のAIのシステムを考えていくことが重要になると三宅氏は指摘します。ゲーム産業の特徴は、ゲームシステムが語り手の主体となることでユーザーとのインタラクションが生じるということです。ユーザーに対して色々な働きかけをするゲームシステムと共に対話エージェントを研究することで、本質を見失わずに進化の糸口を見つけることができるのではないでしょうか。

Writer：大内孝子