【JSAI2021】AIとゲーム開発の接点としてのゲームデザイン、シナリオ生成、行動創発

2021年6月8日から11日にオンラインで開催された第35回人工知能学会全国大会では、AI技術とゲーム開発の接点を多角的に考察するセッションが行われました。この記事では、そうした接点としてゲームデザイン、シナリオ生成、ゲームにおけるAIエージェントの行動創発に関する発表を紹介していきます。

MCS-AI動的連携モデルが多様なアイデアをもたらす

立教大学大学院人工知能科学研究科の三宅陽一郎氏は「MCS-AI動的連携モデルがゲームデザインに与える影響の比較検証実験」と題して、同氏が提案する最新ゲームAIフィロソフィーがゲームデザインに与える影響について発表しました。

最新ゲームAIフィロソフィーを解説する前に、三宅氏はゲームAIの分類と歴史をまとめました。「ゲームAI」とはゲームに活用される多様なAI技術の総称であり、ゲームプレイを成立させる「ゲームの中のAI」とゲーム開発に使われる「ゲームの外のAI」に大別できます（下の画像参照）。同氏が提案するゲームAIフィロソフィーは、ゲームの中のAIに関わるものです。

AI技術が多用されるゲームジャンルには伝統的にストーリー性を重視するRPGのような「物語的ゲーム」と、PFSのような仮想的身体の制御が中心となる「アクションゲーム」という2つの潮流がありました。前世紀においてはこの2つのゲームジャンルにはそれぞれ別系統のAI技術体系が活用されていましたが、オープンワールドRPGのような物語性とアクション性を兼ね備えたゲームが開発されるようになるにつれて、物語とアクション性を両立させる単一のゲームAIフィロソフィーが考案されるようになりました（下の画像参照）。

現代的なアクションRPGで採用されている主要なゲームAIフィロソフィーには、MCN-AI連携モデルがあります（下の画像左側参照）。この設計思想の特徴はゲーム全体を管理する「メタAI（Meta AI）」、キャラクターを制御する「キャラクターAI（Character AI）」、そしてキャラクターAIの移動を支援する「ナビゲーションAI（Navigation AI）」が連携して駆動することにあるため、それぞれのAIの頭文字をとって「MCN」という略記名が呼称に含まれました。

三宅氏が提案するMCS-AI動的連携モデルとMCN-AI連携モデルのいちばんの違いは、前者におけるナビゲーションAIの代わりにスパーシャルAIが導入されるところです。スパーシャルAIとはナビゲーションAIをさらに機能拡張したもので、キャラクターの移動支援に加えてチーム戦闘における戦線の管理といったようなゲーム空間全体の管理を担当します（上の画像右側参照）。

三宅氏はMCS-AI動的連携モデルがゲームデザインに与える影響を検証するために、ゲーム開発者を対象としたアンケート調査を実施しました。調査に参加した26人のゲーム開発者はふたつのグループに分かれて、一方のグループに対してはMCN-AI連携モデルの解説を読んだうえで『パックマン』（1980年、ナムコ）に関する新しいゲームアイデアを20分間で回答する、というプロセスを前半と後半の2回行いました。他方のグループは後半回答時にMCS-AI動的連携モデルの解説を読んでから回答してもらいました。

以上の調査の結果、アイデア数は両グループともほぼ同数でしたが、後半の回答内容に顕著な違いが現れました。後半の回答でMCS-AI動的連携モデルの解説を読んだグループは、「スパーシャルAI」の使用頻度が上がりました。また、両グループの後半回答から共起ネットワークを作成すると、MCS-AI動的連携モデルのグループではメタAIとキャラクターAI、そしてスパーシャルAIが密接して使われていることがわかりました（下の画像右側参照）。

回答におけるAI技術の連携に関してさらに調べたところ、MSN-AI連携モデルのみのグループでは3つのAIを連携させたアイデアが前半の回答で1例、後半で3例だったのに対して、MCS-AI動的連携モデルのグループの後半回答では7例ありました（下の画像参照）。

以上の調査から、MCS-AI動的連携モデルはゲームアイデアの数を増やす効果はないものも、スパーシャルAIに関するアイデアを増やし、さらにはAIを連携させた発想を促す影響があることが実証されました。

【論文】MCS-AI動的連携モデルがゲームデザインに与える影響の比較検証実験

セマンティックグラフによってシナリオの起伏を自動生成

公立はこだて未来大学大学院の山崎陽斗氏は「セマンティックスコア法を用いたマルチエージェントシステムによるゲームシナリオの生成」と題して、シナリオ自動生成に関する新しい試みについて発表しました。

プレイヤーが自由に広大なマップを探索できるオープンワールドRPGの流行に伴い、多様な内容のシナリオを自動生成する技術のニーズが高まっています。近年のシナリオ自動生成に関する研究では既存の小説の構造を分析して変形させたり、機械学習によって抽出した既存小説の特徴にもとづいて新たな小説を生成したりする試みがあります。こうした従来の研究には既存小説の内容に大きく依存してしまう、多様な文章を生成するのが困難、さらにはシナリオの盛り上がりを演出できていないという課題がありました。

山崎氏らのチームは、従来研究の課題であったシナリオの盛り上がりの欠如を克服する研究に取り組みました。はじめに「物語の盛り上がり」を定義することに着手しました。その時に参考にしたのが、演劇論として有名な「フライタークの三角形」です。この演劇論は、演劇を時間軸に沿って「導入」「高まり」「クライマックス」「転回または鎮静」「大団円」の5パートに分けたうえで、シナリオの盛り上がりはクライマックスを頂点とした三角形で図示できる、というものです（下の画像参照）。同理論における盛り上がりを表す尺度は謎が深まったりして物語の複雑性が増すことと定義され、反対に謎が解けたりすると複雑性が減少して解決に向かいます。

ソニーに在籍していた高橋靖氏らは、フライタークの三角形を映画のシナリオ分析に応用した研究を2000年に発表しました。その研究ではさまざまなジャンルの映画に関してシーンごとに複雑度を算出したうえで、ソーンの推移に沿って複雑度を積分した結果をプロットして「セマンティックグラフ」が作成されました（下の画像を参照）。このグラフによって、盛り上がりから解決に向かうシナリオの起伏が端的に視覚化されます。

山崎氏らは、起伏のあるシナリオを自動生成するためにセマンティックグラフを応用する実験を実施しました。その実験では、以下のようなプロセスを実行しました。

• シナリオに登場するキャラクターを定義する（実験では主人公、敵対者、協力者を定義）
• キャラクターをシミュレーション上で行動させ、行動に関するログデータを採取する（行動の種類は、昔話研究家プロップが提唱した31行動を採用）
• 採取したログデータの各行動に対して、シナリオの複雑性に寄与する度合いを表した「セマンティックスコア」を付与する。このスコアが高ければ複雑性が増し、反対にゼロ以下の値はシナリオの解決に寄与する（下の画像左側参照）
• 自動生成するシナリオの起伏を定義する「セマンティックグラフ」を事前に作成しておいてから、このグラフの起伏を再現するように行動を自動整列する（下の画像右側参照）

以上の実験の結果、自動生成されたシナリオは以下の表で示すような構造となりました。

以上のシナリオはセマンティックグラフの起伏を再現しているものも、シーン7とシーン10に「不在」が割り振られているように不自然さの残るものとなりました。また、イベント間の因果関係も考慮されていないという問題もありました。

山崎氏は、セマンティックグラフにもとづいたシナリオの自動生成研究の今後の改善点として、以下のような3項目を挙げて発表を締め括りました。

• シナリオの不自然さを解消するために、行動を自動整列する際に制約を設ける
• 行動の自動整列時に因果関係を反映させる。具体的には、行動間の因果関係を表す友向グラフにもとづいて自動整列する（下の画像参照）
• 今回採用した31の行動に加えて、他の行動も実装する

【論文】セマンティックスコア法を用いたマルチエージェントシステムによるゲームシナリオの生成

缶蹴りシミュレーションにおける難易度ごとの行動創発

静岡大学の高田啓介氏は「強化学習を用いた缶蹴りエージェントによる協調行動の獲得」と題して、缶蹴りをプレイする強化学習AIエージェントが協調行動を習得するプロセスについて発表しました。

人間は、1人では実行困難なタスクを複数人で協調して取り組むことで遂行できます。こうした協調行動をAIエージェントが実行可能なアルゴリズムに落とし込む際の難点は、どのようなプロセスや条件によって協調行動が発生するかを設計するところです。こうしたAIエージェントの協調行動創発に関する研究には、行動ゲーム理論や鬼ごっこあるいはかくれんぼをプレイするマルチエージェント研究があります。しかし、こうした先行研究には協調行動創発のプロセスに言及できなかったり、遂行タスクの難易度が固定されていたりといった問題点がありました。

高田氏らの研究チームは、より現実的な協調行動に則した実験を実施するために、AIエージェントに缶蹴りを実行させることにしました。缶蹴りを採用したのは、ふたつの理由があるためです。ひとつめの理由は缶を蹴ろうとするAIエージェント（子）の協調行動と、缶を守りつつ子を捕まえるAIエージェント（鬼）の両方の学習を観察できるからです。ふたつめは、子の移動スピードを変えることでゲームの難易度を変化させられるからです。

実験におけるゲーム環境は、ゲームエンジンのUnityを使って以下の画像のような子が隠れられる柱（Pillar）があるものを用意しました。この環境下で子は缶を触れた場合、鬼は子を発見して缶に触れた場合に報酬が得られるように強化学習を実行しました。なお、強化学習技法にはUnityに実装されているPPO（Proximal Policy Optimization）を採用しました。また、難易度調整として子の移動速度を1.00から3.00まで0.05間隔ずつ変化させて学習しました。

以上の実験の結果、難易度の変化に応じて子は3種類の協調行動を創発することが確認できました（以下の画像を参照）。

• 子の移動速度が遅いため、協調しても缶を蹴るのが不可能な場合。この場合、協調行動は創発されない
• 協調すれば缶を蹴るのが可能な場合。この場合、複数の子が同時に缶に向かうような協調行動が確認できた
• 子の移動速度が速いため、協調しなくても缶を蹴るのが可能な場合。この場合、ゲーム開始時には協調行動が見られたが、次第に単独で缶を蹴るようになった

以上の3つの場合に関して、缶蹴りを100万回プレイさせると以下のような状況に収束することが確認できました（以下の画像を参照）。

• 子の移動速度が遅い場合、鬼は子を捕まえて缶に戻るのが容易になる。それゆえ、鬼は動き回って子を確保する「鬼優位」な状況に収束する
• 子が強調すれば缶を蹴れる場合、複数の子が同時に動いて、動いた子のひとりがおとりとなる陽動行動の創発が確認できた。ゲームとしては多様な展開が期待できる状態に収束する
• 子の移動速度が速いために単独で缶を蹴れる場合、任意の子が単独で缶を蹴りに動く「子優位」な状況に収束する

以上のように実験結果を報告した後、高田氏は今後の展望として役割分担を含んだ協調行動の分析と、利己的行動から利他的行動の移行（缶蹴りでは陽動行動に相当する）に関する境界条件の分析を挙げました。

なお、発表後の質疑応答では子の陽動行動が創発した理由について尋ねられました。この質問に対して、子に陽動行動を起こすアルゴリズムは実装されていないが、協調行動により報酬が得られる可能性が上がる場合、報酬を獲得する確率を上げる戦略として子の同時行動が生じたと考えられる、と高田氏は答えました。この回答にしたがえば、陽動行動のように見える子の行動は見かけでは利他的行動であるものも、実際は缶を蹴る確率を上げる利己的行動と解釈できます。

【論文】強化学習を用いた缶蹴りエージェントによる協調行動の獲得

以上に紹介した3つの発表は、いずれもゲーム開発に応用できる知見を含んでいます。こうした新たな知見を取り入れられるゲーム開発は、今後もAI技術活用の最前線であり続けるでしょう。

Writer：吉本幸記