【JSAI2023】ゲーム開発に浸透するAI技術の諸相

2023年6月6日から9日にかけて、熊本県熊本城ホールをメイン会場として2023年度 人工知能学会全国大会（第37回）がハイブリッド開催されました。6月8日には一般セッション「AI応用：ゲーム・エンターテイメント」が行われました。本稿ではこのセッションから3つの発表を選定して要約することで、ゲーム開発で活用されるAI技術の諸相を紹介します。

ぷよぷよをプレイするAIはどのように上達するのか？

上記セッションの１人目の発表者である立教大学大学院所属の福地昂大氏は「『ぷよぷよ』における深層強化学習による自己対戦の適応」と題して、落ち物パズルゲーム『ぷよぷよ』をプレイするAIの開発について話しました。

囲碁でプロ囲碁棋士に勝利したAlphaGoに代表されるように、特定のゲームをプレイするゲームプレイAIの開発は長い歴史がある研究分野です。近年では研究するゲームのトレンドがチェスや囲碁のような完全情報ゲームから、ディプロマシーのような不完全情報ゲームに移行しつつあります。こうしたなか福地氏は、ランダム性がゲームシステムの根幹を成すぷよぷよを研究テーマとして選びました。このゲームを選んだのは、ボードゲームでは強さが視覚的かつ直感的に理解しづらいのに対して、上級者であれば「ぷよ」を連鎖的に消せるので見た目にプレイスキルがわかりやすいという理由からでした。

参考記事：MetaとDeepMindが相次いで発表。外交ゲーム『ディプロマシー』ゲームプレイAIの最前線とは？

ぷよぷよプレイAIを開発するにあたっては、開発技法としてAIが対戦を通じてスキルを強化する自己対戦型強化学習を採用し、実験は「ぷよ」の落ちるパターンを固定のうえ１人でプレイする一人用ぷよぷよ、そして対戦時間を変えた対戦用ぷよぷよで強化するという設定で行いました。

一人用ぷよぷよの強化学習は、ゲームスコアが1増加するごとに0.001のプラス報酬、死亡時には1のマイナス報酬を与えるという条件で行いました。このようにして150万ステップ学習したところ、80万ステップあたりまでは累積報酬が上昇したものも、それ以降は減少するという結果になりました。累積報酬が減少に転じた理由には、報酬をさらに増やそうとして連鎖数の増加を狙うハイリスクハイリターンな戦術を重視した結果、失敗するプレイが増えたからと推測されます。

対戦用ぷよぷよプレイAIの強化学習に関しては、はじめに最長対戦時間を30秒、勝利時には1、敗北時には-1の報酬を設定して、140万ステップの学習を行いました。その結果、プレイスキルを数値化したレーティングが時間の経過とともに上昇しました。プレイスタイルについては、7万ステップまでは初級者向け戦術である画面の片方にぷよを積む「かえる積み」を多用していたのに対して、10万ステップを超えると中級者以上の戦術である「平積み」を用いるようになりました。学習序盤でかえる積みを多用した理由には、短いプレイ時間で対戦相手を倒すことを戦術目標としたためと考えられます。

最長プレイ時間を約5分に変更して同様の強化学習を行ったところ、100万ステップの学習時点でレーティングが3,100となり上記の実験結果を大きく上回りました。また、連鎖数も増え、プレイスタイルの変遷も確認できました。その一方で、ぷよぷよのルールをまだ完全に理解していないような挙動も観察されました。

以上のように自己対戦型強化学習によるぷよぷよゲームプレイAI開発は一定の成果を上げたものも、プレイスキルとしては大連鎖ができないレベルにとどまり、戦術の幅が少ないという課題も残りました。福地氏は、今回の研究の展望として自己対戦のQAへの活用を含む以下のスライドにまとめたような項目を示して発表を終えました。

トレーディングカードゲームのバランス調整にAIを活用

2人目は大阪公立大学所属の西村昭賢氏が「深層強化学習に基づくトレーディングカードゲーム環境の構築」と題して、AI技術を用いたトレーディングカードゲームのバランス調整について発表しました。

『マジック：ザ・ギャザリング』に代表されるトレーディングカードゲーム（以下、「TCG」と略記）は、さまざまな特殊能力を備えた多数のカードを用いてプレイするゲームであり、デッキと呼ばれるカードの集まりが度々更新されることで知られています。こうしたゲームシステムのため、ゲームバランスの調整が非常に困難です。こうしたなか西村氏は、工学的な技法でTCGのバランス調整を実施する方法を研究対象としました。今回の研究では、実験用として独自にTCGを考案したうえで、以下のような手順を実行しました。

1. 手順1：既存のルールベースのTCGプレイAIのほかに、深層強化学習の代表的手法であるDQN（Deep Q Network）を用いて独自のTCGプレイAIを開発する。
2. 手順2：手順1で用意したTCGプレイAIどうしを対戦させることを通して、TCGにおけるすべてのカードについてレーティング（強さに関する評価値）を算出する。
3. 手順3：手順2で算出したカードのレーティングを活用して、TCGのバランス調整を実施する。

手順1に関しては、DQNを用いたTCGプレイAIを開発後、ルールベースでプレイするアグロAI（攻撃的な戦術を採用）とコントロールAI、さらにはランダムにプレイするAIを加えた4つのAIで対戦させた結果、以下の表のような対戦結果が得られました。

手順2については、TCGのカードレーティングを算出する方法として、マナレシオが知られています。この手法はカードのHP、攻撃力、コストから以下のような式を用いて算出するのですが、カードの特殊効果等を考慮していない非常に皮相なものです。そこで西村氏は、15種類を2枚ずつ、合計30枚のカードを用いる実験用TCGのカードから1種類ずつ除いてAIどうしで対戦させた時の勝率から、カードレーティングを算出する方法を採用しました。

以上の方法において勝率が高い結果が得られた場合、除外したカードは勝利に貢献しないと判断できるので低いレーティングが与えられます。反対に勝率が低い場合、除外したカードなしでは勝利しづらいと解釈できるので高いレーティングとなります。こうしたレーティング算出方法の結果、DQN学習済AIと戦術が類似しているアグロAIを比較すると、最強カードは一致した一方で、最弱カードのレーティングに差異が出ました。この差異はそもそも最弱カードはプレイ時にあまり使われないので、DQN学習済AIはこのカードの使用をあまり学習できなかったから生じたと考えられます。

手順3においては、先行研究として新しいデッキを追加した際に勝率に焦点を当ててカードの強さを調整する単目的GA（Genetic Algorithm：遺伝的アルゴリズム）と、パラメータの変更量を最小限にする多目的GAによる調整がありました。前者はパラメータ変更量が多すぎてデッキの原型をとどめないのでユーザへの悪影響が大きく、後者は変更対象となるカードが多くなるという欠点があります。今回の研究では、強さが変更されるカードの枚数が最小になるようにバランス調整という目標を設定しました。こうした目標を設定したのは、紙製のTCGの場合、変更するカードの枚数が少ない程ゲームへの影響が少ないと考えられるからです。

能力変更するカードの枚数を最小限にする場合、変更するカードの優先度を決める必要があります。この優先度の決定には、以下の表に示されるような手順2で算出したカードレーティングを用いて、強いカードから優先的に変更するようにしました。

以上のような提案手法を用いてバランス調整を実施した結果を既存手法と比較すると、以下の表のようになります。提案手法は、勝率を最適化した場合の適応度（最適化の目標を達成している度合い）、およびパラメータ変更量を最適化した場合のそれも既存手法と比べて遜色ないことがわかります。

提案手法の有効性を検証するために、追加デッキを用いた対戦とバランス調整を実施したそれを用いた対戦の勝率を比較しました。バランス調整前だと場合によっては80%近い勝率になったりしてバランスを欠いていた追加デッキは、バランス調整を経るとどのような対戦においても勝率50%程度となるバランスがとれたものとなりました。

西村氏は、今後の課題として意図的に強いカードを投入するような商業的な売上を考慮したバランス調整を含む以下のようなスライドにまとめた項目を掲げて発表を終えました。

AIによるモーションデータ検索の成果と課題

3人目は、KLab株式会社所属の吉田雄大氏が「自己教師ありViTによる類似3Dモーションデータの検索とゲーム開発現場での応用」と題して、3Dモーションデータの検索について発表しました。

3Dアクションゲームを多数開発しているKLab株式会社の開発現場では、大量の3Dモーションデータがストックされています。例えば同社開発中のゲームにおけるモーションデータ数は、約26,000件にのぼります。こうした状況からモーションデータの検索が求められていますが、そうしたデータにはラベルがなかったり、ラベルが付いていても不正確だったりして検索に流用できていません。また、検索できるようにした場合、検索上位には類似モーションがヒットしている必要があります。

類似したモーションデータが検索上位に表示されるようにするためには、それらのデータの類似度を計算する必要があります。計算対象となるモーションデータとは、スケルトンと呼ばれる関節と骨格から構成されたデータを時系列に並べたものから構成されています。それぞれの関節には、数値で表現される座標値があります。モーションデータの類似度は、スケルトンのかたちと座標値から算出されます。

モーションデータを検索する先行研究では、教師あり学習と画像認識技術のひとつであるAlexNetを活用した手法が採用されていました。具体的にはスケルトンの位置情報等を正規化処理したうええ画像に変換後、その画像をAlexNetで認識して類似度を算出していました。

この既存手法では正確なラベルが付与されたデータセットの存在が前提とされているうえに、AlexNetでは手と脚といった位置的に離れた部位の依存関係を考慮しにくいという欠点がありました。そこで今回の研究では、ラベルがないデータであっても学習できる自己教師あり学習と、データ内部の依存関係を抽出できる画像認識技術であるVit（Vision Transformerの略称）を採用することにしました。

以上の提案手法の有効性を検証するために、以下のスライドに書かれているような3つのResearch Questions（以下、「RQ」と略記）を立てました。この疑問に答えるために、検証実験における学習技法として事前学習、教師あり学習、自己教師あり学習、モデルとしてAlexNetあるいはVitを設定したうえで、これらの設定の組み合わせから6パターンの実験ケースを設けました。学習データにはKLab株式会社が過去に運営していたゲーム『禍つヴァールハイト』のモーションデータを活用しました。

以上の実験の結果、RQ1とRQ2は肯定的に実証されたものも、RQ3に関しては有意差が認められませんでした。RQ3が肯定的に実証されなかった理由には、テストデータの品質があまり良くなかったことが考えられました。

提案モデルの有効性がある程度証明されたので、続いて同モデルを実装したモーションデータ検索システムを開発して、モーション制作に携わっているKLab株式会社の5名のメンバーに試用してもらいました。

試用の結果、2つの問題が明らかになりました。1つ目は、検索結果をスケルトンのみで表示していたため、モーションデータの可視性が乏しいことです。この問題の解決策として、検索結果に視認性の強いデータを表示するなどが考えられます。

2つ目の問題は、特定のフレームに限定した検索ができないことです。モーションデータのなかには「足踏みから切りつける」のように複数の動作から構成されているものがあります。開発した検索システムでは例えば「足踏み」で検索した場合、複合的モーションの「足踏み」動作だけを検索できません。このように複合的モーションにおける特定の動作に着目した検索が、制作現場では強く求められていることがわかりました。この要望に応えるには、モーションを細分化するなどして検索システムを改良する必要があります。

吉田氏は発表のまとめとして以下のようなスライドを表示したうえで、今後の課題としてテストデータの高品質化、検証実験の大規模化、ユーザからのフィードバックへの対応を挙げました。

以上の3名の発表は、ゲームグラフィックやNPCの挙動のようなわかりやすい事例ではないものも、AI技術をゲーム開発に役立てる方法を明らかにしています。今回のセッションからわかるようにAI技術は今後ますますゲーム開発に役立つもの、さらにはなくてはならないものになるでしょう。

Writer：吉本幸記