【CEDEC2019】ゲーム開発・運用における機械学習活用の現状と未来

ゲーム開発や運用における機械学習の活用がますます重要なテーマになってきています。CEDEC2019では「ゲームと機械学習の最前線」と題して、機械学習をふくめたAIを活用したゲーム開発に携わる各社のAIエンジニアを集め、パネルディスカッションが行われました。登壇者は奥村エルネスト純氏（株式会社ディー・エヌ・エー AIシステム部・AI研究開発グループ AI研究開発エンジニア）、三宅陽一郎氏（株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー）、長谷洋平氏（株式会社バンダイナムコスタジオ）の3名です。

ゲーム×AIは議論から実践に移行している

AIは目新しいバズワードから産業への応用の段階に入ってきています。本セッションでは、そもそもどのような領域にAIが使われていくのか、実際のところどれくらい実用性があるのかをゲーム開発者の視点から議論を展開していくことを目的に、奥村氏から議論の前提となる情報の提示から始まりました。

このセッションはCEDEC2018のセッション「次世代QAとAI」（資料）で行われた議論の続編に近い立ち位置にあります。当時の議論の焦点がゲーム開発の中で特にQA（品質保証）という領域に絞ってAIが活用されていく可能性についてであったのに対し、今回はこの一年で多くの事例が生まれていることをベースに、より実践的な議論を展開することが狙いです。実際、AIがプロダクションに導入されることで新たな事業価値を生み出している事例も増えています。

まず、本題に入る前に、奥村氏からセッションで使う用語の整理がありました。一般的に、AIは「人間と同等か、それ以上の処理を行うためのテクノロジー全般」を指します。なかでも、判断・予測する能力をデータから機械的に学習するものを機械学習と呼び、その一種で深いニューラルネットワークを用いたものが深層学習（ディープラーニング）と呼ばれます。加えて奥村氏は、ゲーム業界で用いる「ゲームAI」は、学術領域で使われている「AI」とはまったく別の文脈で進歩してきた概念だと補足しました。

セッションではAIという言葉が、あくまで機械学習全般を指すものとして用いられています。AIの推論は、数値に変換された入力信号を機械学習のモデルに入力することで行われます。そこでは行列演算や条件分岐といった演算が行われて、結果としてAIの出力が得られるというわけです。

たとえば、猫と犬を分類するAIを作る際の例では、猫の画像を3色RGB値に分解してモデルに入力します。図の例ではディープランニングを想定しているので、モデルは深いニューラルネットワークです。画像の数値データを入力に多くの行列演算が行われ、最終的に猫である確率、犬である確率がどれくらいかが推論されます。モデルの学習の際には、教師信号を使って、「正解は猫なので、なるべく出力の確率が猫に近づくようにモデルをアップデートする」という学習を繰り返すことで、認識精度を上げていきます。

機械学習の一種である強化学習は、環境に対する試行錯誤とそのフィードバックから自律的に学習するモデルです。教師データが使われないのが特徴で、報酬によって学習を進めていきます。たとえば、ゲームのある状況で、試しに特定の行動を取ったとします。その結果、ダメージの大きさや勝ち負けなどのフィードバックを報酬として受け取ります。このフィードバックに従って、より好ましい行動を取るように訓練されていき、勝ちがだんだん増えてくると、「自分のこういう動きはいいのだ」と学習して、さらに強くなっていきます。

ゲームにおけるエージェントの役割

AlphaGo然り、囲碁、将棋といった分野では人間と同等かそれ以上に賢いゲームエージェントが実現可能になりました。特に今年になってからは、不完全情報ゲーム、例えば多人数ポーカーや『スタークラフト2』（2010年、ブリザード・エンターテイメント）といった長期戦略を扱うタスクでも、人間を超えるようなパフォーマンスを出すことが可能になりました。そういった賢いエージェントの存在が当たり前になった世界でゲーム開発はどう変わっていくのでしょうか。奥村氏は2つの方向性を示します。

ひとつはコンテンツとしての応用です。eスポーツの文脈にも関わりますが、ゲームの外の志向性として「人間とAIが戦う」こと自体がコンテンツになる時代が来ています。AlphaGoもそのような側面がありました。あるいはゲーム内の志向性として、プレイヤーの補助をするために、AIを使うことも考えられます。例えば初心者の対戦相手として、ちょうどいいAIを用意するなど、さまざまな応用が考えられます。

もうひとつは、QA文脈での応用です。これは、賢くゲーム内を回遊できるエージェントがいるなら、人間の代わりにゲームをテストさせようという発想から生まれています。たとえば、ゲームの中で正しくゲームが動作しているか、ロジックが正しく動いているかを確認するためにエージェントの自動プレイによりテストをするQAオートメーションがあります。また、これはゲーム特有のニーズかもしれませんが、ゲームバランスの調整にも応用が期待されています。

前者の例については、AIのトップカンファレンスでも多くの話題が紹介されています。『スタークラフト2』、『Dota 2』（2013年、Valve Corporation）、『ブレイドアンドソウル』（2012年、NCSOFT）、『伝説対決 -Arena of Valor-』（2016年、Tencent Games）などのゲームでトッププレイヤーを上回るAIが登場しています。

プレイヤー補助に関しても、例えば『将棋ウォーズ』（2014年、HEROZ）では「Ponanza」の推論結果をプレイヤーが学習用途で活用できます。奥村氏が開発に携わった『逆転オセロニア』（2016年、DeNA）でも、初心者から上級者まで、さまざまなユーザーにあったレベル感のAIを強さを当てにいく練習用コンテンツが導入されています。『SAMURAI SPIRITS』（2019年、SNK）では人間をミラーリングしてあるプレイヤーのように振る舞うAIと実際に対戦する道場コンテンツがあります。

関連記事：【CEDEC2019】DeNAのゲームAI開発に見る”AIを活かす組織”とは？

一方、QAでの活用ではどうでしょうか。『北斗が如く』（2018年、セガゲームス）では、実際にゲーム内をエージェントに回遊させてVRAMの使用量を可視化したり、コリジョン抜けがどこで起こっているかを検知するエージェントを活用しています。今年行われたGDC2019でも、『バトルフィールドV』（2018年、エレクトロニック・アーツ）、『ディビジョン』（2016年、Ubisoft）などで、こうしたエージェントをクラッシュ検知などに活用した事例が注目を集めました。

ゲームバランスの担保ということで言うと、『Candy Crush Saga』（2012年、キング・デジタル・エンターテインメント）では、ディープランニングで人間レベルまでプレイをトレーニングしたエージェントを作り、これまで新しいマップを追加するために1週間くらい必要だった人間によるテストプレイを数分に圧縮することに成功しています。

国内の事例としては、去年のCEDEC2018で『Ｄx 2 真･女神転生 リベレーション』（2018年、セガゲームス）『共闘ことばRPG コトダマン』（2018年、セガゲームス）で強化学習や遺伝的アルゴリズムなどさまざまな技術を使ったゲームバランスの調整事例が発表されました。

こうしたエージェントのモデルを作る際には、特徴量やアーキテクチャなどがゲームロジックに強く依存するため、タイトルごとに設計する必要があります。そのことがスケールへの壁になりかねません。現行のゲームAIは「エージェントアーキテクチャ」と呼ばれる、ロボティクスから借りてきたアーキテクチャの上にそれぞれのゲームの知識表現を作っていくという形が使われています。

ニューラルネットのトポロジーやノードの組み方には特に規則性がなく、今はそれを「えいや」で決めている状態です。それを入力から出力まで全部ニューラルネットでやったのがディープマインド社のAlphaGOやDQNです。そういうのを見て、どんなゲームでもできるのではないかと夢を見てしまったところがあるのだと思いますが、いざやってみると案外できないものです。今の複雑なコンテキストを持つゲームには、ある程度古典的なアーキテクチャがあるので、そのフレームの中のひとつのモジュールにニューラルネットを使う方が僕は未来があると思います。（三宅陽一郎氏）

長谷氏も、エンドツーエンドで機械学習を使おうとすると、問題が複雑すぎてうまくいかないことが多いという意見です。

例えばビヘイビアツリーの中に機械学習で選択するノードを作る方が、問題が限定され、デザイナー側もコントロールしやすい部分と機械学習に任せていい部分を判断できるのでやりやすくなると思います。機械学習に任せた部分を他のゲームでも応用できるかということについては、キャラクターの移動ひとつを取っても重厚な感じで動いて欲しかったり、爽快感を出したかったりと、ゲームタイトルによって求められることが異なるので、そこを共通にできるかは疑問です。（長谷洋平氏）

これについて奥村氏は二人に同意しつつも、他の意見も持っています。DeNAで作られた『逆転オセロニア』のエージェントも、ディープランニングでゼロベースから作られています。同氏は2018年にOpenAIが公開したAIによる“5人の”eスポーツチーム「OpenAI Five」のアーキテクチャが『逆転オセロニア』のエージェントと似通っていることに気づきました。もちろんゲームごとにチューニングをしないといけない状況は変わりませんが、一方で近年は多くの事例も公開されてきており、「このジャンルのゲームではこういう特徴量やアーキテクチャが使いやすい」といった知見が活用できる可能性はあります。機械学習であっても、ある程度はアーキテクチャの指針を平準化していくことができるため、共通のナレッジとして蓄積させることができるのではないかと考えます。

QA・デバッグのAIが求められる背景

セッション後半はQAにおけるAIの活用についてのディスカッションでした。まずQAにおけるAI活用の背景と事例について、三宅氏から紹介がありました。

まず、キーワードは近年のゲームの複雑化と大規模化です。AAAと呼ばれる大型のコンシューマーゲームは次々とオープンワールド化し、今や50キロ四方といった非常に大きな空間を扱うものも珍しくありません。コスト面においても時間においても、もはや人間のみでデバッグするのは現実的ではなくなっています。そのような背景もあり2015年頃から、AIによる自動プレイや自動バランシングといった、QAに機械学習を活用する機運が高まってきています。

たとえば、『バトルフィールドV』（2018年、エレクトロニック・アーツ）ではプレイヤーのインターフェースをハックする形でAIがキャラクターを動かすことで自動的にボットを動かしてデバッグをしています。これは機械学習ではなく、「Frostbite Schematics」というビジュアルスクリプトを使っています。できるだけ網羅性を上げる形で全領域のナビゲーションを使い、たくさんのキャラクターを出して、負荷や衝突のデバッグをしています。

これも機械学習ではない形ですが、『ディビジョン』には自動生成でマップが大量にできるダウンロードコンテンツがあります。このデバッグにはナビゲーションメッシュなどゲームの中で使われている既存のAIを活用することでQAを進めています。

次に紹介したのはプレイヤーのインプットを使ったデバッグです。プレイヤーをフォローイングするパスをずっと追うことでプレイヤーのログを再生するという形でデバッグをしています。最初のプレイは人間が行い、特殊な操作をプレイヤーのインプットから覚えさせてトレースすることで、統計的にAIに学習させます。また、プレイヤーのアクションを使って、どのインプットがどの場所でされたかを記録し、それによってデバッグを行っています。

『バトルフィールド1942』（2002年、エレクトロニック・アーツ）のオンラインモードで行われたデバッグの事例も紹介されました。16対16の大規模な戦闘のデバッグでは、模倣学習（イミテーションラーニング）という機械学習のテクニックを使ってオンラインの負荷をQAしました。キャラクターからのカメラインプットを機械学習させて、マップで自動的に動くボットでたくさんのキャラクターを出して自動プレイさせます。

三宅氏によれば、今の世代のゲームはギリギリ何とか人間がデバッグできる量とのことです。次の世代のゲームではもうAI抜きではデバッグができないというのが多くのディベロッパーに共通する見立てです。

コスト削減につながるとまでは行かずとも、今のQAコストを維持するレベルでもいいから機械学習を導入していこうと、各社とも機械学習の応用の研究開発を進めています。（三宅陽一郎氏）

QAはおもしろさをどう担保できるのか？

次に奥村氏が、QAに関すして提示した論点は「おもしろさのQA」です。これに対する登壇者3名の見解は、それぞれ次のような内容でした。

おもしろさのデバッグは難しいと思います。ただ、そのゲームが「おもしろくない」というのは検知できると思います。例えば、戦闘時間がやたら長い、アイテムを全然使わせていない、一通りの戦闘パターンしかしないなど、ゲームをつまらなくさせる一定のパターンは検出できると考えています。これらを一つひとつつぶしていくのが、「おもしろさのデバッグ」の現実的な解ではないでしょうか。（三宅陽一郎氏）

例えばカードゲームでは、カードのバリエーションがどんどん増えていくと組み合わせ爆発を起こしてしまいます。プランナーの認知限界を超える量に対しておもしろさを担保しないといけないので、機械化のニーズはなくならず、三宅さんがおっしゃった方向性で今後も多くのトライアルが行われていくと思っています。（奥村エルネスト純氏）

長谷：私が手がけた過去の事例では、ゲーム内の敵の生成や色々な要素をAIで制御することで、プレイヤーの緊張度をコントロールしようとしました。そのときは、プレイヤーの緊張度が今どれくらいかを推定するために、さまざまなプレイログから線形回帰でパラメータを抽出して推論するモデルを作りました。それでも、「大体これくらいの緊張度だろう」というところまでしか確認できませんでした。緊張度でもそのレベルなので、おもしろさというさらに抽象度の高い物を何かしらデータから導き出すのは、現時点では難しいと思います。（長谷洋平氏）

ゲームのQA・デバッグの話題になると必ず出てくる「おもしろさのQAは可能なのか」という論点ですが、現実的にはなかなか難しいというのが3人共通の認識です。むしろAIによるQAにより、おもしろくない要素を減らす手段として活用する事例がこれから増えていくのではないでしょうか。

チート対策にAIは有効か

モバイルゲームのマルチ対戦において、少数のチーターの存在がゲームのUXを大きく毀損することが昨今のゲーム運用における大きな課題になっています。

例えば2％のチーターがいることによって、ダーティゲーム（チーターに巻き込まれた意味のない試合）が20％になるという試算もあります。ゆえに少数のチーターであっても対応の温度感は高いと奥村氏は解説します。高度化するチートへの対応は難しいものでもありますが、うまくいっている事例として挙げられたのが『サドンアタック』（2005年、ネクソン）です。

『サドンアタック』では「Wallhack」と呼ばれる壁の向こうを透視するチートが行われていました。それをAIが検知し、判断した根拠を表示するのですが、それを確認してチートだと判断してバンするのはカスタマーサポートの役割です。このプロセスにより、バンの実行までにかかる時間を従来の24時間から数分に抑えることができました。

もうひとつ挙げられたのは『カウンターストライク』（2000年、Valve Corporation）の事例です。Aim assistというチートの検出をディープランニングベースで行うと80%の精度で検出できました。こうしたことからも、奥村氏はチート対策にもAIの導入が進んでいくと予想しました。

その他にもコンテンツ生成やアニメーション・音声におけるAIの活用、メタAIについての事例紹介などがありました。今回のセッションを通し、ゲーム×AIにおいて多岐にわたる技術が紹介されました。参加された方も今後の取り組みにおけるヒントを見いだせたのではないでしょうか。

CEDEC2019 AI関連セッションレポート

AIりんなのボイストレーニングが示す、情動的で人間的な機械学習とは？

汎用型ボードゲームAIの開発に向けたモリカトロンの挑戦

人工知能が敵キャラを育てる！ ディープラーニングを使った次世代のゲームAI開発

中島秀之氏 基調講演：環境との相互作用を取り込む予期知能が、機械学習の課題を解決に導く

人工知能にテストプレイを丸投げできるか？

1キロ四方のマップを舞台に地形表現の工夫で新しいゲーム体験を作る

AIは今どこまでゲームのデバッグをできるのか？

DeNAのゲームAI開発に見る”AIを活かす組織”とは？

Writer：大内孝子