ゲームAIの分岐点に求められるAIジェネラリストとは何か？：三宅陽一郎氏×森川幸人氏対談

2020年8月19日に行われたウェブセミナー「QA Tech Night ゲームAI活用最新事例と、未来の品質管理」では、日本デジタルゲーム学会理事の三宅陽一郎さんとモリカトロンAI研究所所長の森川幸人さんが、さまざまな事例を紹介しながらゲームAIの最新動向を探りました。モデレーターを務めたのはmonoAI technology代表取締役社長の本城嘉太郎さんと、同社AIQA事業部セールスマーケティングの桑野範久さんです。

“勝ったら終わりではない”ゲームAI

ディープマインド社が2015年に発表したDQN（deep Q-network）は、アタリのゲームをディープラーニングと強化学習で学習し、人間と同等以上のプレイができるようになりました。その後、ディープマインド社はAlphaGoを開発し、2016年には世界最強の棋士であったイ・セドルを破ります。このようにAIの進化を示す指標としてゲームが取り上げられることは多いのですが、古典的なゲームを題材にAIを学習させるという研究はアプローチのひとつとして昔から確立しています。

古典的な2Dゲームはスクロールしないので、固定されたフレームの中だけをディープラーニングで処理すれば良いので学習しやすいです。その最新の実験を発表した論文が「Learning to Simulate Dynamic Environments with GameGAN」です。ここで行われていることは『パックマン』（1980年、ナムコ）を視覚情報からコピーすることです。通常ゲームはコントローラーからインプットして動かしますが、コントローラーのインプットが届いた時の画面の変化をひたすらGANが学習していきます。「このコントローラーのインプットが来たから右に動かさないといけない」とか「このAIはこちらに動くはずだ」という具合に学習することで見た目から『パックマン』を真似することができます。これまでのGANは絵や写真をそっくりに描きましたが、動的なものでGANを使うというところが新しいと言えます。（三宅陽一郎さん）

『パックマン』がシンプルな画面だからGameGANで学習が可能になっているというのもありますが、DQNを改良版したAgent57も、『Pitfall』『Solaris』『Montezuma’s Revenge』などの、場面によって画面の角度が変わったり、2画面になって上と下を行き来する少し複雑な2Dゲームを強化学習で学習し、人間以上のスコアを出すことに成功しています。これでようやくアタリの57個のすべてのゲームを克服したということになり、次はスクロールする2Dゲーム、さらには3Dゲームが攻略できるように進化していくのではないかと三宅さんは見ています。

また、強化学習で実際のゲームを学習するという動きはゲーム業界以外の流行りでもあります。マイクロソフトは今年のGDCで「Project PAIDIA」という、Xbox Oneの3Dアクションゲームに人間のプレイヤーと協調できるエージェントを作るプロジェクトの開始を発表しました。例えば不確定な状況下の意思決定や、リアルタイムに蓄積される記憶の生理、予測できない状況下での強化学習を研究の柱として上げています。Ninja Theory社との共同研究ですが、製品版のゲームにマイクロソフトのチームが入ってくるフェーズになったと言えるでしょう。ただ、3Dゲームを強化学習で学習させることの難しさを痛感していると森川さんは言います。

AIがゲームを作ってくたらそれに越したことはないので一生懸命研究していますが、gameGAN、DQNもなかなか手ごわい。アタリのようなシンプルなゲームはいいけれど、今の3Dで描画されたオープンワールドのように背景が次々と変化するゲームだと難しいですね。（森川幸人さん）

ここで、3Dゲームの中で唯一、強化学習が進んでいる題材として三宅さんが上げたのは格闘ゲームです。道場モードにAIを導入した『サムライスピリッツ』（1993年、SNK）のような先行の事例もあり、特に韓国ではディープラーニングが積極的に導入されているとのこと。なかでも興味深いのは『ブレイドアンドソウル』（2012年、NCSOFT）の強化学習をベースにしたAIです。ここでは弱い敵キャラも残すことで、相手（人間）とのバランスをうまく取ってプレイできるようになっています。

格闘ゲームにおいては「人間に勝つ」ことが第1の目標にはなりますが、うまく人間と戦えることも重要です。何のストッパーも掛けずに瞬時にリアクションを返せば、当然コンピュータのほうが強いわけです。それを、あえて「いい感じに人間と遊んでくれるレベル」に抑えた上で、人間より強いかを勝負します。現在モリカトロンは、そのような格闘ゲームAIを研究開発しています。

ただ勝つだけではなく「いい感じに接待してくれる」バランスを対戦の中で学習できるようにしたいと考えています。ルールベースで書いてしまうと汎用化はできますが、対戦相手に合った接待をしているとは言えないのでより重たい処理にも耐えられるニューラルネットワークも使っています。そもそも、接待されたことがバレてはいけないわけです。負けてくれることが必ずしも嬉しいとは限らず、たまにギリギリ向こうが勝つことも接待になります。人間にとって何が面白いか、楽しさとは何かという所まで追求することになるので、なかなかやりごたえのあるテーマだと言えます。（森川幸人さん）

こうした研究開発は他国でも進められています。ロシアのAI研究所Mind Simulation Labも『ウィッチャー』シリーズの主人公ゲラルトを人工知能化した研究を発表しています。

ゲームをプレイするAIは人間に勝利すれば終わりではなく、プレイヤーそれぞれに合わせて一緒にゲームを楽しんでくれるパートナーになり得るAIを実現させることを多くの開発者が目指しているはずだと森川さんは語ります。

もっとゲームをおもしろくする、ゲーム×AI×？

次に三宅さんが話題に上げたのがeSportsの可能性についてです。ここ数年、盛り上がりを見せるeSportsにはさまざまな楽しみ方がありますが、人類最強のeSports選手（チーム）とAIを対戦させることはコンテンツとしても魅力的です。三宅さんは、将来的にはeSportsシーンとゲームAI開発がコラボレーションする可能性があるという見通しを示しました。

AIの開発をオープンで進めるためのNPO、OpenAIが提供するフレームワーク「OpenAI Gym」を使った5体のAIエージェントによるeeSportsチーム「OpenAI Five」は『Dota 2』を12,000コアで学習し、2019年に人間側のプロゲーマーチーム戦い勝利しました。12,000コアの学習は人間の学習に換算すると180年分の量になるので、それが果たして公平な戦いなのかという疑問はありますが、AIと人間それぞれの最強プレイヤーを競わせることはeSportsの文脈に乗りやすいアプローチと言えるでしょう。

【関連記事】eSports世界チャンピオンを下したOpenAI FiveはゲームAIに何をもたらすか？

森川さんが重要だと考えているのはゲーム以外のさまざまな知見です。例えばモンスターをリアルにデザインしたい場合は、一般に、デザイナーが自分の中のイメージで見た目や動きを付けて生き物らしく見せています。しかし、生物の本当の仕組みを理解しないと、架空のモンスターであってもその認識や判断、行動にリアリティを持たせることはできません。この生き物の本当の仕組みについて、森川さんはイラストとともにいくつか例を挙げました。

生き物やモンスターの造形や生態がそうなる背景を知ることで、ゲームの世界設定に合わせた、まさにそこに生息しているようなキャラクターのデザインができます。また、こうした知識を持つことで、より具体的なゲームのアイデアが生まれる下地となると森川さんは言います。ただ図鑑で見た外面だけをトレースしているようでは行き詰まってしまうのです。

森川さんによれば、ゲームプランナーの大切な役割は、世界にたくさんある（ゲーム以外の）楽しいことを取り入れることです。同時に「ジェネラリスト」の必要性も提唱します。物理学の世界では「理論屋」と「実験屋」がいますが、理論屋が立てた理論を実験屋が証明してくれないとノーベル賞が取れないと言われています。しかし物理の世界も多岐にわたっているため、理論屋と実験屋のマッチングが難しくなっており、スペシャリストではないものの、それぞれの知識をある程度以上のレベルで持つジェネラリストが両者をつなぐケースが増えています。

ゲームの世界でも、「世の中にこういう楽しいことがありますよ」「このネタ、ひょっとしたらゲームに使えるんじゃないですか」と提案したり、良いゲームのアイデアを持つ人に対して「周辺でこういう技術がありますよ」と紹介するジェネラリストが必要になる時代になってきています。学術論文で発表されるAIのモデルは高度に専門化されているため、ゲームデザイナーは自分が作りたいゲームに合うAIを見つけることが厳しいのが現状です。そこでゲームの仕組みや必要なことを理解し、世の中にあるAIの技術にも精通しているジェネラリストが活躍できるはずです。

ゲームAIに関してはまだまだエンジニアも圧倒的に足りない状況ですが、同時にゲームデザイナー、ゲームプランナーとの間の橋渡しができるようなジェネラリストとなる人材も増やしていく必要があると森川さんは指摘します。

森川さん自身も、夢の島のハエ問題（ゴミの埋め立て地に大量発生したハエに殺虫剤を撒くと翌年にはそれに耐性を持つハエが出てきくるので、さらに強力な殺虫剤が必要になる問題）から着想を得て『アストロノーカ』を作りました。

【関連記事】20年前に遺伝的アルゴリズムを初めて組み込んだ農業ゲーム『アストロノーカ』が蒔いた種

森川さんの紹介する有名なゲーム理論のひとつに「囚人のジレンマ」があります。これはプレイヤー双方が協調して相手を裏切らなければ不利益を最小にできるが、あるルールのもとで自らの利益を最大化しようと行動する場合に成立するナッシュ均衡を起こした結果、双方が裏切ることで不利益が最大になるという話です。身近な例では、コロナ禍で春先にトイレットペーパーが一時的に品薄になったのもそれにあたります。みんなが通常通りに買えば品薄は起きなかったにもかかわらず「他の人が買い占めて自分が買えなくなるかもしれない」という疑心暗鬼からみんなが買い占めに走ったこと、本当にトイレットペーパーが店頭からなくなってしまいました。「自分は合理的な判断ができるけれど、他の人はできないかもしれない」という疑念がそういう行動につながってしまうのがジレンマと呼ばれる所以です。

社会の雰囲気が大きく変わるタイミングでこうした小ネタを実際に作ってくことが大事です。そのほとんどは役に立たないかもしれません。しかし、その中から1つでも2つでも役に立つものが生まれていって、その先でさまざまな要素と融合し反応し合うことで、いつかパラダイムシフトを起こすのではないでしょうか。（森川幸人さん）

品質管理AIの未来

ゲームにおけるAIの導入において、大きな注目を集めているのが品質管理の分野です。品質管理と一口に言っても、レベル設計、チート対策、テストとさまざまな分野に及びます。例えば、パズルゲームの新規のマップが何手で解けるかテストを自動化する、人間がラベリングした1万個の画像を学習したAIがチートを監視し、違反したユーザーに警告を上げ、最終的には人間がジャッジするように。

三宅さんは『アサシン クリード オリジンズ』（2017年、ユービーアイソフト）の事例をインパクトのある事例として紹介しました。それはオブジェクト同士や、キャラクターの生成ポイントと配置オブジェクトの干渉テストで、色々なオブジェクトごとに自動的にスクリプティングしてデータ解析をするというものです。従来は人間が行っていましたが、広大なオープンワールドで500万個のオブジェクトがあると人力では限界が生じます。この場合、スクリプトなのでAIとは異なりますが既存の技術でも工夫次第でQAを効率化できるという事例です。

また、『Sea of Thieves』（2017年、Rare）のようにテストを自動化する事例もあります。これはAIの基本機能が正常に動いているかどうかのテストです。コンテンツの中で全部チェックするのではなく、小さいテストマップをたくさん作り、テストフレームワークを使って毎晩自動でチェックします。

本城さんは機能実装を優先するあまり、なかなか品質チェックまで人を割けない現場の意識がゲームにおける品質管理の自動化を阻む壁となっていると指摘します。開発の中に一人でも品質管理を専任で行うエンジニアがいれば、AIとまでいかなくとも、スクリプティングやテストフレームワークを作った自動化を行うことができるはずです。

特に、日本のゲーム産業ではAAAタイトルでもシリーズごとにチームが組まれることが多く、機能実装が最優先されがちです。それゆえに品質管理は、力量のある一部のベテランが道を切り拓いているという状況です。理想を言えば、会社としてチームビルディングをしてやるべきところです。

QAで専任のチームを持ちQAツールの開発・運用を事業化しているmonoAI technologyが感じている課題のひとつはQAエンジニア不足です。とりわけQAエンジニアは広範かつ高度な知識と経験が求められ、ゲーム開発の経験のみならず品質管理への理解などが必要です。そのため、monoAI technologyでは人間のテスターによる通常のテストで品質を担保した上で、AIで人をサポートするというアプローチを採用しています。

ようやく、いくつかのツールができあがって、実戦投入しています。ディープラーニングを使った動画解析系のツールもその1つで、昨年のCEDECでの発表ではまだ準備段階だったものを今年は実戦投入することができました。今オリジナルで動画のクラウドを作り、弊社の社員のテストプレイ動画をすべてアップロードしておき、バグレポートに必ず動画のURLを付けるなど、地道なところから始めています。（本城嘉太郎さん）

画面のパラメータチェックもこれまではすべて人の目でダブルチェックしてきましたが、何度やっても人力では抜け漏れなどのミスが生じます。それをサポートするためにに「ここを見てください」とフォーカスしてくれるツールを実戦投入することもしています。（桑野範久さん）

三宅さんもQA分野のAIの難しさを痛感しているとのことです。ゲームとゲーム以外のアプリケーションが異なる点は、人間の操作を再現することの難しさがあることです。ゲームは、衝突判定や他のタイミングが僅かでもズレただけで問題が生じるため、機械的にログを取るだけでは、操作のトレースと結果を合致させることができません。しかし、それはゲームが最もリアルタイム性が求められ、インタラクティブで繊細だということでもあります。

テスターをAIに置き換えるという発想と、テスターをエンハンスするという、ふたつのアプローチが考えられます。どちらも探求すべきですが、今はエンハンスメント的QAという方向性が現実的だと思います。例えばチートの監視やウォークスルーの検知は自律的なデバッグAIにやってもらい、宿屋に泊まって体力を回復させたりアイテムを購入して装備した結果を検証する際には、動画を記録しておいて再生しつつツールがテスターさんをサポートする。そのようなハイブリッドなQAAIの考え方が必要だと思います。（三宅陽一郎さん）

ゲームAIは分岐点にある

分岐点を迎えたとされるゲームAIですが、三宅さんは端境期の今こそがチャンスでもあると考えています。これから数年かけて、これまでとは違うやり方で、ゲーム業界外を巻き込んだり、QAやさまざまな用途の機械学習がゲームに実装される出発点にようやく立てたからです。

機械学習を実際に導入するフェーズに入ったことで、これまでとは異なる文脈でAIが語られるようになりました。これまでのようにゲーム業界の真ん中で育まれたゲームAIがFPSに搭載されるフェーズとは異なり、ゲーム業界外でも実装例が出てきたり古典的なAIと融合するという形で、ゲームAIの文脈が塗り替えられています。これから色々な事例や成功例・失敗例が出てくることで、ゲームAIの新たな全体像が作られていくと考えています。（三宅陽一郎さん）

境界線が曖昧なものも取り扱うエンターテイメントを作るには、やはりジェネラリストが必要です。ゲームAIは（ゲームの）外のAIと中のAIと線引されてきましたが、両者の境界は揺らぎつつあると思います。QAの現場のリクエストからAIを開発する方向もあれば、中のAIからスピンオフして外のAIに応用して考え方もあります。（森川幸人さん）

実験の中で示されているAIの進化をどうやって現場に役立つ技術につなげていくかというところが僕の役割だと思います。QAAIも引き続き開発を進めていきますが、もうひとつ仮想空間のプラットフォームも作っており、そこをAIの学習環境に使えるのではないかなと思っています。そうしたテクノロジーを使って、どうやっておもしろいものを作っていけるかを今後も探求していきたいと思います。（本城嘉太郎さん）

Writer：大内孝子