人間のように複雑なテストケースを実施できる敵対的強化学習テストAIの可能性

多数のNPCがオープンワールドに登場する現在の大規模ゲームを開発するには、膨大な数のテストケースを実施して品質を保証しなければなりません。最近では人間テスターとテストボットのハイブリッドチームがテストを実施するようになりましたが、この体制にも限界があります。こうした従来のテストの限界を超える新しいテストAIの可能性について、以下では解説します。

人間テスターとテストボットの限界

今日のテスト業務では人間あるいはテストボットのどちらかがテストケースを実施しますが、両者にはそれぞれ長所と短所があります。

人間テスターの長所は、ゲームの仕様を深く理解したうえで複雑な条件や手順のテストを実施できることにあります。「クリエイティブなテスト」に関しては、AIはまだ人間に及びません。対して短所は疲れたり、飽きたりすることです。こうした短所により、人間は長時間にわたるテスト実施を苦手としています。

テストシナリオを自動的に実行するテストボットの長所は、多数のテストケースを連続的かつ長時間実施できるところにあります。この長所を生かせば、テストボットに基本的な仕様の確認を任せられます。対して短所は、複雑な条件や手順のテストケースや臨機応変な対応が求められる探索的テストの実施には不向きなところです。このようにテストボットには限界があるため、大規模ゲームのテストを完全自動化できないのが現状です。

人間テスターとテストボットのハイブリッド体制が結成されるのは、人間とボットの短所を補完する狙いがあります。しかし、もし人間のように複雑なテストケースを柔軟に実施できるテストAIが登場したら、人間が担当していたテストケースの一部をAIが担当できるようになるでしょう。こうしたテストAIは、現行のテスト体制を大きく変革する可能性を秘めています。

Electronic Arts（以下、「EA」と略記）の研究チームは今年6月、以上のようなスマートなテストAIを実現しようとした試みを論文にまとめて発表しました。同AIの実現にあたっては、ゲームプレイAIの開発に多用される強化学習と画像生成に使われる敵対的生成ネットワーク（Generative Adversarial Networks、以下「GAN」と略記）を融合させたような技法が用いられました。

参考論文：Adversarial Reinforcement Learning for Procedural Content Generation

強化学習と敵対的生成ネットワークの融合

以上のEA研究チームが発表した論文を紹介したテック系メディア『TechTalks』の10月4日付の記事によると、スマートなテストAIのアーキテクチャはテストすべきゲームステージを生成するジェネレーター（Generator）とそのゲームステージのクリアを目指すソルバー（Solver）から構成されています。この構成は、ジェネレーターとディスクリミネーターから構成されるGANにインスパイアされたものです。

ソルバーは生成されたゲームステージをクリアする度に報酬を得ます。対するジェネレーターは、ソルバーにとって挑戦的だがクリアが不可能ではないゲームステージを生成すると報酬を得られます。両者が互いに報酬が得られるようにゲームステージの生成とゲームのクリアを繰り返せば、ソルバーは複雑なゲームプレイが求められる難関ゲームステージもクリアできるようになります。こうした報酬を得ることによって環境に適応する過程は、強化学習にほかなりません。

GANと強化学習が融合していることから「敵対的強化学習」と呼ばれる技法によって難関ゲームステージをクリアできるようになったソルバーは、人間テスターのように複雑なテストケースを実行できるようになって、従来のテストボットの弱点を克服すると考えられます。

EA研究チームは、さらに「補助入力（Auxiliary Input）」という新たなパラメータも導入しました。このパラメータは、ジェネレーターが生成するゲームステージの難易度を調整する機能を担っています。補助入力を使えば、プラットフォームゲーム（ジャンプしながら足場を移動するアクションゲームの一種）において足場の数を増減させたり、レーシングゲームにおいてコースの勾配を調整できたりします（トップ画像参照）。こうしたゲームステージの難易度調整によって、ソルバーの学習速度を制御できるのです。

EA研究チームは、敵対的強化学習テストAIの性能を調べるために、従来のテストボットと古典的強化学習AIを加えた3つのテストエージェントに簡単なプラットフォームゲームとレーシングゲームをプレイさせました。その結果、敵対的強化学習テストAIが両方のゲームに関してもっとも上手にプレイすることが確認されました。

人間テスターは高度なドメインに専念すべき

以上のような敵対的強化学習テストAIを大規模かつ複雑なゲームの評価業務で使うには、補助入力を高度化してより柔軟かつ広範な難易度調整が求められます。論文では補助入力を高度化する方向性として、難易度を調整するパラメータを増やしたり、ソルバーのプレイの複雑性もパラメータで調整したりするといったアイデアが挙げられています。また、単一のジェネレーターに対して多数のソルバーを設定することで、より多様なゲームステージに対処できるようにすることも考えられています。

敵対的強化学習テストAIの実用化にはさらに多くの研究が不可欠ですが、論文を執筆したEA研究チームは同テストAIの可能性を高く評価しており、その実用化に関しても楽観視しています。論文の筆頭執筆者であるLinus Gisslén氏は将来の展望として、人間テスターは地面から落ちるような単純なバグの発見ではなく、ゲームバランスの調整やゲームの「面白さ」の評価のような高度な判断を伴う業務に専念すべき、と考えています。こうした同氏の展望を実現するためには、スマートなテストAIの早期の実現が求められるでしょう。

ゲーム開発業務におけるAIの進出は以上に紹介したテスト業務だけにとどまらず、コーディングといったAIには不可能と思われていたドメインにも及んでいます。こうしたAIの進出は人間の業務を奪うようなものではなく、むしろ人間をサポートして人間が真に固有なドメインに専念する方向に向かっています。そして、人間とAIの新たな協働を実現したゲームスタジオこそが今後のゲーム開発競争で生き残っていくことでしょう。

Writer：吉本幸記