実施はAI、評価は人間。AIと人間の分業が進む海外ゲームQA事情

近年のビデオゲームは大規模化・複雑化が進んだことによって、QAにかかるコストが莫大なものとなっていることが課題になっています。作業量が膨大かつ難易度も上がったゲームのQAを行うにあたり、テスト（デバッグ）を自動的に実行するAIを導入することで解決するケースが増えています。この記事では、海外におけるゲームQA用AIの事例を紹介します。

海外ゲーム業界でも進むゲームQA用AIの活用

海外ゲーム業界におけるQA用AIの全般的傾向については、ソフトウェアテスト企業test.aiのCTOであるJason Arbon氏がMediumに投稿した記事「ゲームをテストするためのAI」にまとめられています。この記事では、ゲームQA用AIが活用されるドメインをゲーム内ストア、ゲームプレイ、アプリストアに分けて解説しています。

現在の多くのゲームでは、プレイヤーが操作するキャラクターが使う武器やスキンを購入できるゲーム内ストアが実装されています。ストアから購入できるアイテムは随時更新されるので、更新される度にアイテムが正常に表示されるか確認するテストが必要になります。アイテムが3D表示される場合にさまざまな角度から確認しなければならないので、単純な画像一致検出ツールでは不十分です。

AIを活用すれば、3D表示されるアイテムの表示確認が実行できます。というのも、AIは特定の角度から見たアイテム画像から、さまざまな角度から見えるアイテム画像を生成して表示確認を実行できるからです。

オープンワールドのRPGのようなプレイヤーが実行できる行動が無数に存在するゲームの状態遷移についても、ゲームQA用のAIが活用できます。その活用方法とは「宝箱を開ける」というようなテストしたい状態を目標とした強化学習AIを導入するというものです。強化学習AIは、設定された目標を遂行するための行動を試行錯誤します。この試行錯誤の過程が、まさに動作確認テストとなるのです。強化学習AIの目標を変えれば、さまざまなテストケースが実行できます。

AppStoreやGooglePlayでは、日々多くのゲームがリリースされています。AppleやGoogleのようなプラットフォーマーは、ゲームアプリをリリースする前に、運営するプラットフォームを脅かすような致命的な不具合がないかどうかをチェックしています。こうした基本動作確認を人手で行うのは、もはや現実的ではありません。現在ではAIボットが基本動作確認を実行しています。AIボットを活用すれば、動作環境を変えても自動的にテストが実行できるのです。

ビルドバージョンを評価する第一関門を担う「WorldTester」

Polygonが10月に公開した記事では、テーブルトークRPGのD&DにインスパイアされたRPG 『Baldur’s Gate 3』（2020年10月、Larian Studios）を開発したLarian StudiosのゲームQAにおけるAI活用事例が紹介されています。

ゲームQAでは「扉を開ける」「アイテムを拾う」といった動作をさまざまな状況で何度も繰りして確認することが求められます。Larian Studiosはこうした反復的な動作テストを自動化する試みを2014年頃から始めており、現在では「WorldTester」というQA用AIを運用しています。同AIは、ゲームの新しいビルドバージョンが完成する度に、自動的にアクションやバトルに関するストレステストを実施します。複数のビルドバージョンを同時にテストすることもあります。こうした自動化テストの結果、致命的な不具合がないと判明した後に人間のQAチームがQAを実施します。同AIの自動化テストのおかげで致命的な不具合が生じてテストが中断されることがないため、人間のQAチームは効率的にテストを実施できるのです。

4Gamerの記事によれば『Baldur’s Gate 3』では600人のNPCが4万6,000ほどの台詞を話すのですが、こうした台詞のチェックもWorldTesterが人間のテスターよりもはるかに高速で実施しています。しかしながら、同AIのテスト結果をまとめてQA進捗を総合的に判断するのは人間の役目です。Larian StudiosはWorldTesterによって人間のQAチームが不要になるとは考えておらず、同AIを人間のQA業務を支援するものと位置づけています。

画像認識を活用して表示確認を自動化した『Candy Crush Saga』

ソフトウェアテスト専門メディアInfoQは、2019年12月30日付けの記事で大ヒットパズルゲーム『Candy Crush Saga』（2012年、King Digital Entertainment）のQAにおけるAI活用事例を紹介しています。

多数のゲームステージがあり20以上の言語に対応しているCandy Crush Sagaの画面表示確認を人間のテスターで網羅的に実行するのは、現実的とは言えません。そこで同ゲームを開発したKingは、画像確認を自動実行するQA用AIボット「BAIT- Bot for AI Testing」を開発しました。このAIボットは、ゲームの各画面のスクリーンショットを撮影後、その画像にふくまれるテキストやアイコン、さらにはボタンを画像認識する、というものです。画面遷移が発生するボタンを認識した場合は、そのボタンをタップして画面遷移後、新たな画面のスクリーンショットを撮影します。同ボットには画面の違いを識別する機能も実装しているので、画面遷移を繰り返してゲーム画面を網羅的に確認することもできます。

同ボットの画像認識にはOpenCV、テキスト抽出にはGoogle Vision APIが活用されました。学習データとなる画像はKingが開発したゲームからだけではなく、競合他社が開発したパズルゲームからも収集しました。こうした性能のAIボットを開発した結果、さまざまな解像度のデバイスをテスト対象としても正しく画像認識できるようになりました。

以上のように、反復的かつ単純なタスクが少なくないゲームQAでは、急速にAIの活用が広がっています。ゲームQAにおけるAIの活用はQA業務から人間を駆逐するのではなく、テスト結果の総合的評価、さらには「このゲームは面白いのか」といった価値判断に人間が専念できるようにするのです。

Writer：吉本幸記

Photo by Fredrick Tendong on Unsplash