ゲームQAの自動化とAIの活用から未来のQAを考える：QA Tech Night vol.7レポート

ゲーム開発における品質管理（以下、QA）をテーマにAIQVE ONEが主催したセミナーイベント「QA Tech Night」が、2023年1月18日にハイブリッド形式で開催されました。7回目となる今回は「ゲームQA自動化とAIの活用～未来のゲームテストを考えてみる～」をテーマに、3名の講師がゲームQAにおけるAI活用や自動化の最新情報とその未来について話し、後半は登壇者らによるパネルディスカッションが行われました。オフライン会場の日本マイクロソフト品川オフィスでは、ゲームテストに関する著書やツールを体験できるコーナーも設けられ、久々のリアルでの集まりに参加者も一緒になって盛り上がりました。

ゲームテストでも国際標準規格の策定が進められている

まず最初に、ソフトウェアテスト・第三者検証のパイオニア企業である株式会社ベリサーブ、研究企画開発部部長の松木晋祐氏が「”ゲームをAIでテスト”のホントのところ。～ゲーム開発を強力にサポートする自動プレイテストAI「Playable!」の野望～」と題し、業界の最新情報について話をしました。

AIQVE ONEの技術顧問でもある松木氏は、ソフトウェアテストの国際標準規格「ISO/IEC/IEEE 29119」を策定する「ISO/IEC」のco-Editorを務め、関連する著書も多数出版されています。業界のトレンドとしては、品質テストにAIを使用する「AI4QA」の動きはありますが、プロセス全体で使えるのは要求分析や詳細設計などに限られています。ゲームにおいてはさらに限定的で、その理由として、ゲームのテストタイプは他の分野と比べて非常に多いため、AIをどこで使うか決めきれないことが挙げられます。

要望が高い、AIを使ってゲーム画面だけを見て自動でテストするようなツールは、モダンなゲーム、特に大規模タイトルにおいてはまだ実現していません。AIは画像からゲームのジャンルを判断することが正確にできず、ゲームテストのAI適用研究も部品がある程度揃ってきた段階です。強化学習を使うにしても、”ゲームで1000点取る”というモデルを与えると、スコアだけ書き換えたり、過去にハイスコアを取った人の名前だけ自分に書き換えたりというズルをします。とはいえ、こうしたリワードハッキングから裏技を見つけられないかというのも色々考えているところです。（松木氏）

そうした中で、現在使えるツールとして、モリカトロンと共同開発し、プロダクトオーナーを担当する自動プレイテストAI「Playable!」が紹介されました。「ゲームQAをより高度に、より素早く」をコンセプトに、ゲーム開発で多くの時間を要するQAの判断をAIに代替させ、人間はより高度で創造的な作業にリソースを使えるようにすることで、高度化と効率化を目指しています。

具体的な機能としては、衝突試験を完全に自動化する「Collision Check」、ゲームを通しでプレイする「Playthrough」、アイテムの回収が可能か確認する「itemCollector」があり、実際にとある商用製品で使用された実績があります。現時点で使える3つの機能以外にも、今後増やしていくとしています。

参考記事：AIの力でゲーム開発を強力にサポート、自動プレイテストAI『Playable!』のサービス内容と未来像に迫る

また、松木氏は今後やりたいこととして「ゲームQAエンジニアにとってかっこいい武器を提供し、ゲーム開発者がより多くのチャレンジができるようにすること」だと言います。「そもそもソフトウェアやゲームテストは開発を支えるインフラだと言えますが、テストがクールだと開発者はリリース直前まで色々なチャレンジができ、面白いゲームがたくさん早く出てくるようになります。私たちが新しいチャレンジをするためにも、みなさんも機会があればぜひツールを試して、感想を聞かせていただきたいです」と結びました。

膨大で複雑なゲームテストをAIで支えるためにクラウドを活用する

続いて、日本マイクロソフトのGaming Ecosystem Organization/Gaming Solution Architectである下田純也氏が、「ゲーム開発・テスト・運用へのAI・ボットの活用～マイクロソフトのゲーム開発スタジオの事例～」と題し、Xbox Game Studiosの開発現場での事例などが紹介されました。

近年はAIやBotによる自動化でQAを効率化できることが増え、実際の開発の現場にも広がっています。下田氏が関わるXbox Game Studiosも同様で、特徴としては共通のツールセットを活用し、プロジェクト間でスキルや成功例を共有しています。QAは専門のエンジニア陣がおり、開発の初期段階から計画や自動化の相談、組み込み支援まで伴走します。また、もうひとつの特徴として、ゲームコードのQAでソースコードのテストも自動化していることがあり、現場で使われているフレームワークやツールなども紹介されました。

テストの自動化をスムーズにするには、標準化や共通UIにも着目し、ツールをしっかり組む必要があります。マルチプレイなどの複雑なシナリオでは、複数のBotを使ったテストも行われていますが、ゲームプレイの分析は自動化するにせよ人の手でするにせよ、データを収集しておくことは有用です。（下田氏）

昨今のゲーム開発の課題として、新世代機にあわせた開発環境の効率化や、継続的なリリースへの対応があり、テストを自動化することは今後ますます大事になる傾向にあります。また、コードが大規模になりリソースが複雑な中で品質を保証するため、Xbox Game StudiosもスタジオではCode Qualityチームが設けられており、Sea of ThievesとMinecraftという2つのタイトルを例に取り組みが紹介されました。

GDCで行われたCode Qualityチームの取り組みの紹介​​：Lessons Learned in Adapting the ‘Sea of Thieves’ Automated Testing Methodology to ‘Minecraft’

最近のトレンドとしては、柔軟に対応できるテストマシンの構築にクラウドが使われ、リモートプレイや自動テストの大規模スケール化が可能になっています。イベントの前日には、Microsoftが支援するOpenAIのAPIのうち、ChatGPTのベースにもなっているGPT-3をはじめ、Codex、DALL-EがAzure上で使えるようになったことが発表されています。

会社としてもAIに力を入れる方針を発表しており、研究機関のMicrosoft Researchと協力してさまざまなゲーム開発ツールを実用化しています。例えば、ローカライズで生じる言語や文化の違いの問題や表現の違いを見つけるのも簡単にできるようになっており、下田氏も松木氏と同様に、「AIで自動化できるところは任せて人間はクリエイティブな仕事に力を入れるのがいいのではないか」とコメントしています。

生成系AIの進化でAIを監視するAIが必要に？

モリカトロンの森川幸人氏は「AIのアートはほんものか？—AIと品質保証と作業効率化の超未来—」と題し、最近話題になっている生成系AIの現状とその課題について取り上げました。

冒頭では、対話型AIのChatGPTで作成した文章や、GANで生成した絵と人間が描いた絵を並べて見せ、この数年で生成系AIの開発が急速に進んでいることがあらためて確認されました。また、言語処理系AIと画像生成系AIは別々に進化してきましたが、2020年頃から連携することで、テキストから画像を生成できるようになったり、逆に画像からテキストを生成することができるようになりました。

ゲーム制作の現場でもすでに一部で使い始められ、応用範囲も広がっています。ゲームプレイ中にも使われ、ユーザーごとに違う画像や違うテキストを生みだすこともできます。一見するとクリエイティビティがあっていいことのように思えますが、困った問題も起きていると森川氏は指摘します。

生成系AIは著作権や意匠の侵害、人権侵害、公序良俗違反をしてしまったり、嘘や不正確な情報も生成してしまいます。それにより今までにない問題が発生する可能性があるので、そうした事態をどう管理するかが課題になっています。特にゲーム中のユーザー環境をチェックするのは難しく、AIを監視するAIが必要な状況になっています。（森川氏）

QAをぎりぎりまで攻めてゲームデザインを面白くする

「QA自動化とAI活用～未来のテストを考えてみる～」をテーマにしたパネルディスカッションは、前半に登壇した3名の講師に日本デジタルゲーム学会理事の三宅陽一郎氏と司会を務めるAIQVE ONEの桑野範久氏が加わった5名で行われました。

第1回目のQA Tech Nightが開催された5年前に比べて、AIの自動化がどれだけ進んだのかという質問いに対し、森川氏は「現状としては少し実用化が見えてきて、自動プレイやルールベースで動かしているところを最後までAIで乗り切れるのかが判断できる時代になってきたのではないか」と回答。下田氏も「研究が進んでいるので、近い将来には現場に広まるのではないか」とコメントしました。

松木氏は「AIの教育に必要な学習データを、個々で独立しているゲームからどう集めるのか課題だったが、少ないデータでも学習できる技術が今後活用されるのではないか」と言います。桑野氏は「テストの自動化は全部可能ですが、期待されているのはAIが自律的にテストして報告も自動で行うようになることではないか」と語り、自社でもその開発を目指しているとしています。

三宅氏は、「大きな流れとして機械学習の導入と挫折があり、そこからQAだけでなくゲームの作り方そのものが変化していると感じます。そこで今後は、AIの自動生成や自動配置を、各AIがシミュレーションで欠点を潰していくところが大きくなっているのではないか」とコメント。また、EAの研究論文から、AIの使い方としては今まで一番離れていた、生成とデバッグが同時に行われる例を紹介し、「AIが自由に作ったものをQAで正すというより、むしろQAのぎりぎりまで攻めることでゲームデザインを面白くする未来もあるのではないか」と言います。

松木氏はソフトウェアテストのトレンドは、今までは上流工程でできるだけバグを潰すシフトレフトの流れが強力にあったところから、ユーザーが使っている環境でテストするテスティング・イントロダクションと呼ばれるシフトライトの流れがあり、TeslaやNetflixが導入して話題になっていることを紹介。「ゲームもプレイヤーがどういう体験をしたのかというデータを収集し、次回作に生かすようなことが今後起きてくるのではないか」とコメントします。

開発の道具を作り届けることもQAエンジニアの仕事

「AIでテストができればQAエンジニアの仕事は無くなるのではないか」という質問に対して松木氏は「Playable!」も、その一例ですが、開発の方に道具を作って届けたり、ゲームにあわせてチューニングしたり仕事はたくさんあります」と言い切ります。三宅氏からもゲームの開発に使えるAIの例として研究中の「MCS-AI動的連携モデル」が紹介されました。こうしたゲーム自体がゲームを学習するようなAIが登場するようになれば、熟練の技を伝承するのも可能になり、ゲーム制作の現場に入る新人をサポートして面白いものが作れるチャンスにつながるかもしれない、という意見も出てきました。

そこから話題は、ゲームの面白さをAIが判断できるのかという議論に移りました。三宅氏は「AIは欠点を見つけるのは上手いので、面白くないゲームは見つけられるけれど、それを潰すだけではバランスが崩れる場合があります。判断するには面白さをパラメーターにする必要がありますが、パターンにはまったから面白いとも言えず、100％信用できるものにするのは難しいのではないか」とコメントします。

森川氏は「ゲームAIの実用化が近づき、不気味の谷をどう渡るのかが課題になりはじめている。そうした話が真剣に考えられるところまでAIが使えるようになってきたのを実感している」と言います。三宅氏は「AIは5年前より明らかに進んでいるが、クオリティを出せるところと出せないところがある。話題になっているGPT-3もとても大きなデータが必要ですし、人間の創作活動を置き換えることはおそらくありえないでしょう。これから必要なのは協調するツールを作ることで、人間とAIの新しい時代のインターフェースを構築することです」と話します。

最後に三宅氏が「これからはAIが誰でも使えるようになり、AIの民主化が世に知らしめられなければいけないのではないか」とコメントし、3時間におよぶプログラムを締め括りました。 

Writer：野々下裕子