AIの力でゲーム開発を強力にサポート、自動プレイテストAI 『Playable!』のサービス内容と未来像に迫る

モリカトロンとベリサーブが共同開発したゲームの自動プレイテストAI、その名も『Playable!』が、現在ベリサーブから提供されています。『Playable!』は「Game-Python Bridge」と呼ぶ技術を使用することで、ゲーム側にできるだけ変更を加えることなく、ゲームを外部のプログラムから操作できる仕組みを実装することで、自動テストに関する機能をゲームと独立して開発できる環境を実現しています。

導入する際は、Unreal Engine4またはUnityであればプラグインの導入と、プレイヤー位置などゲームを自動で操作する上で必要な情報を収集する処理の実装が必要となります（※TCP 通信ができれば、ゲームプログラムの実行はゲーム機の開発機でも可能です）。

ベリサーブは、今から20年ほど前にソフトウェア開発のテストや品質保証ビジネスを、日本でいち早く開始したパイオニア企業です。現在では、国内の車載システムには同社のサービスがほぼすべてに導入されているほか、エンタープライズ（基幹システム）や、家電の組み込み製品からJAXAの宇宙開発システムなど、幅広くビジネスを手掛ける同社ですが、これまで唯一、進出していなかったのがゲーム分野でした。

同社のゼネラルマネージャー、松木晋祐氏に『Playable!』を通じてゲーム分野に進出することになったきっかけを伺ったところ、「ゲーム産業は、人を幸せにするためのビジネスですし、とても魅力的な市場だと思っていたのですが、今までは採算面での問題などがあったので参入することができませんでした。もし我々が参入するのであれば、人間の手ではなく、なるべくツールやコンピューターを使って、人間がするのと同等のサービスが実現できるのであれば、ぜひやってみたいとは考えていました。ですが、あるときmonoAI technology（モノアイテクノロジー）の本城嘉太郎（現モリカトロン代表取締役社長）さんとお話させていただいたら、我々と同じ考えをお持ちだったことがわかりましたので、じゃあやってみようかということで研究開発が始まりました」とのことでした。

『Playable!』の特長

前述したように『Playable!』は、プログラムの変更を最小限にとどめた上で、さまざまなゲームに使用できる「Game-Python Bridge」と呼ぶ技術を導入しています。現在『Playable!』で利用できるツールは、以下の3種類があります。

1：通しプレイツール

「通しプレイ」とは、ゲームを最初から最後まで自動でプレイし、ゲームが攻略可能であることを確認するテストのことです。あらかじめ人間が作成した「お手本データ」をもとに、本ツールを使用してAIに「通しプレイ」をさせることで、正常にクリアできるかどうかを自動で確認することができます。

もし「通しプレイ」でクリアが不可能であることが判明すれば、人間の作業者がログをチェックすることで、具体的なバグの発見がしやすくなります。モリカトロンの岡島学リードエンジニアによると「通しプレイ」は非常に重要なテストでありながら、現状では人力で高頻度のテストが実施できていない分野とのこと。この問題を解決するのが、まさに本ツールとなるわけですね。

本ツールを使用すれば、人間の代わりにコンピューターがゲームをプレイすることで24時間プレイも可能となり、なおかつ高頻度でのテストが実施可能となります。

2：コリジョンチェックツール

ゲームを自動操作して、マップ上のすべての壁に衝突して問題がないかどうかを自動でチェックする「総当たり系」のテストです。見た目には障害物があるのに、実際は当たり判定がないため通り抜けができてしまう、あるいは高速で壁にぶつかるとすり抜けてしまうといった不具合を、プログラムと設定上の両方の問題からチェックすることができます。

まずは事前処理として、ゲーム内の地形を3Dスキャンして解析し、その結果から確認をすべき場所（※例：「壁を一定間隔で」「何センチ単位で」など）を抽出します。確認場所の決定後は、複数のPCで複数のゲームを立ち上げ、抽出した大量の衝突目標を1つずつ、総当たりチェックすることが可能となります。テストの結果は、専用のツールとゲーム上でも確認が可能となり、非エンジニアでもチェックで見つかった問題点を把握できるメリットがあります。

岡島氏によると、オープンワールド系の作品のように、広大なマップが登場するゲームが増えた昨今では、ゲーム内の当たり判定が適切に設定されているかを人力でチェックするのは難しくなっているそうです。ですが、本テストを使用すれば、人間と違って同時にたくさん動かすことが簡単にでき、複数のゲームを同時にプレイして並列してチェックを行うことで、広大なマップでもまんべんなくチェックすることが可能となります。

3：アイテム回収テストツール

ゲームを長時間起動して、例えばマップ上をひたすら徘徊したり、あるいは敵を倒し続けたり、落ちているアイテムをひたすら回収したりする、などといった操作を続けても、ゲームが正常にプレイ可能であることを確認するテストを自動化するための第一歩として作られた「マップ内のすべてのアイテムを回収するような仕組みを構築する」ツールです。

本ツールは、前述した「通しプレイ」のように、事前に「お手本データ」を作るわけにはいきません（※そもそも、データを作った時点で確認が済んでしまいますよね……）。そこで、目的地までの経路を探索する機能と、発見した経路に従って実際にプレイヤーを操作する機能を組み合わせることで、プレイヤーを全自動で操作して、マップ上に配置されたアイテムを入手させるようにします。このテストによって、もし入手できないアイテムが見つかった場合は、配置場所が適切ではない可能性があることがわかります。

また岡島氏によると、上記のほかにも「指定した場所をひたすら巡回するツール」を現在開発中とのことです。

自動プレイテストAIの現状

上記の3つのツールは、いずれもQAとして今まで行ってきたことですが、人的リソースが非常に掛かり、作業の繰り返しが多いため実行できないテストを、AIと人間の協働によって実現させるために開発されたものです。

松木氏によりますと、どんなゲームタイトルでも、どこのメーカーのものでも汎用的に利用できる自動テストAIは『Playable!』が初めてではないかとのことです。

ゲーム産業では、テストメンバーが自動テストツールを活用した例は、monoAI technologyで行っていたQA事業を分社化してベリサーブとの合弁でAIQVE ONEを設立するまではほとんどなかったと思います。人をとにかくたくさん集めて、人海戦術で行う基本的なテストのやり方は、おそらく今でもあまり大きくは変わっていないと思います。

CEDECなどでも、自動テストツールに関する話題がここ数年の間に出てくるようになったのですが、例えばスクウェア・エニックスさんやセガさんの研究スタッフの方々が、一部のタイトルで通しプレイテストの自動化などを行っています。エージェントbotを使用したうろつくテストをしたり、その結果fpsが極端に低下し、想定以上の負荷が掛かっている場所がないかどうかをスクリーニングしたり、戦闘を自動で行ったりするなど、自社の特定タイトルに適用した事例は、国内外で少しずつ出始めています。

ただし、基本的にそれらは各パブリッシャーさんが自社タイトル専用に作られているものです。我々が開発した『Playable!』のように、ジャンルは限定されますが、どんなゲームタイトルでも、どこのメーカーさんのものでも汎用的に利用できる自動テストAIは、おそらく初めてではないかと思います（松木氏）

自動化ツールの導入にあたって気になるのは、やはりその精度になるでしょう。『Playable!』を導入することで、はたしてどのぐらいの精度が期待できるのでしょうか？

ゲームに関係なく、このようなソフトウェアテストの技術は、実は原理的に100パーセント保証することができません。精度を考える場合には、基本的に母数の設定が無限大になりますので、無限大に対して何パーセントでというのは、あまり意味がないんですね。

今は人間の力で行っていることを、だいたいどれくらいまでできるのかという意味で言えば、先程もお話したコリジョンテストに関しては、原理的に人間を上回る精度が出るはずです。通しプレイについては、プレイの幅は人間のほうがまだ広いと思いますが、運用の簡単さと量、つまりプレイ時間は全然違います。

ツール上では、通しプレイも複数インスタンスで動かせるので、1人のプレイヤーが1日8時間で行う通しプレイを、10個のインスタンスを使えば1日で80時間の通しプレイが簡単に実行できます。

現段階では、通しプレイについては一長一短ありますが、コリジョンテストと、それからアイテム回収、つまり『ひたすら○○系』に関しては、おそらく人間よりも高い精度と効率が出せるはずです（松木氏）

現時点では、通しプレイの幅は人間のほうが幅広いとのことでした。では、将来的にはデータが増えれば増えるほど、ツールの学習効果も高まっていくことになるのでしょうか？

そのとおりです。この点については、松原卓二（モリカトロンCTO）さんもよく仰るのですが、現時点ではAIというものに対して、一番期待されるような活用法ではないんですよ。ですが、我々のツールをたくさん使っていただくことでデータが集まれば、もっと賢いことができるようになるはずです。今のところは、我々のツールはAIよりもコンピューティングパワーの比率のほうがまだ高いと思います（松木氏）

私自身も、そういう未来に進みたいと思っております。どのAIエンジニアも、とにかくありとあらゆるデータ量を欲しがるのは、そうすればモデルの学習ができるわけですから、当たり前のことですよね。ですが、我々が始めた『Playable!』にはデータがありません。

なので、最初にデータを作らなければいけないわけですが、人力で作ると大変ですので、まずはコンピューティングパワーで自動化して、その過程でデータを自動収集できる仕組みも作っておくことで、モデルで色々なことができるようになる、学習データの収集ができるようになると考えています。ですから、今はモデルを実現するための基礎工事をしている段階ですね（松原氏）

まだサービスを開始したばかりの『Playable!』ですが、現段階での導入実績はどれくらいあるのでしょうか？

すでに、商用案件でご活用いただいた例がいくつかあります。あとはインディーズゲームと、我々のAIプレイヤーのケイパビリティを示すための小規模な3DアクションRPGをLIVE A LIVEの良移植でお馴染みのヒストリア様に開発いただきました。本作品により『Playable!』を一般公開できるようになったのは大きいです。ほかにも、これから進める予定の案件がいくつかあります（松木氏）

サービスに関するお問い合わせ：https://www.veriserve.co.jp/contact/
Playable!：https://playable.qa/

≫「『Playable!』スタッフ鼎談：より簡単に、楽しく開発ができるソリューションを目指して」​​に続く

Writer：鴫原盛之