プレイヤーのゲームコントローラ入力を学習するAIの研究開発

ゲームAIの新しいスタイルを考える

ゲームに登場するキャラクターを制御する目的のAIを開発する際、もっともスタンダードな設計思想は、AIにゲーム世界で起きている状況を認識させ、次にこの世界で起こりうる状況を予測させ、最終的に最適な行動を決定させる…というようなものになります。

ここで出てきた「認識｣「予測」の部分は、近年では機械学習などの技術を使うのが一般的なアプローチになるかと思います。そして「行動」の部分は、ゲームAIでは「移動」であったり「攻撃」といったゲームメカニクスに深く関わるアクションということになることでしょう。

ところで、我々がゲームをプレイする場合、ゲーム画面を見て、同じようにゲーム世界を「認識」し、次のゲーム世界の状態を「予測」する所まではAI開発と同じです。しかし、最終的に起こす「行動」は、ゲームコントローラーの操作です。具体的にいえば、ゲームコントローラーのレバーを入力したり、ボタンを押したり…というようなアクションになります。

そう、我々がゲームをプレイするという行為は、だいたい「ゲームコントローラを操作する」ことに等しいわけです。であれば、ゲーム世界に対する認識や予測とともに、人間のゲームコントローラの操作までをセットにしてAIに学習することができれば「新しいゲームAI」のスタイルを誕生させられるかもしれません。

実は、近年、そんなアイディア（≒仮説）を具現化したゲームAIの開発が始まっています。

2019年10月に開催された新技術の見本市「CEATEC 2019」においてバンダイナムコは縦スクロールシューティングゲームの名作『ゼビウス』（1983年、ナムコ）をプレイするAIロボを発表していました。このAIは、Google系AIベンチャーのDeepMindが開発したゲームプレイAIとほぼ同方針のいわゆる教師なしの強化学習型AIとして開発されたものです。

つまり、AIは、ゲームのルールを一切教えられていない赤子状態で『ゼビウス』をプレイさせられ良い行動をしたら「えらいぞ」と褒美を与えて訓練し開発されたものということです。学習にあたっては実際のゲーム画面の15fps単位の画像（一部処理しやすいように画像を低解像度化+鮮鋭化）を入力情報とし、ゲーム画面に反応したレバー／ボタン操作を出力情報としました。

格闘ゲームの対人戦の楽しさは「駆け引き」にあり！？

人間のゲームコントローラの操作までをセットに学習させてAIを作るという発想におあつらえ向きのゲームジャンルが存在します。それは格闘ゲームです。

有名な『ストリートファイター』（1987年〜、カプコン）シリーズに代表される格闘ゲームでは、それぞれのプレイヤーが方向レバーを動かしてマイキャラの移動方向を入し、相手の動きにあわせて「いまだ！」というタイミングで、パンチやキックといった攻撃に対応するボタンを押して相手を攻め立てます。

また、多くの格闘ゲームでは、相手のキャラクタの動きだけでなく、相手と自分の体力ゲージ、パワーゲージなどの各種ゲージを見ながら勝つための戦略、あるいは負けないための戦略を組み立てていきます。

そして格闘ゲームには、方向レバーを移動目的以外にも動かしてコマンド入力を成立させて技を発動させる独特の操作系があります。例えば「↓↘→+パンチ」は多くの格闘ゲームで飛び道具（波動拳系）の必殺技が出ますし、「→↓↘ +パンチ」でアッパーカット系（昇龍拳系）の対空必殺技が出せるようになっています。

では、こうした格闘ゲームにおける敵AIは、どのような仕組みで動かされているのでしょうか。

各種ゲージの状態を把握し、人間側が操作しているキャラの動きに反応して行動を選択する点は、人間対人間の闘いと同じですが、一般的な格闘ゲームの敵AIは、方向レバー操作やボタン押しでキャラを操作してはいません。プログラム的に直接キャラクタを動かしているので、人間では行えないような超速反応でこちらの攻撃に対応した反撃を行ってきたり、前述したコマンド入力で発動する必殺技を、コマンド入力なしの最速発動で仕掛けてきます。

完璧な行動をされれば、こうした敵AIに勝つことはほぼ無理です。さすがにこれではゲームとして成り立たないので、一定の確率で間抜けな隙ある行動を挿入するなどしてバランスを取ることになります。

なので、格闘ゲームにおけるAIプレイヤー（敵AI）が操作する敵キャラは、攻略方法さえ分かってしまえば、その間抜けな行動の隙を突くことで簡単に倒すことができることが多い傾向にあります。

格闘ゲームの対人戦が面白いのは、相手を騙すようなフェイント動作が成功したり、相手がこちらに仕掛けてきたミスを誘発するような行動に騙されなかったり…といった「駆け引き」が頻発するからです。昔ながらの格闘ゲームAIは、およそ超反応で負けるかパターンハメで勝つかのどちらかになりがちで、どうしても敵AIに対するゲームプレイ自体が作業っぽくなってしまいます。何とか、AIプレイヤー相手でも、対人戦のような駆け引きが楽しめるようにならないものでしょうか。

人間と同様にゲームコントローラを操作するAIが誕生！？

そんな最中、人間がプレイするように、方向レバー入力とボタン操作で対戦ゲームをプレイするAIプレイヤーの開発が行われつつあります。まず、先陣を切って商品化にまで漕ぎ着けたのがSNKです。同社が2019年6月に発売した『サムライスピリッツ』（以下、サムスピ）で、そのAIプレイヤーが実装されています。「ゴースト」機能と名付けられたこの新フィーチャーは、下の公式動画でも触れられています

サムスピのゴースト機能開発にあたっては、プレイヤーという存在をシンプルな入出力演算器として考えることとしました。

具体的には、プレイヤーを1フレーム単位のゲーム状況を入力情報として与えてやると、レバー操作とボタン押しを出力する演算器とみなすのです。ゲーム状況とは例えば「闘い合う2体の両キャラ位置」「それらのモーション状態」「両者のゲージ状態」「残り時間」「現ラウンド数（ラウンド取得状況）」などです。サムスピでは、人間がサムスピを遊んだ際の1フレーム単位のゲーム状況と、そのプレイヤーのレバー操作とボタン押しを機械学習させることで、そのプレイヤーのプレイスタイルを模倣するAI（ゴースト）を構築する機能を搭載したのです。

もちろん、AI（ゴースト）が出力するレバー操作とボタン押しは、あくまで「そういう操作をした」と見なされる入力データです。実在するコントローラのレバーやボタンをロボットハンドが操作するわけではありません。もちろん、将来的にはそうした機械制御の部分までも構築したロボットAIプレイヤーが登場したら、それはそれでおもしろそうですが。

生成されたゴーストとは、実際に対戦プレイが楽しめるほか、このゴーストをサーバー側にアップロードして、全世界のサムスピプレイヤーと共有することができます。なので、地球の向こう側のプレイヤーのプレイスタイルを模倣したゴーストとの対戦も楽しめます。なお、現状はゴースト同士の対戦には対応していませんが、将来的にそうしたモードの実装は計画されているようです。

なお、現状のサムスピのゴーストは、残念ながら「ガードが甘い」「攻撃がやや単調」といった弱点も指摘されています。これはシンプルに、学習量が浅いこと、あるいは学習データに不要なノイズをふくんでいる可能性もあります。

今回のサムスピのゴースト機能の学習処理を、ゲームが実行されているゲーム機の実機自身でバックグラウンドプロセスにてリアルタイムに行っています。そのため、演算性能やメモリ容量の上限があり、あまり複雑な学習モデルを実装できなかったようです。開発チームも、将来的にゲーム機側に学習／推論アクセラレータが搭載されたり、クラウド側で学習させられるようになればさらにこの仕組みを進化させられるかもしれない、と振り返っています。

憧れの著名プレイヤーを再現したAIが誕生する可能性も

そうした学習処理をクラウド側にオフロードするアイディアは確かに仕組みとしては有効そうですが、AIプレイヤーの生成のためにサーバーを運営する必要があり、維持コストが問題になってきます。ただし、この課題についても、eSportが盛り上がりを見せる昨今ならば、うまく解決できるかもしれません。

現在のeSportブームの立役者として活躍する著名プロゲーマー達と対戦したいというニーズは確実に存在します。実際、そうした著名プロゲーマー達も、インターネットを活用した対戦プレイで鍛錬を詰んでいるので、自分がプレイ中に、彼らと偶然マッチングすることはあります。しかし、インターネットを活用したネット対戦は、なるべく特定の相手に連続で当たらないようなマッチングを行うので、自分がプレイしたいときに必ずお目当てのプロゲーマーと対戦できるわけではありません。

では、もし、そのお目当てのプロゲーマーのプレイスタイルを完全再現出来るAIがサービスとして提供できるとしたらどうでしょうか。そこには商品価値が生まれます。

『ストリートファイターV』（2016年、カプコン）を初めとして、最新の格闘ゲームでは、人間プレイヤー同士の戦いを記録した膨大な数のプレイデータがサーバーに蓄積され、ユーザーが随時検索するなどして見られるようになっています。しかも、このリプレイデータは、映像ではなく、60分の1秒で進行するゲーム内時間とその時点での闘い会う二人のプレイヤーのレバー操作とボタン操作で構成されていますから、学習素材としてはパーフェクトなデータといえます。

そして、この膨大なリプレイデータには当然、著名プロゲーマーのプレイデータも保存されているわけで、このデータ群を今回のような機械学習モデルを応用して学習させることで特定のプロゲーマーのプレイスタイルを再現したAIプレイヤーは生成できるはずです。

こうした著名プレイヤーAIは、前述したように有料DLC的な商品・サービスとして成り立たせられるだけでなく、著名プレイヤーAI同士を戦わせるような「新しい遊び」にも発展させられる可能性も秘めています。シンプルに自分を模倣したプレイヤーAIを生成して対戦することで「昨日の自分より強い自分」を生み出すための、鍛錬目的にも使うこともできそうです。夢は広がります。

2019年9月に横浜で開催されたCEDEC2019では、スクウェア・エニックスが「ファイナルファンタジーXV」ライクな3DバトルゲームのプレイヤーAIを、サムスピ同様の概念で制作した事例を発表しました。発表を担当したのは、株式会社Luminous Productions、開発部、プログラマーの上段達弘氏です。この映像はこの発表の成果物で、映像中のキャラクターは2体とも「ゲームコントローラを操作するAI」によって動かされています。

関連記事：【CEDEC2019】人工知能が敵キャラを育てる！ ディープラーニングを使った次世代のゲームAI開発

Writer：西川善司