モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
機械学習ディープラーニングCGCGへの扉モリカトロンAIラボインタビューGANニューラルネットワーク三宅陽一郎強化学習CEDEC2019スクウェア・エニックス音楽ゲームAIQA深層学習シナリオGDC 2019デバッグボードゲームVFX映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームVRメタAIキャラクターAIファッションルールベースAIと倫理グーグルDeepMind月刊エンタメAIニュースJSAI2020人工知能学会イベントレポートOpenAIガイスター畳み込みニューラルネットワークロボットビヘイビア・ツリーNVIDIAGDC SummerCEDEC2020モリカトロンマルチエージェントナビゲーションAI小説敵対的生成ネットワークAlphaZeroマイクロソフト中島秀之アートtoioGoogle自動生成研究ディープフェイクCNNメタデータCM倫理Amadeus Code音声認識eSportsシーマン齊藤陽介お知らせ水野勇太サルでもわかる人工知能ワークショップ知識表現IGDAどうぶつしょうぎマシンラーニングクラウド完全情報ゲーム藤澤仁宮路洋一StyleGANプロシージャルスポーツフェイクニュースDARPAALife人工生命オルタナティヴ・マシンサウンドスケープASBSぱいどんTEZUKA2020AI美空ひばり手塚治虫汎用人工知能Electronic ArtsFacebookマーケティングApex LegendsNinjaTensorFlowゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン通しプレイ階層型強化学習WANNOpenAI Five竹内将本間翔太馬淵浩希岡島学映像セリア・ホデントUXピクサー認知科学ゲームデザインAdobeLUMINOUS ENGINELuminous Productionsパターン・ランゲージ作曲ちょまどビッグデータ中嶋謙互MicrosoftMicrosoft Azureアストロノーカキャリア模倣学習テストプレイナラティブFPSマルコフ決定過程eスポーツスタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能AmazonエージェントシミュレーションロボティクスDota 2ソーシャルゲーム眞鍋和子淡路滋グリムノーツゴティエ・ボエダGautier BoedaJuliusTPRGバーチャル・ヒューマン・エージェントクーガー石井敦茂谷保伯森川幸人成沢理恵マジック・リープMagic Leap Oneノンファンジブルトークン里井大輝GEMS COMPANY初音ミク転移学習デバッギングアニメーションリップシンキングUbisoftUbisoft La Forge北尾まどか将棋ナップサック問題ジェイ・コウガミ音楽ストリーミングSpotifyReplica Studioamuse5Gクラウドゲーミング和田洋一Stadia対話エンジン斎藤由多加シーマン人工知能研究所ゴブレット・ゴブラーズSIGGRAPH 2019ARAIりんなアップルiPhoneカメラAIGraph環世界予期知能ウェイポイントパス検索ドラゴンクエストPAIR画像認識アルスエレクトロニカ2019DeNA逆転オセロニア長谷洋平奥村エルネスト純齋藤精一高橋智隆ロボユニ泉幸典ロボコレ2019ぎゅわんぶらあ自己中心派意思決定モデルウロチョロス理化学研究所教育SIGGRAPH ASIAHTN階層型タスクネットワークLEFT ALIVE長谷川誠Baby Xロバート・ダウニー・Jr.YouTubeSFThe Age of A.I.レコメンデーションソニーテンセントMOBA人事研修mynet.ai人工音声プレイ動画NBAドローン群知能ウィル・ライトシムシティシムピープルレベルデザインSporeデノイズ画像処理GPUCPUGMAITRPGウィザードリィAI Dungeon西川善司サムライスピリッツゼビウスストリートファイター栗原聡山野辺一記大里飛鳥マンガ13フェイズ構造手塚眞不気味の谷Oculus Quest生体情報写真照明山崎陽斗立木創太松井俊浩スパーシャルAIGPT-3GameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

2020.4.10ゲーム

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

ゲームAIの新しいスタイルを考える

ゲームに登場するキャラクターを制御する目的のAIを開発する際、もっともスタンダードな設計思想は、AIにゲーム世界で起きている状況を認識させ、次にこの世界で起こりうる状況を予測させ、最終的に最適な行動を決定させる…というようなものになります。

ここで出てきた「認識」「予測」の部分は、近年では機械学習などの技術を使うのが一般的なアプローチになるかと思います。そして「行動」の部分は、ゲームAIでは「移動」であったり「攻撃」といったゲームメカニクスに深く関わるアクションということになることでしょう。

ところで、我々がゲームをプレイする場合、ゲーム画面を見て、同じようにゲーム世界を「認識」し、次のゲーム世界の状態を「予測」する所まではAI開発と同じです。しかし、最終的に起こす「行動」は、ゲームコントローラーの操作です。具体的にいえば、ゲームコントローラーのレバーを入力したり、ボタンを押したり…というようなアクションになります。

そう、我々がゲームをプレイするという行為は、だいたい「ゲームコントローラを操作する」ことに等しいわけです。であれば、ゲーム世界に対する認識や予測とともに、人間のゲームコントローラの操作までをセットにしてAIに学習することができれば「新しいゲームAI」のスタイルを誕生させられるかもしれません。

実は、近年、そんなアイディア(≒仮説)を具現化したゲームAIの開発が始まっています。

2019年10月に開催された新技術の見本市「CEATEC 2019」においてバンダイナムコは縦スクロールシューティングゲームの名作『ゼビウス』(1983年、ナムコ)をプレイするAIロボを発表していました。このAIは、Google系AIベンチャーのDeepMindが開発したゲームプレイAIとほぼ同方針のいわゆる教師なしの強化学習型AIとして開発されたものです。

つまり、AIは、ゲームのルールを一切教えられていない赤子状態で『ゼビウス』をプレイさせられ良い行動をしたら「えらいぞ」と褒美を与えて訓練し開発されたものということです。学習にあたっては実際のゲーム画面の15fps単位の画像(一部処理しやすいように画像を低解像度化+鮮鋭化)を入力情報とし、ゲーム画面に反応したレバー/ボタン操作を出力情報としました。

格闘ゲームの対人戦の楽しさは「駆け引き」にあり!?

人間のゲームコントローラの操作までをセットに学習させてAIを作るという発想におあつらえ向きのゲームジャンルが存在します。それは格闘ゲームです。

有名な『ストリートファイター』(1987年〜、カプコン)シリーズに代表される格闘ゲームでは、それぞれのプレイヤーが方向レバーを動かしてマイキャラの移動方向を入し、相手の動きにあわせて「いまだ!」というタイミングで、パンチやキックといった攻撃に対応するボタンを押して相手を攻め立てます。

また、多くの格闘ゲームでは、相手のキャラクタの動きだけでなく、相手と自分の体力ゲージ、パワーゲージなどの各種ゲージを見ながら勝つための戦略、あるいは負けないための戦略を組み立てていきます。

そして格闘ゲームには、方向レバーを移動目的以外にも動かしてコマンド入力を成立させて技を発動させる独特の操作系があります。例えば「↓↘→+パンチ」は多くの格闘ゲームで飛び道具(波動拳系)の必殺技が出ますし、「→↓↘ +パンチ」でアッパーカット系(昇龍拳系)の対空必殺技が出せるようになっています。

では、こうした格闘ゲームにおける敵AIは、どのような仕組みで動かされているのでしょうか。

各種ゲージの状態を把握し、人間側が操作しているキャラの動きに反応して行動を選択する点は、人間対人間の闘いと同じですが、一般的な格闘ゲームの敵AIは、方向レバー操作やボタン押しでキャラを操作してはいません。プログラム的に直接キャラクタを動かしているので、人間では行えないような超速反応でこちらの攻撃に対応した反撃を行ってきたり、前述したコマンド入力で発動する必殺技を、コマンド入力なしの最速発動で仕掛けてきます。

完璧な行動をされれば、こうした敵AIに勝つことはほぼ無理です。さすがにこれではゲームとして成り立たないので、一定の確率で間抜けな隙ある行動を挿入するなどしてバランスを取ることになります。

なので、格闘ゲームにおけるAIプレイヤー(敵AI)が操作する敵キャラは、攻略方法さえ分かってしまえば、その間抜けな行動の隙を突くことで簡単に倒すことができることが多い傾向にあります。

格闘ゲームの対人戦が面白いのは、相手を騙すようなフェイント動作が成功したり、相手がこちらに仕掛けてきたミスを誘発するような行動に騙されなかったり…といった「駆け引き」が頻発するからです。昔ながらの格闘ゲームAIは、およそ超反応で負けるかパターンハメで勝つかのどちらかになりがちで、どうしても敵AIに対するゲームプレイ自体が作業っぽくなってしまいます。何とか、AIプレイヤー相手でも、対人戦のような駆け引きが楽しめるようにならないものでしょうか。

人間と同様にゲームコントローラを操作するAIが誕生!?

そんな最中、人間がプレイするように、方向レバー入力とボタン操作で対戦ゲームをプレイするAIプレイヤーの開発が行われつつあります。まず、先陣を切って商品化にまで漕ぎ着けたのがSNKです。同社が2019年6月に発売した『サムライスピリッツ』(以下、サムスピ)で、そのAIプレイヤーが実装されています。「ゴースト」機能と名付けられたこの新フィーチャーは、下の公式動画でも触れられています

サムスピのゴースト機能開発にあたっては、プレイヤーという存在をシンプルな入出力演算器として考えることとしました。

具体的には、プレイヤーを1フレーム単位のゲーム状況を入力情報として与えてやると、レバー操作とボタン押しを出力する演算器とみなすのです。ゲーム状況とは例えば「闘い合う2体の両キャラ位置」「それらのモーション状態」「両者のゲージ状態」「残り時間」「現ラウンド数(ラウンド取得状況)」などです。サムスピでは、人間がサムスピを遊んだ際の1フレーム単位のゲーム状況と、そのプレイヤーのレバー操作とボタン押しを機械学習させることで、そのプレイヤーのプレイスタイルを模倣するAI(ゴースト)を構築する機能を搭載したのです。

もちろん、AI(ゴースト)が出力するレバー操作とボタン押しは、あくまで「そういう操作をした」と見なされる入力データです。実在するコントローラのレバーやボタンをロボットハンドが操作するわけではありません。もちろん、将来的にはそうした機械制御の部分までも構築したロボットAIプレイヤーが登場したら、それはそれでおもしろそうですが。

生成されたゴーストとは、実際に対戦プレイが楽しめるほか、このゴーストをサーバー側にアップロードして、全世界のサムスピプレイヤーと共有することができます。なので、地球の向こう側のプレイヤーのプレイスタイルを模倣したゴーストとの対戦も楽しめます。なお、現状はゴースト同士の対戦には対応していませんが、将来的にそうしたモードの実装は計画されているようです。

SNKの公式サイトに掲載されているサムスピのゴーストモードの紹介

なお、現状のサムスピのゴーストは、残念ながら「ガードが甘い」「攻撃がやや単調」といった弱点も指摘されています。これはシンプルに、学習量が浅いこと、あるいは学習データに不要なノイズをふくんでいる可能性もあります。

今回のサムスピのゴースト機能の学習処理を、ゲームが実行されているゲーム機の実機自身でバックグラウンドプロセスにてリアルタイムに行っています。そのため、演算性能やメモリ容量の上限があり、あまり複雑な学習モデルを実装できなかったようです。開発チームも、将来的にゲーム機側に学習/推論アクセラレータが搭載されたり、クラウド側で学習させられるようになればさらにこの仕組みを進化させられるかもしれない、と振り返っています。

サムスピのゴーストモードの仕組み。プレイヤーのプレイスタイルの学習はゲーム機側の実機でリアルタイムに行う実装となった。この画像はGame Creators Conference ’19のSNKゲーム事業本部R&D、泊 久信氏の「ニューラルネットワークを用いたAIの格闘ゲームへの組み込み」の発表資料より(以下同)。
ゴーストモードと対戦した際、その推論エンジンは1フレーム毎にゲームコントローのレバー操作、ボタン操作を出力する仕様となっている。

憧れの著名プレイヤーを再現したAIが誕生する可能性も

そうした学習処理をクラウド側にオフロードするアイディアは確かに仕組みとしては有効そうですが、AIプレイヤーの生成のためにサーバーを運営する必要があり、維持コストが問題になってきます。ただし、この課題についても、eSportが盛り上がりを見せる昨今ならば、うまく解決できるかもしれません。

現在のeSportブームの立役者として活躍する著名プロゲーマー達と対戦したいというニーズは確実に存在します。実際、そうした著名プロゲーマー達も、インターネットを活用した対戦プレイで鍛錬を詰んでいるので、自分がプレイ中に、彼らと偶然マッチングすることはあります。しかし、インターネットを活用したネット対戦は、なるべく特定の相手に連続で当たらないようなマッチングを行うので、自分がプレイしたいときに必ずお目当てのプロゲーマーと対戦できるわけではありません。

では、もし、そのお目当てのプロゲーマーのプレイスタイルを完全再現出来るAIがサービスとして提供できるとしたらどうでしょうか。そこには商品価値が生まれます。

『ストリートファイターV』(2016年、カプコン)を初めとして、最新の格闘ゲームでは、人間プレイヤー同士の戦いを記録した膨大な数のプレイデータがサーバーに蓄積され、ユーザーが随時検索するなどして見られるようになっています。しかも、このリプレイデータは、映像ではなく、60分の1秒で進行するゲーム内時間とその時点での闘い会う二人のプレイヤーのレバー操作とボタン操作で構成されていますから、学習素材としてはパーフェクトなデータといえます。

そして、この膨大なリプレイデータには当然、著名プロゲーマーのプレイデータも保存されているわけで、このデータ群を今回のような機械学習モデルを応用して学習させることで特定のプロゲーマーのプレイスタイルを再現したAIプレイヤーは生成できるはずです。

こうした著名プレイヤーAIは、前述したように有料DLC的な商品・サービスとして成り立たせられるだけでなく、著名プレイヤーAI同士を戦わせるような「新しい遊び」にも発展させられる可能性も秘めています。シンプルに自分を模倣したプレイヤーAIを生成して対戦することで「昨日の自分より強い自分」を生み出すための、鍛錬目的にも使うこともできそうです。夢は広がります。

2019年9月に横浜で開催されたCEDEC2019では、スクウェア・エニックスが「ファイナルファンタジーXV」ライクな3DバトルゲームのプレイヤーAIを、サムスピ同様の概念で制作した事例を発表しました。発表を担当したのは、株式会社Luminous Productions、開発部、プログラマーの上段達弘氏です。この映像はこの発表の成果物で、映像中のキャラクターは2体とも「ゲームコントローラを操作するAI」によって動かされています。

関連記事:【CEDEC2019】人工知能が敵キャラを育てる! ディープラーニングを使った次世代のゲームAI開発

Writer:西川善司

RELATED ARTICLE関連記事

AI時代の死生観とアイデンティティはどこへ向かうのか?:藤澤仁氏×森川幸人氏対談(後編)

2019.10.11ゲーム

AI時代の死生観とアイデンティティはどこへ向かうのか?:藤澤仁氏×森川幸人氏対談...

発想より技術が先行する時代におけるゲームAIの役割:『ゲームAI技術入門』刊行記念特別対談レポート(後編)

2019.11.20ゲーム

発想より技術が先行する時代におけるゲームAIの役割:『ゲームAI技術入門』刊行記...

TRPGのゲームマスターを演じるゲームAIの探求

2020.3.30ゲーム

TRPGのゲームマスターを演じるゲームAIの探求

RANKING注目の記事はこちら