モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019プロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleStyleGANCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIVRボードゲームNPCDALL-EロボットCNNモリカトロンCLIPファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートデジタルツインテストプレイUnityAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理Adobeアストロノーカeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアNVIDIA OmniverseナラティブレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022DeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスOmniverse Replicatorバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANOmniverseリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMEpic GamesRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019StyleCLIP品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史BEiTレベルデザインDETRSporeデノイズ南カリフォルニア大学画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

2020.4.10ゲーム

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

ゲームAIの新しいスタイルを考える

ゲームに登場するキャラクターを制御する目的のAIを開発する際、もっともスタンダードな設計思想は、AIにゲーム世界で起きている状況を認識させ、次にこの世界で起こりうる状況を予測させ、最終的に最適な行動を決定させる…というようなものになります。

ここで出てきた「認識」「予測」の部分は、近年では機械学習などの技術を使うのが一般的なアプローチになるかと思います。そして「行動」の部分は、ゲームAIでは「移動」であったり「攻撃」といったゲームメカニクスに深く関わるアクションということになることでしょう。

ところで、我々がゲームをプレイする場合、ゲーム画面を見て、同じようにゲーム世界を「認識」し、次のゲーム世界の状態を「予測」する所まではAI開発と同じです。しかし、最終的に起こす「行動」は、ゲームコントローラーの操作です。具体的にいえば、ゲームコントローラーのレバーを入力したり、ボタンを押したり…というようなアクションになります。

そう、我々がゲームをプレイするという行為は、だいたい「ゲームコントローラを操作する」ことに等しいわけです。であれば、ゲーム世界に対する認識や予測とともに、人間のゲームコントローラの操作までをセットにしてAIに学習することができれば「新しいゲームAI」のスタイルを誕生させられるかもしれません。

実は、近年、そんなアイディア(≒仮説)を具現化したゲームAIの開発が始まっています。

2019年10月に開催された新技術の見本市「CEATEC 2019」においてバンダイナムコは縦スクロールシューティングゲームの名作『ゼビウス』(1983年、ナムコ)をプレイするAIロボを発表していました。このAIは、Google系AIベンチャーのDeepMindが開発したゲームプレイAIとほぼ同方針のいわゆる教師なしの強化学習型AIとして開発されたものです。

つまり、AIは、ゲームのルールを一切教えられていない赤子状態で『ゼビウス』をプレイさせられ良い行動をしたら「えらいぞ」と褒美を与えて訓練し開発されたものということです。学習にあたっては実際のゲーム画面の15fps単位の画像(一部処理しやすいように画像を低解像度化+鮮鋭化)を入力情報とし、ゲーム画面に反応したレバー/ボタン操作を出力情報としました。

格闘ゲームの対人戦の楽しさは「駆け引き」にあり!?

人間のゲームコントローラの操作までをセットに学習させてAIを作るという発想におあつらえ向きのゲームジャンルが存在します。それは格闘ゲームです。

有名な『ストリートファイター』(1987年〜、カプコン)シリーズに代表される格闘ゲームでは、それぞれのプレイヤーが方向レバーを動かしてマイキャラの移動方向を入し、相手の動きにあわせて「いまだ!」というタイミングで、パンチやキックといった攻撃に対応するボタンを押して相手を攻め立てます。

また、多くの格闘ゲームでは、相手のキャラクタの動きだけでなく、相手と自分の体力ゲージ、パワーゲージなどの各種ゲージを見ながら勝つための戦略、あるいは負けないための戦略を組み立てていきます。

そして格闘ゲームには、方向レバーを移動目的以外にも動かしてコマンド入力を成立させて技を発動させる独特の操作系があります。例えば「↓↘→+パンチ」は多くの格闘ゲームで飛び道具(波動拳系)の必殺技が出ますし、「→↓↘ +パンチ」でアッパーカット系(昇龍拳系)の対空必殺技が出せるようになっています。

では、こうした格闘ゲームにおける敵AIは、どのような仕組みで動かされているのでしょうか。

各種ゲージの状態を把握し、人間側が操作しているキャラの動きに反応して行動を選択する点は、人間対人間の闘いと同じですが、一般的な格闘ゲームの敵AIは、方向レバー操作やボタン押しでキャラを操作してはいません。プログラム的に直接キャラクタを動かしているので、人間では行えないような超速反応でこちらの攻撃に対応した反撃を行ってきたり、前述したコマンド入力で発動する必殺技を、コマンド入力なしの最速発動で仕掛けてきます。

完璧な行動をされれば、こうした敵AIに勝つことはほぼ無理です。さすがにこれではゲームとして成り立たないので、一定の確率で間抜けな隙ある行動を挿入するなどしてバランスを取ることになります。

なので、格闘ゲームにおけるAIプレイヤー(敵AI)が操作する敵キャラは、攻略方法さえ分かってしまえば、その間抜けな行動の隙を突くことで簡単に倒すことができることが多い傾向にあります。

格闘ゲームの対人戦が面白いのは、相手を騙すようなフェイント動作が成功したり、相手がこちらに仕掛けてきたミスを誘発するような行動に騙されなかったり…といった「駆け引き」が頻発するからです。昔ながらの格闘ゲームAIは、およそ超反応で負けるかパターンハメで勝つかのどちらかになりがちで、どうしても敵AIに対するゲームプレイ自体が作業っぽくなってしまいます。何とか、AIプレイヤー相手でも、対人戦のような駆け引きが楽しめるようにならないものでしょうか。

人間と同様にゲームコントローラを操作するAIが誕生!?

そんな最中、人間がプレイするように、方向レバー入力とボタン操作で対戦ゲームをプレイするAIプレイヤーの開発が行われつつあります。まず、先陣を切って商品化にまで漕ぎ着けたのがSNKです。同社が2019年6月に発売した『サムライスピリッツ』(以下、サムスピ)で、そのAIプレイヤーが実装されています。「ゴースト」機能と名付けられたこの新フィーチャーは、下の公式動画でも触れられています

サムスピのゴースト機能開発にあたっては、プレイヤーという存在をシンプルな入出力演算器として考えることとしました。

具体的には、プレイヤーを1フレーム単位のゲーム状況を入力情報として与えてやると、レバー操作とボタン押しを出力する演算器とみなすのです。ゲーム状況とは例えば「闘い合う2体の両キャラ位置」「それらのモーション状態」「両者のゲージ状態」「残り時間」「現ラウンド数(ラウンド取得状況)」などです。サムスピでは、人間がサムスピを遊んだ際の1フレーム単位のゲーム状況と、そのプレイヤーのレバー操作とボタン押しを機械学習させることで、そのプレイヤーのプレイスタイルを模倣するAI(ゴースト)を構築する機能を搭載したのです。

もちろん、AI(ゴースト)が出力するレバー操作とボタン押しは、あくまで「そういう操作をした」と見なされる入力データです。実在するコントローラのレバーやボタンをロボットハンドが操作するわけではありません。もちろん、将来的にはそうした機械制御の部分までも構築したロボットAIプレイヤーが登場したら、それはそれでおもしろそうですが。

生成されたゴーストとは、実際に対戦プレイが楽しめるほか、このゴーストをサーバー側にアップロードして、全世界のサムスピプレイヤーと共有することができます。なので、地球の向こう側のプレイヤーのプレイスタイルを模倣したゴーストとの対戦も楽しめます。なお、現状はゴースト同士の対戦には対応していませんが、将来的にそうしたモードの実装は計画されているようです。

SNKの公式サイトに掲載されているサムスピのゴーストモードの紹介

なお、現状のサムスピのゴーストは、残念ながら「ガードが甘い」「攻撃がやや単調」といった弱点も指摘されています。これはシンプルに、学習量が浅いこと、あるいは学習データに不要なノイズをふくんでいる可能性もあります。

今回のサムスピのゴースト機能の学習処理を、ゲームが実行されているゲーム機の実機自身でバックグラウンドプロセスにてリアルタイムに行っています。そのため、演算性能やメモリ容量の上限があり、あまり複雑な学習モデルを実装できなかったようです。開発チームも、将来的にゲーム機側に学習/推論アクセラレータが搭載されたり、クラウド側で学習させられるようになればさらにこの仕組みを進化させられるかもしれない、と振り返っています。

サムスピのゴーストモードの仕組み。プレイヤーのプレイスタイルの学習はゲーム機側の実機でリアルタイムに行う実装となった。この画像はGame Creators Conference ’19のSNKゲーム事業本部R&D、泊 久信氏の「ニューラルネットワークを用いたAIの格闘ゲームへの組み込み」の発表資料より(以下同)。
ゴーストモードと対戦した際、その推論エンジンは1フレーム毎にゲームコントローのレバー操作、ボタン操作を出力する仕様となっている。

憧れの著名プレイヤーを再現したAIが誕生する可能性も

そうした学習処理をクラウド側にオフロードするアイディアは確かに仕組みとしては有効そうですが、AIプレイヤーの生成のためにサーバーを運営する必要があり、維持コストが問題になってきます。ただし、この課題についても、eSportが盛り上がりを見せる昨今ならば、うまく解決できるかもしれません。

現在のeSportブームの立役者として活躍する著名プロゲーマー達と対戦したいというニーズは確実に存在します。実際、そうした著名プロゲーマー達も、インターネットを活用した対戦プレイで鍛錬を詰んでいるので、自分がプレイ中に、彼らと偶然マッチングすることはあります。しかし、インターネットを活用したネット対戦は、なるべく特定の相手に連続で当たらないようなマッチングを行うので、自分がプレイしたいときに必ずお目当てのプロゲーマーと対戦できるわけではありません。

では、もし、そのお目当てのプロゲーマーのプレイスタイルを完全再現出来るAIがサービスとして提供できるとしたらどうでしょうか。そこには商品価値が生まれます。

『ストリートファイターV』(2016年、カプコン)を初めとして、最新の格闘ゲームでは、人間プレイヤー同士の戦いを記録した膨大な数のプレイデータがサーバーに蓄積され、ユーザーが随時検索するなどして見られるようになっています。しかも、このリプレイデータは、映像ではなく、60分の1秒で進行するゲーム内時間とその時点での闘い会う二人のプレイヤーのレバー操作とボタン操作で構成されていますから、学習素材としてはパーフェクトなデータといえます。

そして、この膨大なリプレイデータには当然、著名プロゲーマーのプレイデータも保存されているわけで、このデータ群を今回のような機械学習モデルを応用して学習させることで特定のプロゲーマーのプレイスタイルを再現したAIプレイヤーは生成できるはずです。

こうした著名プレイヤーAIは、前述したように有料DLC的な商品・サービスとして成り立たせられるだけでなく、著名プレイヤーAI同士を戦わせるような「新しい遊び」にも発展させられる可能性も秘めています。シンプルに自分を模倣したプレイヤーAIを生成して対戦することで「昨日の自分より強い自分」を生み出すための、鍛錬目的にも使うこともできそうです。夢は広がります。

2019年9月に横浜で開催されたCEDEC2019では、スクウェア・エニックスが「ファイナルファンタジーXV」ライクな3DバトルゲームのプレイヤーAIを、サムスピ同様の概念で制作した事例を発表しました。発表を担当したのは、株式会社Luminous Productions、開発部、プログラマーの上段達弘氏です。この映像はこの発表の成果物で、映像中のキャラクターは2体とも「ゲームコントローラを操作するAI」によって動かされています。

関連記事:【CEDEC2019】人工知能が敵キャラを育てる! ディープラーニングを使った次世代のゲームAI開発

Writer:西川善司

RELATED ARTICLE関連記事

にわかレベルだったゲームプレイAIは、いかにして熟練プレイヤーになったか?

2020.4.30ゲーム

にわかレベルだったゲームプレイAIは、いかにして熟練プレイヤーになったか?

【GDC 2019】ソーシャルゲームのバランス調整に遺伝的アルゴリズムを応用する

2019.4.17ゲーム

【GDC 2019】ソーシャルゲームのバランス調整に遺伝的アルゴリズムを応用する

DeepMind開発汎用ゲーム学習環境「XLand」はAGI実現につながるか?

2021.8.27ゲーム

DeepMind開発汎用ゲーム学習環境「XLand」はAGI実現につながるか?

RANKING注目の記事はこちら