モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュース河合律子ニューラルネットワークOpenAINVIDIA強化学習三宅陽一郎音楽FacebookQAスクウェア・エニックス森川幸人モリカトロンAIラボインタビュー敵対的生成ネットワークDeepMindルールベースキャラクターAIシナリオGPT-3自然言語処理NFTGoogleグーグル自動生成映画デバッグCEDEC2019吉本幸記StyleGANプロシージャル人工知能学会遺伝的アルゴリズムメタAI深層学習マイクロソフトアートビヘイビア・ツリーCEDEC2021大内孝子CEDEC2020ゲームAISIGGRAPH不完全情報ゲームゲームプレイAIVRナビゲーションAI畳み込みニューラルネットワークDALL-ECLIPロボットAIと倫理ディープフェイクGDC 2021VFXメタバースGDC 2019マルチエージェントボードゲームNPCCNNデジタルツインモリカトロンUnityAIアートファッションHTN階層型タスクネットワークDALL-E2JSAI2020TensorFlowMicrosoftイベントレポートテストプレイ水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioソニーJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理BERTAdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoft画像生成テキスト画像生成AlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之DARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEADインタビュー通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオaibo合成音声Minecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミング徳井直生マシンラーニングクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIAGTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasImagenGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopherJuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMバイアスプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmo栗原聡DLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGIテキスト生成手塚眞DEATH STRANDINGマルチモーダル不気味の谷Eric Johnson汎用強化学習AIOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

2021.8.12ゲーム

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

8月19日から23日まで開催されたGDC 2021では「深層強化学習を使った協調的に振舞うキャラクターの制作」と題されたビデオセッションが行われました。このセッションでは、協調してひとつの目標を達成するAIエージェントを可能とするマルチエージェント強化学習が解説されました。以下ではビデオセッションの内容をまとめることで、マルチエージェント強化学習において重要となる5つの特徴を明らかにします。

ゲームにおける強化学習の重要性

サッカーやチーム対戦型シューティングゲームをプレイするAIを開発する場合、同じチームに属する他のAIと協調して行動するように設計すれば、ゲームに勝利しやすいAIチームとなるのは自明なことです。協調行動を設計する際には、協調すべきAIの数、協調する行動の仕方や種類を考慮しなければなりません。ゲームが複雑になれば協調行動の設計も複雑になり、こうした複雑性をすべて網羅したうえでアルゴリズムに落とし込むのは困難になります。

以上のような従来の手作業的な(Hand Crafted)開発の難点を克服するものとして使われるようになったのが、強化学習です。強化学習とは、AIが環境との相互作用を通して目標を達成する最適行動を学習する開発技法です。強化学習においては、開発者はAIの行動を詳細に設定する必要はありません。というのも、AI自身が目標達成に最適な行動を学習するからです。

強化学習がもつ手作業的な開発に対する優位性として、以下のような4項目が挙げられます。

  • 開発工数の短縮:強化学習では目標や報酬を最初に設定すれば、後はAIが人手を借りずに最適行動を学習する
  • コード量の削減:AIが学習するため、最適行動をアルゴリズムとしてコード化する必要がない
  • 堅牢なコード:強化学習AIは、ゲームデザインのわずかな変更であれば、問題なく最適行動を実行できる。ゲームデザインを大幅に変更したとしても、再学習だけで済む
  • 複雑な行動が可能:強化学習AIは、複雑な行動を習得できる。こうした行動を手作業的な開発で実現するのは困難

以上のような優位性があることにより、複雑かつ大規模となる現代のゲームに登場するAIエージェントを開発するにあたっては、強化学習が非常に効果的な開発技法となるのです。

強化学習の類型とマルチエージェント強化学習の位置づけ

強化学習を使ってゲームをプレイするAIエージェントを開発する場合、AIエージェントと環境あるいは他のAIエージェントとの関係に応じて、以下のような3類型があります(以下の画像も参照)。

  • シングルゲーム:単一のAIエージェントが環境(ゲームステージ)と相互作用するゲーム。ブロック崩し等が該当する。AIは環境との相互作用から最適行動を学習する
  • 対戦ゲーム:二つのAIエージェントが勝敗を決めるために対戦するゲーム。チェスや将棋が該当する。AIは対戦を通してプレイスキルを向上させる
  • 協調ゲーム:複数のAIエージェントが単一の目標を達成するために協調するゲーム。チーム対戦型のゲーム全般が該当する

以上の3類型のうち、チーム対戦型の大作オンラインゲームが次々と開発される現在のゲーム業界において重要度を増しているのは、協調ゲームです。しかし、現代の協調ゲームに求められるような高度な協調行動を実行できるAIエージェントを開発するには、古典的な手作業による方法では非常に困難です。幸いなことに、協調ゲームプレイAIに特化した強化学習技法があります。それが、マルチエージェント強化学習((Multi-Agent Reinforcement Learning、以降「MARL」と略記)です。以下、MARLを理解するのに不可欠な5つ特徴を解説します。

全体報酬を最大化する集中学習と個に注目する分散実行

MARLの第1の特徴は、集中学習(centralized learning)と分散実行(decentralized execution)による全体または個に対する制御です。一般的な強化学習では、AIエージェントはゲームプレイから得られる報酬を最大化するように行動を最適化します。対してMARLにおいては、単一のAIエージェントの報酬ではなく、個々のAIエージェントが強調することで得られる全体的な報酬の最大化を目指します。こうした全体報酬の推定が集中学習です。

全体報酬に注目する集中学習と対になるのが、個々のAIエージェントに着目する分散実行です。全体報酬の最大化を目指して個々のAIエージェントの行動を決定する場合には、それらが置かれた環境に焦点を合わせて最適行動を決めるのです。

MARLを使って協調ゲームをプレイするAIエージェントを訓練すると、一般的な強化学習と如実な違いが表れます。例えば、複数のAIエージェントがブロックを動かすゲームをプレイするとしましょう。大きなブロックを動かすほど高得点が得られますが、そうしたブロックを動かすにはAIエージェントが協力しなければなりません。一般的な強化学習では協調行動の学習が困難なので、大きなブロックを動かしません。対してMARLでは協調行動を学習できるので、協力して大きなブロックを動かして高得点が得られます。

集中学習の負荷を軽減する非同期的意思決定

集中学習によって全体報酬を推定する際、理想的にはゲームに参加するすべてのAIエージェントの状態を同じタイミングで観察するのは望ましいです。しかし、理想的な集中学習を実行しようとすると演算上の負荷が増大して、処理落ちが生じてしまう可能性があります。こうした集中学習の負荷を回避するための技法が、第2の特徴となる非同期的意思決定(Asynchronous Decision Making)です。この技法は、AIエージェントの状態観察を行うタイミングをずらすというものです。

非同期的意思決定におけるタイミングずらしは、AIエージェントの状態をコピーすることによって実現します。例えば、ひとつめのAIエージェント「A1」は直前のタイムスタンプにおける状態をコピーして観察するのに対して、ふたつめのAIエージェント「A2」はふたつ前のタイムスタンプをコピーして観察するのです。こうして状態観察タイミングをずらしても、問題なく全体報酬の最大化が可能なことが分かっています。

アテンションモジュールによる動的制御数管理

協調ゲームでは、参加するAIエージェント数が頻繁に変更されます。ライフがゼロになったAIエージェントはゲームフィールドから脱落し、反対に新たなAIエージェントが参入することも起こります。それゆえ、MARLにはAIエージェント数を動的に管理できる処理が求められます。

MARLのAIエージェント数の動的管理を可能とする処理が、第3の特徴となるアテンションモジュールです。アテンションモジュールとは計算式の一種なのですが、この計算式に各AIエージェントの状態から取得したクエリ―キーと値を渡します。すると、サイズ固定の埋め込みデータが得られます。AIエージェントがどんな状態であってもアテンションモジュールから得られる埋め込みデータのサイズは一定なので、AIエージェント数の増減に柔軟に対応できるのです。

全体報酬を増やす自己犠牲

協調ゲームにおいては、個々のAIエージェントは(ライフがゼロになるような)ゲームオーバーを回避するように行動します。というのも、ゲームオーバーになってしまうと報酬が得られなくなるからです。その一方で、あるAIエージェントのゲームオーバーにつながった行動が、結果的にチーム全体に大きな報酬をもたらす状況も考えられます。それゆえ、MARLには自己犠牲的な行動がもたらす全体報酬の増加を計算できる処理が必要となります。

自己犠牲による全体報酬増加の算出は、第4の特徴である自己犠牲的行動の後に発生する全体報酬を推定によって可能となります。この推定処理と同時に、全体報酬を増やす自己犠牲的行動には大きな報酬を与えるようにもします。自己犠牲に報いる処理を実装することによって、AIエージェントはゲームオーバーを回避して得られる報酬と、ゲームオーバーにつながる自己犠牲的行動から得られる報酬を天秤にかけられるようになるのです。

自己犠牲を適切に評価できるMARLと一般的な強化学習の違いは、自己犠牲がゲームクリアのための不可避な状況で如実に表れます。例えば、ある部屋に3つのAIエージェントがいるとして、その部屋から脱出するためにはドラゴンを倒して鍵を奪わなければならない状況になったとします。このドラゴンは、自爆攻撃でしか倒せません。一般的な強化学習で学習したAIエージェントは、自爆を回避するので部屋から脱出できません。対してMARLで学習した場合には、ひとつのAIエージェントが自爆攻撃を選択して脱出できるのです。

全体報酬を考慮したアドバンテージ

一般的な強化学習には、アドバンテージという処理があります。この処理は、ある行動を実行した場合に実際に得られた報酬と得られると推定していたそれの差を計算し、差が正(ゼロより大きい)時には選択した行動をより選択するようにし、反対に負(ゼロより小さい)時には実行した行動を選択する確率を下げるようにするものです。アドバンテージによって、予想より大きな報酬が得られた行動がより選択するように強化されるのです。

アドバンテージをMARLに導入する場合には、全体報酬を用いた処理に変更するのが適切です。つまり、AIエージェントが実行した行動によって生じた実際の全体報酬と選択した行動から推定される全体報酬の差を計算するのです。こうした第5の特徴である全体報酬にもとづいたアドバンテージを算出することによって、AIエージェントは全体報酬を増やす行動をより選択するようになるのです。

以上のMARLの解説は、Unity Technologies の機械学習部門シニアリサーチエンジニアであるMarwan Mattar氏が担当しました。同氏の解説後、ゲームスタジオCouch in the Woods Interactiveの共同設立者であるMarkus Weiß氏が同社開発のゲーム『Neon Shifter』にMARLを応用した時の経験談を話しました。同氏によると、MARLを使うことで人間の開発者が関与せずにAIエージェントが戦術を学習していく様子を見るのは非常に気持ちのいいものである、とのこと。また、既存のライブラリを活用すれば、MARLに関する複雑な背景知識に精通している必要はない、とも述べました。

複雑なルールの対戦型マルチプレイゲームが多数開発される現在のゲーム業界においては、人間プレイヤーと協力できるAIエージェントの実装が求められます。こうしたニーズに応えられるMARLは今後ますます重要になると同時に、より簡単に活用できるようになることでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

CGへの扉 Vol.32:Adobe Sneaks より進化の方向性を知る

2021.11.19ゲーム

CGへの扉 Vol.32:Adobe Sneaks より進化の方向性を知る

【CEDEC2019】ゲーム開発・運用における機械学習活用の現状と未来

2019.10.30ゲーム

【CEDEC2019】ゲーム開発・運用における機械学習活用の現状と未来

【CEDEC2020】AIによるデバッグの自動化はどこまで進んでいるのか?

2020.10.05ゲーム

【CEDEC2020】AIによるデバッグの自動化はどこまで進んでいるのか?

RANKING注目の記事はこちら