モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニングCG機械学習CGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク強化学習三宅陽一郎音楽OpenAIモリカトロンAIラボインタビュー敵対的生成ネットワーク河合律子QAスクウェア・エニックスNVIDIAシナリオFacebookキャラクターAIルールベースDeepMindデバッグCEDEC2019プロシージャル人工知能学会映画ビヘイビア・ツリーGoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルStyleGAN自動生成GDC 2021GPT-3GDC 2019マルチエージェントVRボードゲームロボットアートCNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークディープフェイクJSAI2020大内孝子TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太アニメーションガイスターNPCDALL-ECLIPStyleGAN2NFTtoio吉本幸記JSAI2021スポーツシムピープル汎用人工知能GDC SummerAdobeeスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説UbisoftAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーイーサリアム作曲中嶋謙互Amadeus CodeMicrosoft AzureデジタルツインアストロノーカキャリアナラティブAmazonサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせアバターサルでもわかる人工知能VAEUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーGTC2021CycleGANフェイクニュースエージェントGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエビッグデータGOAPAdobe MAX 2021メタバース模倣学習NVIDIA OmniverseOmniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスOmniverse Replicatorバランス調整レコメンドシステムNVIDIA DRIVE Sim協調フィルタリングNVIDIA Isaac Sim人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technology初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アート粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

2021.8.12ゲーム

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

8月19日から23日まで開催されたGDC 2021では「深層強化学習を使った協調的に振舞うキャラクターの制作」と題されたビデオセッションが行われました。このセッションでは、協調してひとつの目標を達成するAIエージェントを可能とするマルチエージェント強化学習が解説されました。以下ではビデオセッションの内容をまとめることで、マルチエージェント強化学習において重要となる5つの特徴を明らかにします。

ゲームにおける強化学習の重要性

サッカーやチーム対戦型シューティングゲームをプレイするAIを開発する場合、同じチームに属する他のAIと協調して行動するように設計すれば、ゲームに勝利しやすいAIチームとなるのは自明なことです。協調行動を設計する際には、協調すべきAIの数、協調する行動の仕方や種類を考慮しなければなりません。ゲームが複雑になれば協調行動の設計も複雑になり、こうした複雑性をすべて網羅したうえでアルゴリズムに落とし込むのは困難になります。

以上のような従来の手作業的な(Hand Crafted)開発の難点を克服するものとして使われるようになったのが、強化学習です。強化学習とは、AIが環境との相互作用を通して目標を達成する最適行動を学習する開発技法です。強化学習においては、開発者はAIの行動を詳細に設定する必要はありません。というのも、AI自身が目標達成に最適な行動を学習するからです。

強化学習がもつ手作業的な開発に対する優位性として、以下のような4項目が挙げられます。

  • 開発工数の短縮:強化学習では目標や報酬を最初に設定すれば、後はAIが人手を借りずに最適行動を学習する
  • コード量の削減:AIが学習するため、最適行動をアルゴリズムとしてコード化する必要がない
  • 堅牢なコード:強化学習AIは、ゲームデザインのわずかな変更であれば、問題なく最適行動を実行できる。ゲームデザインを大幅に変更したとしても、再学習だけで済む
  • 複雑な行動が可能:強化学習AIは、複雑な行動を習得できる。こうした行動を手作業的な開発で実現するのは困難

以上のような優位性があることにより、複雑かつ大規模となる現代のゲームに登場するAIエージェントを開発するにあたっては、強化学習が非常に効果的な開発技法となるのです。

強化学習の類型とマルチエージェント強化学習の位置づけ

強化学習を使ってゲームをプレイするAIエージェントを開発する場合、AIエージェントと環境あるいは他のAIエージェントとの関係に応じて、以下のような3類型があります(以下の画像も参照)。

  • シングルゲーム:単一のAIエージェントが環境(ゲームステージ)と相互作用するゲーム。ブロック崩し等が該当する。AIは環境との相互作用から最適行動を学習する
  • 対戦ゲーム:二つのAIエージェントが勝敗を決めるために対戦するゲーム。チェスや将棋が該当する。AIは対戦を通してプレイスキルを向上させる
  • 協調ゲーム:複数のAIエージェントが単一の目標を達成するために協調するゲーム。チーム対戦型のゲーム全般が該当する

以上の3類型のうち、チーム対戦型の大作オンラインゲームが次々と開発される現在のゲーム業界において重要度を増しているのは、協調ゲームです。しかし、現代の協調ゲームに求められるような高度な協調行動を実行できるAIエージェントを開発するには、古典的な手作業による方法では非常に困難です。幸いなことに、協調ゲームプレイAIに特化した強化学習技法があります。それが、マルチエージェント強化学習((Multi-Agent Reinforcement Learning、以降「MARL」と略記)です。以下、MARLを理解するのに不可欠な5つ特徴を解説します。

全体報酬を最大化する集中学習と個に注目する分散実行

MARLの第1の特徴は、集中学習(centralized learning)と分散実行(decentralized execution)による全体または個に対する制御です。一般的な強化学習では、AIエージェントはゲームプレイから得られる報酬を最大化するように行動を最適化します。対してMARLにおいては、単一のAIエージェントの報酬ではなく、個々のAIエージェントが強調することで得られる全体的な報酬の最大化を目指します。こうした全体報酬の推定が集中学習です。

全体報酬に注目する集中学習と対になるのが、個々のAIエージェントに着目する分散実行です。全体報酬の最大化を目指して個々のAIエージェントの行動を決定する場合には、それらが置かれた環境に焦点を合わせて最適行動を決めるのです。

MARLを使って協調ゲームをプレイするAIエージェントを訓練すると、一般的な強化学習と如実な違いが表れます。例えば、複数のAIエージェントがブロックを動かすゲームをプレイするとしましょう。大きなブロックを動かすほど高得点が得られますが、そうしたブロックを動かすにはAIエージェントが協力しなければなりません。一般的な強化学習では協調行動の学習が困難なので、大きなブロックを動かしません。対してMARLでは協調行動を学習できるので、協力して大きなブロックを動かして高得点が得られます。

集中学習の負荷を軽減する非同期的意思決定

集中学習によって全体報酬を推定する際、理想的にはゲームに参加するすべてのAIエージェントの状態を同じタイミングで観察するのは望ましいです。しかし、理想的な集中学習を実行しようとすると演算上の負荷が増大して、処理落ちが生じてしまう可能性があります。こうした集中学習の負荷を回避するための技法が、第2の特徴となる非同期的意思決定(Asynchronous Decision Making)です。この技法は、AIエージェントの状態観察を行うタイミングをずらすというものです。

非同期的意思決定におけるタイミングずらしは、AIエージェントの状態をコピーすることによって実現します。例えば、ひとつめのAIエージェント「A1」は直前のタイムスタンプにおける状態をコピーして観察するのに対して、ふたつめのAIエージェント「A2」はふたつ前のタイムスタンプをコピーして観察するのです。こうして状態観察タイミングをずらしても、問題なく全体報酬の最大化が可能なことが分かっています。

アテンションモジュールによる動的制御数管理

協調ゲームでは、参加するAIエージェント数が頻繁に変更されます。ライフがゼロになったAIエージェントはゲームフィールドから脱落し、反対に新たなAIエージェントが参入することも起こります。それゆえ、MARLにはAIエージェント数を動的に管理できる処理が求められます。

MARLのAIエージェント数の動的管理を可能とする処理が、第3の特徴となるアテンションモジュールです。アテンションモジュールとは計算式の一種なのですが、この計算式に各AIエージェントの状態から取得したクエリ―キーと値を渡します。すると、サイズ固定の埋め込みデータが得られます。AIエージェントがどんな状態であってもアテンションモジュールから得られる埋め込みデータのサイズは一定なので、AIエージェント数の増減に柔軟に対応できるのです。

全体報酬を増やす自己犠牲

協調ゲームにおいては、個々のAIエージェントは(ライフがゼロになるような)ゲームオーバーを回避するように行動します。というのも、ゲームオーバーになってしまうと報酬が得られなくなるからです。その一方で、あるAIエージェントのゲームオーバーにつながった行動が、結果的にチーム全体に大きな報酬をもたらす状況も考えられます。それゆえ、MARLには自己犠牲的な行動がもたらす全体報酬の増加を計算できる処理が必要となります。

自己犠牲による全体報酬増加の算出は、第4の特徴である自己犠牲的行動の後に発生する全体報酬を推定によって可能となります。この推定処理と同時に、全体報酬を増やす自己犠牲的行動には大きな報酬を与えるようにもします。自己犠牲に報いる処理を実装することによって、AIエージェントはゲームオーバーを回避して得られる報酬と、ゲームオーバーにつながる自己犠牲的行動から得られる報酬を天秤にかけられるようになるのです。

自己犠牲を適切に評価できるMARLと一般的な強化学習の違いは、自己犠牲がゲームクリアのための不可避な状況で如実に表れます。例えば、ある部屋に3つのAIエージェントがいるとして、その部屋から脱出するためにはドラゴンを倒して鍵を奪わなければならない状況になったとします。このドラゴンは、自爆攻撃でしか倒せません。一般的な強化学習で学習したAIエージェントは、自爆を回避するので部屋から脱出できません。対してMARLで学習した場合には、ひとつのAIエージェントが自爆攻撃を選択して脱出できるのです。

全体報酬を考慮したアドバンテージ

一般的な強化学習には、アドバンテージという処理があります。この処理は、ある行動を実行した場合に実際に得られた報酬と得られると推定していたそれの差を計算し、差が正(ゼロより大きい)時には選択した行動をより選択するようにし、反対に負(ゼロより小さい)時には実行した行動を選択する確率を下げるようにするものです。アドバンテージによって、予想より大きな報酬が得られた行動がより選択するように強化されるのです。

アドバンテージをMARLに導入する場合には、全体報酬を用いた処理に変更するのが適切です。つまり、AIエージェントが実行した行動によって生じた実際の全体報酬と選択した行動から推定される全体報酬の差を計算するのです。こうした第5の特徴である全体報酬にもとづいたアドバンテージを算出することによって、AIエージェントは全体報酬を増やす行動をより選択するようになるのです。

以上のMARLの解説は、Unity Technologies の機械学習部門シニアリサーチエンジニアであるMarwan Mattar氏が担当しました。同氏の解説後、ゲームスタジオCouch in the Woods Interactiveの共同設立者であるMarkus Weiß氏が同社開発のゲーム『Neon Shifter』にMARLを応用した時の経験談を話しました。同氏によると、MARLを使うことで人間の開発者が関与せずにAIエージェントが戦術を学習していく様子を見るのは非常に気持ちのいいものである、とのこと。また、既存のライブラリを活用すれば、MARLに関する複雑な背景知識に精通している必要はない、とも述べました。

複雑なルールの対戦型マルチプレイゲームが多数開発される現在のゲーム業界においては、人間プレイヤーと協力できるAIエージェントの実装が求められます。こうしたニーズに応えられるMARLは今後ますます重要になると同時に、より簡単に活用できるようになることでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」セリフ生成

2021.9.22ゲーム

【CEDEC2021】ディープラーニングとルールベースによるヒロインの「冴える」...

ゲーム業界はいかにして5Gという衝撃に対峙すべきか?:和田洋一氏インタビュー

2019.7.26ゲーム

ゲーム業界はいかにして5Gという衝撃に対峙すべきか?:和田洋一氏インタビュー

【CEDEC2021】ディー・エヌ・エーが推進する音声AI社会実装に関する最新事例

2021.9.28ゲーム

【CEDEC2021】ディー・エヌ・エーが推進する音声AI社会実装に関する最新事...

RANKING注目の記事はこちら