モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習CGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース強化学習三宅陽一郎モリカトロンAIラボインタビュー敵対的生成ネットワーク音楽OpenAIQAスクウェア・エニックスシナリオNVIDIAデバッグCEDEC2019河合律子プロシージャルDeepMind人工知能学会FacebookキャラクターAIルールベースビヘイビア・ツリーGoogleCEDEC2020ゲームAI映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI畳み込みニューラルネットワーク深層学習マイクロソフトAIと倫理グーグルGDC 2021GDC 2019マルチエージェントVR森川幸人ボードゲーム自然言語処理ロボットStyleGAN自動生成GPT-3CNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークJSAI2020Microsoftイベントレポート水野勇太アニメーションガイスターNPCCLIPアートtoio吉本幸記JSAI2021スポーツディープフェイク汎用人工知能TensorFlowGDC SummerテストプレイeSportsBLUE PROTOCOL小説DALL-EStyleGAN2AlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究DARPAドローンAI美空ひばり手塚治虫メタデータ通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft Azureキャリアeスポーツ音声認識PyTorchDQN眞鍋和子バンダイナムコスタジオシーマンUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEUbisoftUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウドコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識NFT長谷洋平鴫原盛之masumi toyota宮路洋一SIGGRAPH ASIAソニーCycleGANフェイクニュースシムピープルGPUALife人工生命オルタナティヴ・マシンサウンドスケープASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIElectronic ArtsマーケティングApex LegendsNinjaゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUX認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージちょまどビッグデータアストロノーカ模倣学習ナラティブFPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelロボティクスLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアリトル・コンピュータ・ピープルシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPDeNAStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育TextWorldProject PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021テンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希シムシティ大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordZorkCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI DungeonMCS-AI動的連携モデル西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太CEDEC2021バンダイナムコ研究所ミライ小町GameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

2021.8.12ゲーム

【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

8月19日から23日まで開催されたGDC 2021では「深層強化学習を使った協調的に振舞うキャラクターの制作」と題されたビデオセッションが行われました。このセッションでは、協調してひとつの目標を達成するAIエージェントを可能とするマルチエージェント強化学習が解説されました。以下ではビデオセッションの内容をまとめることで、マルチエージェント強化学習において重要となる5つの特徴を明らかにします。

ゲームにおける強化学習の重要性

サッカーやチーム対戦型シューティングゲームをプレイするAIを開発する場合、同じチームに属する他のAIと協調して行動するように設計すれば、ゲームに勝利しやすいAIチームとなるのは自明なことです。協調行動を設計する際には、協調すべきAIの数、協調する行動の仕方や種類を考慮しなければなりません。ゲームが複雑になれば協調行動の設計も複雑になり、こうした複雑性をすべて網羅したうえでアルゴリズムに落とし込むのは困難になります。

以上のような従来の手作業的な(Hand Crafted)開発の難点を克服するものとして使われるようになったのが、強化学習です。強化学習とは、AIが環境との相互作用を通して目標を達成する最適行動を学習する開発技法です。強化学習においては、開発者はAIの行動を詳細に設定する必要はありません。というのも、AI自身が目標達成に最適な行動を学習するからです。

強化学習がもつ手作業的な開発に対する優位性として、以下のような4項目が挙げられます。

  • 開発工数の短縮:強化学習では目標や報酬を最初に設定すれば、後はAIが人手を借りずに最適行動を学習する
  • コード量の削減:AIが学習するため、最適行動をアルゴリズムとしてコード化する必要がない
  • 堅牢なコード:強化学習AIは、ゲームデザインのわずかな変更であれば、問題なく最適行動を実行できる。ゲームデザインを大幅に変更したとしても、再学習だけで済む
  • 複雑な行動が可能:強化学習AIは、複雑な行動を習得できる。こうした行動を手作業的な開発で実現するのは困難

以上のような優位性があることにより、複雑かつ大規模となる現代のゲームに登場するAIエージェントを開発するにあたっては、強化学習が非常に効果的な開発技法となるのです。

強化学習の類型とマルチエージェント強化学習の位置づけ

強化学習を使ってゲームをプレイするAIエージェントを開発する場合、AIエージェントと環境あるいは他のAIエージェントとの関係に応じて、以下のような3類型があります(以下の画像も参照)。

  • シングルゲーム:単一のAIエージェントが環境(ゲームステージ)と相互作用するゲーム。ブロック崩し等が該当する。AIは環境との相互作用から最適行動を学習する
  • 対戦ゲーム:二つのAIエージェントが勝敗を決めるために対戦するゲーム。チェスや将棋が該当する。AIは対戦を通してプレイスキルを向上させる
  • 協調ゲーム:複数のAIエージェントが単一の目標を達成するために協調するゲーム。チーム対戦型のゲーム全般が該当する

以上の3類型のうち、チーム対戦型の大作オンラインゲームが次々と開発される現在のゲーム業界において重要度を増しているのは、協調ゲームです。しかし、現代の協調ゲームに求められるような高度な協調行動を実行できるAIエージェントを開発するには、古典的な手作業による方法では非常に困難です。幸いなことに、協調ゲームプレイAIに特化した強化学習技法があります。それが、マルチエージェント強化学習((Multi-Agent Reinforcement Learning、以降「MARL」と略記)です。以下、MARLを理解するのに不可欠な5つ特徴を解説します。

全体報酬を最大化する集中学習と個に注目する分散実行

MARLの第1の特徴は、集中学習(centralized learning)と分散実行(decentralized execution)による全体または個に対する制御です。一般的な強化学習では、AIエージェントはゲームプレイから得られる報酬を最大化するように行動を最適化します。対してMARLにおいては、単一のAIエージェントの報酬ではなく、個々のAIエージェントが強調することで得られる全体的な報酬の最大化を目指します。こうした全体報酬の推定が集中学習です。

全体報酬に注目する集中学習と対になるのが、個々のAIエージェントに着目する分散実行です。全体報酬の最大化を目指して個々のAIエージェントの行動を決定する場合には、それらが置かれた環境に焦点を合わせて最適行動を決めるのです。

MARLを使って協調ゲームをプレイするAIエージェントを訓練すると、一般的な強化学習と如実な違いが表れます。例えば、複数のAIエージェントがブロックを動かすゲームをプレイするとしましょう。大きなブロックを動かすほど高得点が得られますが、そうしたブロックを動かすにはAIエージェントが協力しなければなりません。一般的な強化学習では協調行動の学習が困難なので、大きなブロックを動かしません。対してMARLでは協調行動を学習できるので、協力して大きなブロックを動かして高得点が得られます。

集中学習の負荷を軽減する非同期的意思決定

集中学習によって全体報酬を推定する際、理想的にはゲームに参加するすべてのAIエージェントの状態を同じタイミングで観察するのは望ましいです。しかし、理想的な集中学習を実行しようとすると演算上の負荷が増大して、処理落ちが生じてしまう可能性があります。こうした集中学習の負荷を回避するための技法が、第2の特徴となる非同期的意思決定(Asynchronous Decision Making)です。この技法は、AIエージェントの状態観察を行うタイミングをずらすというものです。

非同期的意思決定におけるタイミングずらしは、AIエージェントの状態をコピーすることによって実現します。例えば、ひとつめのAIエージェント「A1」は直前のタイムスタンプにおける状態をコピーして観察するのに対して、ふたつめのAIエージェント「A2」はふたつ前のタイムスタンプをコピーして観察するのです。こうして状態観察タイミングをずらしても、問題なく全体報酬の最大化が可能なことが分かっています。

アテンションモジュールによる動的制御数管理

協調ゲームでは、参加するAIエージェント数が頻繁に変更されます。ライフがゼロになったAIエージェントはゲームフィールドから脱落し、反対に新たなAIエージェントが参入することも起こります。それゆえ、MARLにはAIエージェント数を動的に管理できる処理が求められます。

MARLのAIエージェント数の動的管理を可能とする処理が、第3の特徴となるアテンションモジュールです。アテンションモジュールとは計算式の一種なのですが、この計算式に各AIエージェントの状態から取得したクエリ―キーと値を渡します。すると、サイズ固定の埋め込みデータが得られます。AIエージェントがどんな状態であってもアテンションモジュールから得られる埋め込みデータのサイズは一定なので、AIエージェント数の増減に柔軟に対応できるのです。

全体報酬を増やす自己犠牲

協調ゲームにおいては、個々のAIエージェントは(ライフがゼロになるような)ゲームオーバーを回避するように行動します。というのも、ゲームオーバーになってしまうと報酬が得られなくなるからです。その一方で、あるAIエージェントのゲームオーバーにつながった行動が、結果的にチーム全体に大きな報酬をもたらす状況も考えられます。それゆえ、MARLには自己犠牲的な行動がもたらす全体報酬の増加を計算できる処理が必要となります。

自己犠牲による全体報酬増加の算出は、第4の特徴である自己犠牲的行動の後に発生する全体報酬を推定によって可能となります。この推定処理と同時に、全体報酬を増やす自己犠牲的行動には大きな報酬を与えるようにもします。自己犠牲に報いる処理を実装することによって、AIエージェントはゲームオーバーを回避して得られる報酬と、ゲームオーバーにつながる自己犠牲的行動から得られる報酬を天秤にかけられるようになるのです。

自己犠牲を適切に評価できるMARLと一般的な強化学習の違いは、自己犠牲がゲームクリアのための不可避な状況で如実に表れます。例えば、ある部屋に3つのAIエージェントがいるとして、その部屋から脱出するためにはドラゴンを倒して鍵を奪わなければならない状況になったとします。このドラゴンは、自爆攻撃でしか倒せません。一般的な強化学習で学習したAIエージェントは、自爆を回避するので部屋から脱出できません。対してMARLで学習した場合には、ひとつのAIエージェントが自爆攻撃を選択して脱出できるのです。

全体報酬を考慮したアドバンテージ

一般的な強化学習には、アドバンテージという処理があります。この処理は、ある行動を実行した場合に実際に得られた報酬と得られると推定していたそれの差を計算し、差が正(ゼロより大きい)時には選択した行動をより選択するようにし、反対に負(ゼロより小さい)時には実行した行動を選択する確率を下げるようにするものです。アドバンテージによって、予想より大きな報酬が得られた行動がより選択するように強化されるのです。

アドバンテージをMARLに導入する場合には、全体報酬を用いた処理に変更するのが適切です。つまり、AIエージェントが実行した行動によって生じた実際の全体報酬と選択した行動から推定される全体報酬の差を計算するのです。こうした第5の特徴である全体報酬にもとづいたアドバンテージを算出することによって、AIエージェントは全体報酬を増やす行動をより選択するようになるのです。

以上のMARLの解説は、Unity Technologies の機械学習部門シニアリサーチエンジニアであるMarwan Mattar氏が担当しました。同氏の解説後、ゲームスタジオCouch in the Woods Interactiveの共同設立者であるMarkus Weiß氏が同社開発のゲーム『Neon Shifter』にMARLを応用した時の経験談を話しました。同氏によると、MARLを使うことで人間の開発者が関与せずにAIエージェントが戦術を学習していく様子を見るのは非常に気持ちのいいものである、とのこと。また、既存のライブラリを活用すれば、MARLに関する複雑な背景知識に精通している必要はない、とも述べました。

複雑なルールの対戦型マルチプレイゲームが多数開発される現在のゲーム業界においては、人間プレイヤーと協力できるAIエージェントの実装が求められます。こうしたニーズに応えられるMARLは今後ますます重要になると同時に、より簡単に活用できるようになることでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

ゲームAIのこれまでとこれから:三宅陽一郎氏×森川幸人氏 対談(前編)

2019.4.26ゲーム

ゲームAIのこれまでとこれから:三宅陽一郎氏×森川幸人氏 対談(前編)

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

2020.7.27ゲーム

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

未来は僕らの手の中に:若手ゲームAIエンジニア座談会(後編)

2020.2.07ゲーム

未来は僕らの手の中に:若手ゲームAIエンジニア座談会(後編)

RANKING注目の記事はこちら