【GDC 2021】マルチエージェント強化学習における協調行動の5つの特徴

8月19日から23日まで開催されたGDC 2021では「深層強化学習を使った協調的に振舞うキャラクターの制作」と題されたビデオセッションが行われました。このセッションでは、協調してひとつの目標を達成するAIエージェントを可能とするマルチエージェント強化学習が解説されました。以下ではビデオセッションの内容をまとめることで、マルチエージェント強化学習において重要となる5つの特徴を明らかにします。

ゲームにおける強化学習の重要性

サッカーやチーム対戦型シューティングゲームをプレイするAIを開発する場合、同じチームに属する他のAIと協調して行動するように設計すれば、ゲームに勝利しやすいAIチームとなるのは自明なことです。協調行動を設計する際には、協調すべきAIの数、協調する行動の仕方や種類を考慮しなければなりません。ゲームが複雑になれば協調行動の設計も複雑になり、こうした複雑性をすべて網羅したうえでアルゴリズムに落とし込むのは困難になります。

以上のような従来の手作業的な（Hand Crafted）開発の難点を克服するものとして使われるようになったのが、強化学習です。強化学習とは、AIが環境との相互作用を通して目標を達成する最適行動を学習する開発技法です。強化学習においては、開発者はAIの行動を詳細に設定する必要はありません。というのも、AI自身が目標達成に最適な行動を学習するからです。

強化学習がもつ手作業的な開発に対する優位性として、以下のような4項目が挙げられます。

• 開発工数の短縮：強化学習では目標や報酬を最初に設定すれば、後はAIが人手を借りずに最適行動を学習する
• コード量の削減：AIが学習するため、最適行動をアルゴリズムとしてコード化する必要がない
• 堅牢なコード：強化学習AIは、ゲームデザインのわずかな変更であれば、問題なく最適行動を実行できる。ゲームデザインを大幅に変更したとしても、再学習だけで済む
• 複雑な行動が可能：強化学習AIは、複雑な行動を習得できる。こうした行動を手作業的な開発で実現するのは困難

以上のような優位性があることにより、複雑かつ大規模となる現代のゲームに登場するAIエージェントを開発するにあたっては、強化学習が非常に効果的な開発技法となるのです。

強化学習の類型とマルチエージェント強化学習の位置づけ

強化学習を使ってゲームをプレイするAIエージェントを開発する場合、AIエージェントと環境あるいは他のAIエージェントとの関係に応じて、以下のような3類型があります（以下の画像も参照）。

• シングルゲーム：単一のAIエージェントが環境（ゲームステージ）と相互作用するゲーム。ブロック崩し等が該当する。AIは環境との相互作用から最適行動を学習する
• 対戦ゲーム：二つのAIエージェントが勝敗を決めるために対戦するゲーム。チェスや将棋が該当する。AIは対戦を通してプレイスキルを向上させる
• 協調ゲーム：複数のAIエージェントが単一の目標を達成するために協調するゲーム。チーム対戦型のゲーム全般が該当する

以上の3類型のうち、チーム対戦型の大作オンラインゲームが次々と開発される現在のゲーム業界において重要度を増しているのは、協調ゲームです。しかし、現代の協調ゲームに求められるような高度な協調行動を実行できるAIエージェントを開発するには、古典的な手作業による方法では非常に困難です。幸いなことに、協調ゲームプレイAIに特化した強化学習技法があります。それが、マルチエージェント強化学習（（Multi-Agent Reinforcement Learning、以降「MARL」と略記）です。以下、MARLを理解するのに不可欠な5つ特徴を解説します。

全体報酬を最大化する集中学習と個に注目する分散実行

MARLの第１の特徴は、集中学習（centralized learning）と分散実行（decentralized execution）による全体または個に対する制御です。一般的な強化学習では、AIエージェントはゲームプレイから得られる報酬を最大化するように行動を最適化します。対してMARLにおいては、単一のAIエージェントの報酬ではなく、個々のAIエージェントが強調することで得られる全体的な報酬の最大化を目指します。こうした全体報酬の推定が集中学習です。

全体報酬に注目する集中学習と対になるのが、個々のAIエージェントに着目する分散実行です。全体報酬の最大化を目指して個々のAIエージェントの行動を決定する場合には、それらが置かれた環境に焦点を合わせて最適行動を決めるのです。

MARLを使って協調ゲームをプレイするAIエージェントを訓練すると、一般的な強化学習と如実な違いが表れます。例えば、複数のAIエージェントがブロックを動かすゲームをプレイするとしましょう。大きなブロックを動かすほど高得点が得られますが、そうしたブロックを動かすにはAIエージェントが協力しなければなりません。一般的な強化学習では協調行動の学習が困難なので、大きなブロックを動かしません。対してMARLでは協調行動を学習できるので、協力して大きなブロックを動かして高得点が得られます。

集中学習の負荷を軽減する非同期的意思決定

集中学習によって全体報酬を推定する際、理想的にはゲームに参加するすべてのAIエージェントの状態を同じタイミングで観察するのは望ましいです。しかし、理想的な集中学習を実行しようとすると演算上の負荷が増大して、処理落ちが生じてしまう可能性があります。こうした集中学習の負荷を回避するための技法が、第２の特徴となる非同期的意思決定（Asynchronous Decision Making）です。この技法は、AIエージェントの状態観察を行うタイミングをずらすというものです。

非同期的意思決定におけるタイミングずらしは、AIエージェントの状態をコピーすることによって実現します。例えば、ひとつめのAIエージェント「A1」は直前のタイムスタンプにおける状態をコピーして観察するのに対して、ふたつめのAIエージェント「A2」はふたつ前のタイムスタンプをコピーして観察するのです。こうして状態観察タイミングをずらしても、問題なく全体報酬の最大化が可能なことが分かっています。

アテンションモジュールによる動的制御数管理

協調ゲームでは、参加するAIエージェント数が頻繁に変更されます。ライフがゼロになったAIエージェントはゲームフィールドから脱落し、反対に新たなAIエージェントが参入することも起こります。それゆえ、MARLにはAIエージェント数を動的に管理できる処理が求められます。

MARLのAIエージェント数の動的管理を可能とする処理が、第3の特徴となるアテンションモジュールです。アテンションモジュールとは計算式の一種なのですが、この計算式に各AIエージェントの状態から取得したクエリ―キーと値を渡します。すると、サイズ固定の埋め込みデータが得られます。AIエージェントがどんな状態であってもアテンションモジュールから得られる埋め込みデータのサイズは一定なので、AIエージェント数の増減に柔軟に対応できるのです。

全体報酬を増やす自己犠牲

協調ゲームにおいては、個々のAIエージェントは（ライフがゼロになるような）ゲームオーバーを回避するように行動します。というのも、ゲームオーバーになってしまうと報酬が得られなくなるからです。その一方で、あるAIエージェントのゲームオーバーにつながった行動が、結果的にチーム全体に大きな報酬をもたらす状況も考えられます。それゆえ、MARLには自己犠牲的な行動がもたらす全体報酬の増加を計算できる処理が必要となります。

自己犠牲による全体報酬増加の算出は、第４の特徴である自己犠牲的行動の後に発生する全体報酬を推定によって可能となります。この推定処理と同時に、全体報酬を増やす自己犠牲的行動には大きな報酬を与えるようにもします。自己犠牲に報いる処理を実装することによって、AIエージェントはゲームオーバーを回避して得られる報酬と、ゲームオーバーにつながる自己犠牲的行動から得られる報酬を天秤にかけられるようになるのです。

自己犠牲を適切に評価できるMARLと一般的な強化学習の違いは、自己犠牲がゲームクリアのための不可避な状況で如実に表れます。例えば、ある部屋に3つのAIエージェントがいるとして、その部屋から脱出するためにはドラゴンを倒して鍵を奪わなければならない状況になったとします。このドラゴンは、自爆攻撃でしか倒せません。一般的な強化学習で学習したAIエージェントは、自爆を回避するので部屋から脱出できません。対してMARLで学習した場合には、ひとつのAIエージェントが自爆攻撃を選択して脱出できるのです。

全体報酬を考慮したアドバンテージ

一般的な強化学習には、アドバンテージという処理があります。この処理は、ある行動を実行した場合に実際に得られた報酬と得られると推定していたそれの差を計算し、差が正（ゼロより大きい）時には選択した行動をより選択するようにし、反対に負（ゼロより小さい）時には実行した行動を選択する確率を下げるようにするものです。アドバンテージによって、予想より大きな報酬が得られた行動がより選択するように強化されるのです。

アドバンテージをMARLに導入する場合には、全体報酬を用いた処理に変更するのが適切です。つまり、AIエージェントが実行した行動によって生じた実際の全体報酬と選択した行動から推定される全体報酬の差を計算するのです。こうした第５の特徴である全体報酬にもとづいたアドバンテージを算出することによって、AIエージェントは全体報酬を増やす行動をより選択するようになるのです。

以上のMARLの解説は、Unity Technologies の機械学習部門シニアリサーチエンジニアであるMarwan Mattar氏が担当しました。同氏の解説後、ゲームスタジオCouch in the Woods Interactiveの共同設立者であるMarkus Weiß氏が同社開発のゲーム『Neon Shifter』にMARLを応用した時の経験談を話しました。同氏によると、MARLを使うことで人間の開発者が関与せずにAIエージェントが戦術を学習していく様子を見るのは非常に気持ちのいいものである、とのこと。また、既存のライブラリを活用すれば、MARLに関する複雑な背景知識に精通している必要はない、とも述べました。

複雑なルールの対戦型マルチプレイゲームが多数開発される現在のゲーム業界においては、人間プレイヤーと協力できるAIエージェントの実装が求められます。こうしたニーズに応えられるMARLは今後ますます重要になると同時に、より簡単に活用できるようになることでしょう。

Writer：吉本幸記