【CEDEC2023】ゲーム業界の次の15年を見すえたハイブリッドアーキテクチャの紹介

2023年8月23日から25日にかけて、コンピューターエンターテインメントに関する国内最大級のカンファレンスCEDEC2023が神奈川県・パシフィコ横浜においてオンラインセッションをふくめたハイブリッドで開催されました。8月24日には、立教大学大学院人工知能科学研究科所属の周 済涛氏と、同研究科に所属する三宅陽一郎特任教授が「アクションゲームにおけるディープニューラルネットワーク付きステートマシンを用いたキャラクターAI強化学習」と題するセッションを行いました。本稿では同セッションを要約することで、ゲーム業界の次の15年を担うかも知れない新たなAI技法を紹介します。

AI技術の2大潮流とゲーム業界の関係

はじめに登壇者となった三宅氏は、今回のセッションを理解するための背景知識となるAI技術史について話す導入パートを行いました。1960年代に誕生したAIは3度のブームを経て現在に至るのですが、その歴史において記号主義とコネクショニズムという2つの技術潮流がありました。記号主義とは、IBMのワトソンの代表されるような記号や数値を一定のルールにしたがって演算して結果を出力する技術体系です。対してコネクショニズムとは人間の脳神経細胞の挙動を模して設計された技術体系を意味しており、その代表格にはディープラーニングがあります。

現在までに記号主義は推論ベース、ルールベース、データベースと発展し、コネクショニズムもニューラルネット、逆伝播法、ディープラーニングと進化してきました。しかしながら、前者はトップダウン的・演繹的である一方、後者はボトムアップ的・帰納的であるので、この両者は融合することなく今日に至っています。

続いて、以上の2つのAI技術潮流とゲーム業界の関係を解説しました。この解説に必要な知識として、ゲームAI技術に必要な3要素を挙げました。その要素とは新しい機能や動作を簡単に増やせる拡張性、既存の機能や動作の幅を広げる多様性、そして既存の設定等を特定のコンテキストに最適化できるカスタマイズ性です。この3要素に満たせる点において記号主義はコネクショニズムを凌駕していたため、ゲーム業界では前者が主流技術となりました。ちなみに、後者がカスタマイズ性を苦手としているのは、この技術体系では出力が得られる過程が人間にはわからない「ブラックボックス問題」があったからです。

ゲーム業界以外のさまざまな業界を見渡すと、一転してコネクショニズム（の代表であるディープラーニング）が隆盛を極めており、そうした隆盛はChatGPTをはじめとした大規模言語モデルの流行にうかがえます。コネクショニズムが栄えたのは、多様な処理が可能だからです。こうした多様性は、例えば大規模言語モデルのヒューマンライクな質疑応答に見られます。多様性だけを見れば、コネクショニズムは記号主義を凌駕するのです。

三宅氏は、ゲーム業界のこれからの15年を見すえると、コネクショニズムも活用するハイブリッドなアーキテクチャを採用すべきと提唱しました。このアーキテクチャが普及すれば、記号主義が主流のゲーム業界にさらなる多様性がもたらされると期待できるからです。

ディープニューラルネットワーク付きステートマシンの概要

続いて登壇した周氏は、三宅氏が提唱したハイブリッドアーキテクチャの一事例となるディープニューラルネットワーク付きステートマシン（以下、FSM-DNN：Finite States Machine-Deep Neural Networkと略記）の解説と実験について話す実践パートを行いました。このアーキテクチャを簡単に言えば、記号主義のひとつであるステートマシンと、コネクショニズムのひとつであるディープニューラルネットワークを組み合わせたものです。具体的には、ステートマシンにおいて遷移するステートごとに深層強化学習を実行します。

FSM-DNNをゲーム開発現場で活用する場合、プランナーがステートとDNNの報酬を定義し、エンジニアが各ステートを訓練するという役割分担が想定できます。

ところで、ハイブリッドアーキテクチャの考案にあたって近年のゲーム業界で多用されるビヘイビアツリーではなく、旧来技術のステートマシンを採用したのはなぜなのでしょうか。この疑問に答えるには、両者の特徴を知る必要があります。ステートマシンはステート（状態）とアクション（動作）の対応がわかりやすい反面、多様なシーンに対応しようとするとステートが増えてしまうという欠点があります。対してビヘイビアツリーは、ノードを増やすことで多様なアクションを定義しやすいという長所があります。しかしながら、ビヘイビアツリーが持つ多様性は深層強化学習の特徴と重複してしまいます。それゆえ、ステートマシンでシンプルな状態を定義したうえで、深層強化学習で多様なアクションを学習するほうがハイブリッドアーキテクチャとして望ましいのです。

周氏は、FSM-DNNのメリットを以下のスライドのように4点挙げました。こうしたメリットはステートマシンが持つわかりやすさや管理容易性と、深層強化学習がもつ柔軟性や多様性が組み合わさった結果として生まれるものと言えます。

周氏はFSM-DNNの有効性を実証するために後述する実験を行ったのですが、その実験の解説に先立って、実験に関する評価基準を述べました。同アーキテクチャはAIキャラクターに実装することが想定されているので、プレイヤーから見て強くて賢いのか、という観点から評価できます。しかし、ゲーム開発技術として評価するためには、強化学習として優れているのか、さらにはゲーム開発者から見て拡張性に優れているのか、という観点も必要になります。こうした評価基準を満たすために、性能比較実験、拡張性実験、そしてプレイヤー評価実験の3つを実施することにしました。

3つのアーキテクチャによる性能比較実験

1つ目の性能比較実験は、FSM-DNNを採用したキャラクターとそのほかのアーキテクチャを採用したそれの性能を比較するというものです。具体的には、小規模なゲームフィールド内で実験キャラクターが敵キャラクターと対戦して、アーキテクチャごとの対戦成績を比較します。対戦内容は剣と盾を装備した実験キャラクターがパトロール、追撃、攻撃の3つの行動を遷移しながら敵キャラクターと交戦するようにしました。

比較するアーキテクチャはステートとしてパトロール、追撃、攻撃の3つを設定したFSM-DNN、ステート情報を取り込んだDNN、そしてステートのない古典的なDNNとしました。DNNの報酬は敵を捕捉した場合、敵が攻撃範囲に入った場合、敵への攻撃が成功した場合に得られるように設定し、実験結果の比較指標はダメージ数、被ダメージ数、敵を撃破するまでの時間としました。

実験結果は以下のグラフのようにまとめられます。学習が進むにつれて、FSM-DNNがもっとも効率よくダメージを与えられるようになりました。被ダメージに関してはFSM-DMMがもっともダメージを被っていることから、このアーキテクチャが被ダメージを恐れずにダメージを与えるアグレッシブなプレイスタイルを実現することがわかります。学習後に12000秒プレイした場合を比較しても、FSM-DNNのプレイスタイルは変わりませんでした。

以上のようになった理由として、FSM-DNNはステートごとに報酬を設定しているため、目標が明確になって効率的に学習が進んだからと考えられます。

性能比較実験からFSM-DMMの性能を引き出すには、ステートとその報酬を調整するのが重要であることがわかります。こうした知見を実際のゲーム開発現場で生かすには、プランナーがステートとその報酬の見直しや調整を行い、エンジニアが学習に関わるハイパーパラメータを調整したり、必要に応じて再学習したりする体制が望ましいでしょう。

拡張性に優れたFSM-DNN

2つ目の拡張性実験は、性能比較実験の設定にステートを1つ追加するというものでした。追加するのは、ゲームフィールド内の回復アイテムを取得してHP（ヒットポイント）を回復する「回復」ステートです。このステートに対しては、回復アイテムを取得すると報酬が得られるようにしました。

拡張性実験では、学習後に一定時間対戦した場合のHPの変化を測定しました。その結果、FSM-DNNがもっとも高いHPを維持していたことがわかりました。

以上のような実験結果になった理由として、回復ステートとその報酬を追加したことで、FSM-DNNがもっとも効果的に回復行動を学習したからと考えられます。

拡張性実験からFSM-DNNに関するステート追加の有効性がわかります。実際の開発現場でステートを追加するには、プランナーがステートとその報酬を考え、エンジニアが追加ステートを訓練するという役割分担が望ましいでしょう。

人間プレイヤーによるアンケート結果が示すこと

3つ目のプレイヤー評価実験とは、人間プレイヤーが拡張性実験で用いた3つの実験キャラクターと対戦した後、アンケートに回答してもらうというものです。具体的には、人間プレイヤーにアンケートを読んでもらってから、任意の順番で実験キャラクター3体と対戦した後、アンケートに回答してもらいます。評価できない場合は、1回だけ追加プレイを可能としました。なお、人間プレイヤーには実験キャラクターにどんなアーキテクチャが採用されているかはわからない状態でプレイしてもらいました。

アンケート内容は2種類に大別され、1つ目は3つの評価観点から見てもっとも優れた実験キャラクターを選んでもらう全体的な評価です。評価観点には賢さ、強さ、動きを設定しました。2つ目は各実験キャラクターに関して、賢さ・強さ・動きを5段階評価するキャラクター別の評価です。この評価実験には、15名が参加しました。

全体的な評価の結果は、以下の円グラフのようになりました。3つの評価観点すべてにおいて、FSM-DNNキャラクターが1位となりました。

キャラクター別の賢さの評価では、FSM-DNNの平均評価値4.2が最高値となりました。強さと動きに関しても、同アーキテクチャが最高平均値となりました。

プレイヤー評価実験より、FSM-DNNが最優秀なアーキテクチャであることが判明しました。また、人間プレイヤーに同アーキテクチ採用キャラクターと対戦した感想を尋ねたところ、対戦するのがもっとも楽しいものであることもわかりました。

以上のように3つの実験を報告した後、周氏はFSM-DNN研究における今後の課題として、以下のスライドに示したような2項目を挙げて実践パートを終えました。

ゲーム業界におけるハイブリッドアーキテクチャの意義

実践パート終了後、三宅氏が総括パートとして今回の実験の意義を解説しました。同氏はハイブリッドアーキテクチャを採用せずに、記号主義あるいはコネクショニズムのいずれか一方のみを採用し続けた場合に生じる弊害を予見しました。

記号主義のみを採用し続けた場合、ステートが増大の一途をたどるでしょう。その結果、記号主義の長所だった拡張性やカスタマイズ性が損なわれると予想されます。というのも、多数のステートのうちどの箇所を改修すれば機能を拡張したりカスタマイズしたりできるのかわからなくなるからです。

コネクショニズムのみを採用し続けた場合、AIモデルのサイズが増大するのは不可避でしょう。その帰結として多様性は増大するかも知れませんが、このアーキテクチャの欠点であったブラックボックス問題がますます深刻になるでしょう。

ハイブリッドアーキテクチャは、記号主義またはコネクショニズムのみを採用し続けた場合に生じる欠点を回避して、両方のアーキテクチャがそれぞれにもつ長所を兼ね備えたものになると期待できます。

今回のセッションでは、ハイブリッドアーキテクチャの一事例としてステートマシンとディープニューラルネットの組み合わせを実証しました。同アーキテクチャで可能な組み合わせは、今回実証した事例のほかにもさまざまにあります。そうした組み合わせのなかには役に立つものもあれば、そうでないものもあるでしょう。それゆえ、同アーキテクチャの可能な組み合わせを一つ一つ調べて、どの組み合わせが役に立つのか実証し、そうした実証の成果をゲーム業界全体で共有することこそが、今後15年のゲーム業界が進むべき道ではないか、と述べて三宅氏はセッションを締めくくりました。

Writer：吉本幸記