【JSAI2020】AIによるRPG自動生成技術はどこまで進歩したか？

2020年6月9日から12日にかけて第34回人工知能学会全国大会（JSAI2020）が開催されました。今回は、コロナ禍の影響により全セッションをZoomによるオンラインで実施するという異例のものとなりました。この記事では、2020年6月12日に行われたセッション「AI応用: エンタテイメント」で発表された3つの研究報告を紹介します。

クエストを自動生成して視覚要素と統合

公立はこだて未来大学の斉藤勇璃氏による「シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築」と題された発表では、ゲームにおけるシナリオと視覚要素を自動生成する試みが報告されました。

ゲーム業界のなかでもRPGは人気ジャンルのひとつであり、『RPGツクール』シリーズの存在からも分かるようにユーザ自身が制作したいというニーズもあるジャンルです。こうした背景から、商用利用できるAIを活用したRPG自動生成技術が開発できれば、市場から高く評価されることは想像に難くありません。

RPGの自動生成を試みるにあたっては、シナリオ、音響、視覚要素、そしてこれらを統合するシステムが必要になります（下の図を参照）。まずシナリオの自動生成を試みるにあたっては、既存のRPGのシナリオを分析することから始めました。分析対象としては、その知名度からドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作が選ばれました。

過去作品のシナリオ分析には、ストーリーの構造を研究する「物語論」を活用しました。分析した結果、RPGは特定の目標を達成する「クエスト」が複数つながることでシナリオが形成されていると分かりました。そして、クエストには発端となる「発生」、発端を受けて行動する「経過」、目標を達成した結果生じる「結末」という3構造から成り立っていることも分かりました。こうした構造分析から、3構造を保ちながらさまざまなイベントを組み合わせてクエストを自動生成し、生成したクエストを複数つなげればシナリオになる、という解決策が見出せます。

クエストを自動生成するには、3構造それぞれの内容を特定する必要があります。過去作品の分析により、発生には「依頼」「移動手段の確保」、経過には「ボスモンスターを倒す」、結末には「（強力な武器等の）アイテム入手」といった類型があることがわかっていました。こうした類型にもとづき、クエスト内容の原型にあたる簡単な内容を記したテキストを350個ほど人力で作成した上で、このテキスト群に対してクエスト生成アルゴリズムを駆動して抽出・接続することにしました。

この結果、1,800通りのクエストの自動生成に成功しました。生成されたクエストには、ゲーム全体を統合するモジュールに渡すクエスト発生条件等のシステム情報も付与しました。そして、確率モデルの一種であるマルコフ連鎖を活用してクエストをつなげることによって、シナリオが形成されたのでした。

RPGにおけるシナリオは、視覚要素が加わることで体験可能となります。こうした視覚要素はシナリオに対応したものでなければなりません。それゆえ、キャラクターとマップは基本デザインを作成して、シナリオに合った（質感を表現するグラフィック要素である）マテリアルをその基本デザインに設定するようにしました。また、ダンジョンもローグライクゲームのように自動生成するようにしました。

今後の課題として、自動生成されたRPGをテストプレイヤーにプレイしてもらってから、アンケート形式でフィードバックを得ることが挙げられました。

【論文】シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築

シナリオの感情状態に合ったBGMを選曲

公立はこだて未来大学の山内拓真氏による「ゲームシナリオと感情状態に合わせてBGMを選曲するシステム」と題された発表では、ゲームシナリオに合ったBGMを選択するシステムの開発について報告されました。この報告は、前述のRPGの自動生成におけるBGM生成モジュール開発に該当するものです。

RPGにおけるBGMは、それが流れているゲーム内シーンにプレイヤーが没入することをうながす効果があります。こうした効果は、シーンのプレイ中にプレイヤーが感じる感情とBGMを聴くことで生じる感情が一致する時に実現すると考えられます。それゆえ、シナリオに合ったBGMを選曲するシステムを開発するにあたっては、シナリオに設定された感情に関する情報を入力として受け取って、受け取った感情情報にふさわしいBGMを出力するようにすれば良いという解決方針が立てられます。この方針に従い、以下のようなタスクを実行しました。

タスク1：既存のRPGで使われているBGMに感情特徴量を付与する。

タスク2：選曲対象となるフリーの楽曲の音響特徴量を分析する。

タスク3：タスク1で作成した感情特徴量が付与されたBGMを入力、タスク2で作成した音響特徴量が付与されたフリー楽曲を出力として、感情特徴量にもとづいて楽曲を選曲できるシステムを訓練する。

タスク4：タスク3で訓練したシステムをゲームに実装したうえで、ゲーム内シーンからシステム情報として受け取った感情特徴量にもとづいて、シーンを盛り上げる楽曲を選曲して流す。

なお、RPGの伝統として戦闘シーンと移動シーンにおけるBGMはそれぞれ一定なことをふまえ、ゲームストーリーの展開が生じるイベントシーンのBGMの選曲のみを行うものとしました。

タスク1では、ドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作品で使われているBGM90曲に対して、人力で感情特徴量を付与しました。感情特徴量を付与する際には、Hevnerが提唱した8つの感情カテゴリーに数値を割り当てるようにしました。

タスク2では、選曲対象となる150のフリー楽曲に対して、PythonライブラリにあるLibrosaを使って「BPM」「スペクトルセントロイド」「クロマベクトル」という3つの音響特徴量を抽出しました。

タスク1とタスク2で作成したデータを使って訓練したBGM選曲システムをゲームに実装すれば、例えば「主要登場人物との別れのシーンに物悲しい楽曲を流す」というような結果が期待できます。

以上のようにして開発したシステムに関して、実際に人間の被験者がゲームをプレイして評価しました。具体的には、選曲されたBGMに対して被験者に感情特徴量を付与してもらいました。その結果、シーンから受け取る感情特徴量と被験者がBGMに付与したそれが類似している場合にはシーンに合致したBGMが流れ、反対にあまり類似していない場合にはシーンの雰囲気にそぐわないBGMが流れました。今回開発したシステムにはまだ改良の余地があると言えます。

以上の発表後に行われた質疑応答では、学習データとして使う既存RPGのBGMに関する感情特徴量は人間が付与するので、評価者によって情報に偏りが生じてしまうのではないか、という指摘がありました。この指摘に対して、発表した山内氏は指摘された問題は認識しており、感情特徴量付与について改善する必要があると答えていました。

【論文】ゲームシナリオと感情状態に合わせてBGMを選曲するシステム

ラベル付けの難しい音楽学習データの不足を半教師あり学習で補う

東京大学の熊田周氏による「VAEを用いた半教師あり学習による自動コード認識」と題された発表では、コード識別AI開発における半教師あり学習の有効性が報告されました。

近年の音楽情報分析では、機械学習を活用したMIR（Music Information Retieval：音楽情報検索）の研究がさかんに行われています。こうした研究の成果として、音源を入力として与えると楽譜を出力するモデル、あるいは音源で使われている（オーケストラやロックバンドといった）演奏形式を識別するモデルといったものが開発されています。今回発表された研究では、コード（いわゆる「和音」のこと）を識別するモデルの開発を試みました。

コード識別AIを開発するにあたっては、まず学習データとして与える楽曲群に対してConstant-Ｑ変換（CQT）を行ってスペクトログラムに変換して、そのスペクトログラムを画像識別モデルであるCNNに入力として渡します（下のスライド画像「3.提案手法」の上部参照）。なお、楽曲には時間幅があるので、1.5秒間隔にセグメント化されたスペクトログラムの断片を連続的に渡すようにします。こうして学習データが与えられたモデルを訓練すれば任意の楽曲のコードを識別できるようになる、というわけなのです。

しかし、学習データとして与える楽曲を収集する際に問題が生じます。コード情報が付与された楽曲が非常に少ないのです。学習データを増やすことによって高精度を実現するAI開発にとって、学習データの不足は致命的です。コード情報付きの楽曲が少ないのは、楽曲にコードを付与するためには専門的な訓練をうけた人材が必要だからです。こうした事情は、画像識別AI開発の訓練に使う学習データでは生じません。というのも、画像に何が写っているかを識別するのは特別な訓練をうけた人材でなくても可能なので、簡単に画像識別に関する情報が付与できるのです。

コード情報付き楽曲データの不足を補う方法として、今回の研究で採用されたのが半教師あり学習です。半教師あり学習とは、正解となる情報を記したラベルを付与した学習データに加えて、ラベルが付与されていないデータも活用して学習する技法です。この技法においては、ラベルなしデータにラベルを付与する処理を実行することによって、ラベル付き学習データの量を増やしながら学習が進みます（スライド「3.提案手法」の下部参照）。コード情報付き楽曲データが不足している今回の研究のようなケースに半教師あり学習を使えば、高精度なAIモデルの実現が期待できます。

以上のような半教師あり学習の有効性を確認するにあたり、以下のような条件でふたつの実験を行いました。

条件1）：コード情報付き学習データとして「Isophonicsデータセット」を用意する。このデータセットにはラベルが付与されたビートルズやクィーンの楽曲が合計して207曲ある。

条件2）：AIが学習する識別タスクは、13種類あるコードのみを識別するタスクと長調と単調の違いも考慮した25種類のコードを識別するタスクの2種類とする。

実験1）：学習データとしてIsophonicデータセットの90%にあたる186曲を使って訓練したAIと、50%の104曲で訓練したAIをそれぞれ開発して、学習データの違いによる精度の差異を調査する。

実験2）：13種類の各コードに対してスペクトログラムから抽出した10セグメントの学習データで訓練したAIと、さらに84曲分のラベルなしデータを加えて半教師あり学習を実行したAIを開発して、それぞれの精度を比較する。

実験の結果、次のようなことが判明しました。

・実験1の結果、コードのみを識別するタスクでは有意な精度差は認めれなかった。調性を加味した識別タスクでは有意な精度差が認められた。コードのみを識別するタスクで精度差が認められなかったのは、タスクが簡単だからと考えられる。

・実験2の結果、半教師あり学習で訓練したAIのほうが高精度であった。この結果により、調性を考慮しないコード識別タスクに関しては、半教師あり学習が精度向上に寄与することが判明した。

こうしてコード識別AI開発における半教師あり学習の有効性は実証されました。今後の課題としては、以下のような2項目が挙げられます。

・4音から構成された和音であるセブンスコード（通常の和音は3音で構成）の識別のようなより難しいタスクにおける半教師あり学習の有効性の検証。

・ラベルなしの楽曲を集めただけではコードの出現頻度にばらつきが生じてしまい、その結果コードごとの学習データ量が異なってしまうおそれがある。この問題に対する対策が必要。

なお、発表タイトルにもあるデータ生成技法のひとつであるVAE（Variational AutoEncoder）を用いた学習については、うまく進めることができず実験は未達成に終わったと報告されました。

【論文】VAEを用いた半教師あり学習による自動コード認識

＊

以上の3つの研究発表は、いずれもさらなる発展が期待できるものと言えます。RPGの自動生成を試みた2つの研究に関しては、生成に際して使う素材には人間が制作したものを用意していました。こうした素材をAIによる生成物に置き換えることができたら、シナリオと視聴覚要素がさらに柔軟かつ緊密に統合できるようになるかも知れません。また、コード識別AI開発研究に関しては、課題として示されたように不足している学習データを生成する技法を活用した場合には、効率的に精度を向上させることができるかも知れません。これらの研究発表のような試みが蓄積されることによって、エンタメ領域におけるAIの実装がさらに進んでいくことになるでしょう。

Writer：吉本幸記