モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習CGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース強化学習三宅陽一郎モリカトロンAIラボインタビュー敵対的生成ネットワーク音楽OpenAIQAスクウェア・エニックス河合律子シナリオNVIDIAデバッグキャラクターAICEDEC2019プロシージャルDeepMind人工知能学会Facebookルールベースビヘイビア・ツリーGoogleCEDEC2020ゲームAI映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI畳み込みニューラルネットワーク深層学習マイクロソフトAIと倫理グーグルGDC 2021GDC 2019マルチエージェントVR森川幸人ボードゲーム自然言語処理ロボットStyleGAN自動生成GPT-3CNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークJSAI2020Microsoftイベントレポート水野勇太アニメーションガイスターNPCCLIPアートtoio吉本幸記JSAI2021スポーツディープフェイク汎用人工知能CEDEC2021TensorFlowGDC SummerテストプレイeSportsBLUE PROTOCOL小説DALL-EStyleGAN2AlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究DARPAドローンシムピープルAI美空ひばり手塚治虫メタデータ通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft Azureキャリアナラティブeスポーツ対話型エージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオシーマンUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEUbisoftUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウドリトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNANFT長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーCycleGANフェイクニュースシムシティGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIElectronic Artsマーケティング大内孝子Apex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUX認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージちょまどビッグデータアストロノーカ模倣学習FPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021テンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI DungeonMCS-AI動的連携モデル西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

【JSAI2020】AIによるRPG自動生成技術はどこまで進歩したか?

2020.6.29ゲーム

【JSAI2020】AIによるRPG自動生成技術はどこまで進歩したか?

2020年6月9日から12日にかけて第34回人工知能学会全国大会(JSAI2020)が開催されました。今回は、コロナ禍の影響により全セッションをZoomによるオンラインで実施するという異例のものとなりました。この記事では、2020年6月12日に行われたセッション「AI応用: エンタテイメント」で発表された3つの研究報告を紹介します。

クエストを自動生成して視覚要素と統合

公立はこだて未来大学の斉藤勇璃氏による「シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築」と題された発表では、ゲームにおけるシナリオと視覚要素を自動生成する試みが報告されました。

ゲーム業界のなかでもRPGは人気ジャンルのひとつであり、『RPGツクール』シリーズの存在からも分かるようにユーザ自身が制作したいというニーズもあるジャンルです。こうした背景から、商用利用できるAIを活用したRPG自動生成技術が開発できれば、市場から高く評価されることは想像に難くありません。

RPGの自動生成を試みるにあたっては、シナリオ、音響、視覚要素、そしてこれらを統合するシステムが必要になります(下の図を参照)。まずシナリオの自動生成を試みるにあたっては、既存のRPGのシナリオを分析することから始めました。分析対象としては、その知名度からドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作が選ばれました。

過去作品のシナリオ分析には、ストーリーの構造を研究する「物語論」を活用しました。分析した結果、RPGは特定の目標を達成する「クエスト」が複数つながることでシナリオが形成されていると分かりました。そして、クエストには発端となる「発生」、発端を受けて行動する「経過」、目標を達成した結果生じる「結末」という3構造から成り立っていることも分かりました。こうした構造分析から、3構造を保ちながらさまざまなイベントを組み合わせてクエストを自動生成し、生成したクエストを複数つなげればシナリオになる、という解決策が見出せます。

クエストを自動生成するには、3構造それぞれの内容を特定する必要があります。過去作品の分析により、発生には「依頼」「移動手段の確保」、経過には「ボスモンスターを倒す」、結末には「(強力な武器等の)アイテム入手」といった類型があることがわかっていました。こうした類型にもとづき、クエスト内容の原型にあたる簡単な内容を記したテキストを350個ほど人力で作成した上で、このテキスト群に対してクエスト生成アルゴリズムを駆動して抽出・接続することにしました。

この結果、1,800通りのクエストの自動生成に成功しました。生成されたクエストには、ゲーム全体を統合するモジュールに渡すクエスト発生条件等のシステム情報も付与しました。そして、確率モデルの一種であるマルコフ連鎖を活用してクエストをつなげることによって、シナリオが形成されたのでした。

RPGにおけるシナリオは、視覚要素が加わることで体験可能となります。こうした視覚要素はシナリオに対応したものでなければなりません。それゆえ、キャラクターとマップは基本デザインを作成して、シナリオに合った(質感を表現するグラフィック要素である)マテリアルをその基本デザインに設定するようにしました。また、ダンジョンもローグライクゲームのように自動生成するようにしました。

今後の課題として、自動生成されたRPGをテストプレイヤーにプレイしてもらってから、アンケート形式でフィードバックを得ることが挙げられました。

【論文】シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築

シナリオの感情状態に合ったBGMを選曲

公立はこだて未来大学の山内拓真氏による「ゲームシナリオと感情状態に合わせてBGMを選曲するシステム」と題された発表では、ゲームシナリオに合ったBGMを選択するシステムの開発について報告されました。この報告は、前述のRPGの自動生成におけるBGM生成モジュール開発に該当するものです。

RPGにおけるBGMは、それが流れているゲーム内シーンにプレイヤーが没入することをうながす効果があります。こうした効果は、シーンのプレイ中にプレイヤーが感じる感情とBGMを聴くことで生じる感情が一致する時に実現すると考えられます。それゆえ、シナリオに合ったBGMを選曲するシステムを開発するにあたっては、シナリオに設定された感情に関する情報を入力として受け取って、受け取った感情情報にふさわしいBGMを出力するようにすれば良いという解決方針が立てられます。この方針に従い、以下のようなタスクを実行しました。

タスク1:既存のRPGで使われているBGMに感情特徴量を付与する。

タスク2:選曲対象となるフリーの楽曲の音響特徴量を分析する。

タスク3:タスク1で作成した感情特徴量が付与されたBGMを入力、タスク2で作成した音響特徴量が付与されたフリー楽曲を出力として、感情特徴量にもとづいて楽曲を選曲できるシステムを訓練する。

タスク4:タスク3で訓練したシステムをゲームに実装したうえで、ゲーム内シーンからシステム情報として受け取った感情特徴量にもとづいて、シーンを盛り上げる楽曲を選曲して流す。

なお、RPGの伝統として戦闘シーンと移動シーンにおけるBGMはそれぞれ一定なことをふまえ、ゲームストーリーの展開が生じるイベントシーンのBGMの選曲のみを行うものとしました。

タスク1では、ドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作品で使われているBGM90曲に対して、人力で感情特徴量を付与しました。感情特徴量を付与する際には、Hevnerが提唱した8つの感情カテゴリーに数値を割り当てるようにしました。

タスク2では、選曲対象となる150のフリー楽曲に対して、PythonライブラリにあるLibrosaを使って「BPM」「スペクトルセントロイド」「クロマベクトル」という3つの音響特徴量を抽出しました。

タスク1とタスク2で作成したデータを使って訓練したBGM選曲システムをゲームに実装すれば、例えば「主要登場人物との別れのシーンに物悲しい楽曲を流す」というような結果が期待できます。

以上のようにして開発したシステムに関して、実際に人間の被験者がゲームをプレイして評価しました。具体的には、選曲されたBGMに対して被験者に感情特徴量を付与してもらいました。その結果、シーンから受け取る感情特徴量と被験者がBGMに付与したそれが類似している場合にはシーンに合致したBGMが流れ、反対にあまり類似していない場合にはシーンの雰囲気にそぐわないBGMが流れました。今回開発したシステムにはまだ改良の余地があると言えます。

以上の発表後に行われた質疑応答では、学習データとして使う既存RPGのBGMに関する感情特徴量は人間が付与するので、評価者によって情報に偏りが生じてしまうのではないか、という指摘がありました。この指摘に対して、発表した山内氏は指摘された問題は認識しており、感情特徴量付与について改善する必要があると答えていました。

【論文】ゲームシナリオと感情状態に合わせてBGMを選曲するシステム

ラベル付けの難しい音楽学習データの不足を半教師あり学習で補う

東京大学の熊田周氏による「VAEを用いた半教師あり学習による自動コード認識」と題された発表では、コード識別AI開発における半教師あり学習の有効性が報告されました。

近年の音楽情報分析では、機械学習を活用したMIR(Music Information Retieval:音楽情報検索)の研究がさかんに行われています。こうした研究の成果として、音源を入力として与えると楽譜を出力するモデル、あるいは音源で使われている(オーケストラやロックバンドといった)演奏形式を識別するモデルといったものが開発されています。今回発表された研究では、コード(いわゆる「和音」のこと)を識別するモデルの開発を試みました。

コード識別AIを開発するにあたっては、まず学習データとして与える楽曲群に対してConstant-Q変換(CQT)を行ってスペクトログラムに変換して、そのスペクトログラムを画像識別モデルであるCNNに入力として渡します(下のスライド画像「3.提案手法」の上部参照)。なお、楽曲には時間幅があるので、1.5秒間隔にセグメント化されたスペクトログラムの断片を連続的に渡すようにします。こうして学習データが与えられたモデルを訓練すれば任意の楽曲のコードを識別できるようになる、というわけなのです。

しかし、学習データとして与える楽曲を収集する際に問題が生じます。コード情報が付与された楽曲が非常に少ないのです。学習データを増やすことによって高精度を実現するAI開発にとって、学習データの不足は致命的です。コード情報付きの楽曲が少ないのは、楽曲にコードを付与するためには専門的な訓練をうけた人材が必要だからです。こうした事情は、画像識別AI開発の訓練に使う学習データでは生じません。というのも、画像に何が写っているかを識別するのは特別な訓練をうけた人材でなくても可能なので、簡単に画像識別に関する情報が付与できるのです。

コード情報付き楽曲データの不足を補う方法として、今回の研究で採用されたのが半教師あり学習です。半教師あり学習とは、正解となる情報を記したラベルを付与した学習データに加えて、ラベルが付与されていないデータも活用して学習する技法です。この技法においては、ラベルなしデータにラベルを付与する処理を実行することによって、ラベル付き学習データの量を増やしながら学習が進みます(スライド「3.提案手法」の下部参照)。コード情報付き楽曲データが不足している今回の研究のようなケースに半教師あり学習を使えば、高精度なAIモデルの実現が期待できます。

以上のような半教師あり学習の有効性を確認するにあたり、以下のような条件でふたつの実験を行いました。

条件1):コード情報付き学習データとして「Isophonicsデータセット」を用意する。このデータセットにはラベルが付与されたビートルズやクィーンの楽曲が合計して207曲ある。

条件2):AIが学習する識別タスクは、13種類あるコードのみを識別するタスクと長調と単調の違いも考慮した25種類のコードを識別するタスクの2種類とする。

実験1):学習データとしてIsophonicデータセットの90%にあたる186曲を使って訓練したAIと、50%の104曲で訓練したAIをそれぞれ開発して、学習データの違いによる精度の差異を調査する。

実験2):13種類の各コードに対してスペクトログラムから抽出した10セグメントの学習データで訓練したAIと、さらに84曲分のラベルなしデータを加えて半教師あり学習を実行したAIを開発して、それぞれの精度を比較する。

実験の結果、次のようなことが判明しました。

・実験1の結果、コードのみを識別するタスクでは有意な精度差は認めれなかった。調性を加味した識別タスクでは有意な精度差が認められた。コードのみを識別するタスクで精度差が認められなかったのは、タスクが簡単だからと考えられる。

・実験2の結果、半教師あり学習で訓練したAIのほうが高精度であった。この結果により、調性を考慮しないコード識別タスクに関しては、半教師あり学習が精度向上に寄与することが判明した。

こうしてコード識別AI開発における半教師あり学習の有効性は実証されました。今後の課題としては、以下のような2項目が挙げられます。

・4音から構成された和音であるセブンスコード(通常の和音は3音で構成)の識別のようなより難しいタスクにおける半教師あり学習の有効性の検証。

・ラベルなしの楽曲を集めただけではコードの出現頻度にばらつきが生じてしまい、その結果コードごとの学習データ量が異なってしまうおそれがある。この問題に対する対策が必要。

なお、発表タイトルにもあるデータ生成技法のひとつであるVAE(Variational AutoEncoder)を用いた学習については、うまく進めることができず実験は未達成に終わったと報告されました。

【論文】VAEを用いた半教師あり学習による自動コード認識

以上の3つの研究発表は、いずれもさらなる発展が期待できるものと言えます。RPGの自動生成を試みた2つの研究に関しては、生成に際して使う素材には人間が制作したものを用意していました。こうした素材をAIによる生成物に置き換えることができたら、シナリオと視聴覚要素がさらに柔軟かつ緊密に統合できるようになるかも知れません。また、コード識別AI開発研究に関しては、課題として示されたように不足している学習データを生成する技法を活用した場合には、効率的に精度を向上させることができるかも知れません。これらの研究発表のような試みが蓄積されることによって、エンタメ領域におけるAIの実装がさらに進んでいくことになるでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

チートのパターンを学習するチート検出AIの活躍

2021.2.26ゲーム

チートのパターンを学習するチート検出AIの活躍

ゲーム運営をディープラーニングでサポートするYOKOZUNA dataの全貌

2019.6.21ゲーム

ゲーム運営をディープラーニングでサポートするYOKOZUNA dataの全貌

ゲームAIのこれまでとこれから:三宅陽一郎氏×森川幸人氏 対談(前編)

2019.4.26ゲーム

ゲームAIのこれまでとこれから:三宅陽一郎氏×森川幸人氏 対談(前編)

RANKING注目の記事はこちら