モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGANNVIDIA音楽Google三宅陽一郎強化学習ニューラルネットワークStable DiffusionChatGPTグーグル森川幸人シナリオDeepMindQA人工知能学会GPT-3自然言語処理マイクロソフト大規模言語モデルFacebook大内孝子映画著作権AIと倫理キャラクターAI敵対的生成ネットワークルールベースアート倫理SIGGRAPHモリカトロンゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成LLMNPCNFTプロシージャルMidjourneyデバッグMinecraftDALL-E2StyleGAN遺伝的アルゴリズム画像生成AIロボット自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインメタバースVRボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツエージェントプロンプト栗原聡手塚治虫CNNNeRFDALL-E 3バーチャルヒューマンBERTロボティクスUnityOmniverseJSAI2023鴫原盛之HTN階層型タスクネットワークソニーGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルRed RamモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成インディーゲームElectronic Arts音声合成マーケティングメタデータGDC SummerStable Diffusion XLCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオAI Frog Interactive新清士大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェント人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

【JSAI2020】AIによるRPG自動生成技術はどこまで進歩したか?

2020.6.29ゲーム

【JSAI2020】AIによるRPG自動生成技術はどこまで進歩したか?

2020年6月9日から12日にかけて第34回人工知能学会全国大会(JSAI2020)が開催されました。今回は、コロナ禍の影響により全セッションをZoomによるオンラインで実施するという異例のものとなりました。この記事では、2020年6月12日に行われたセッション「AI応用: エンタテイメント」で発表された3つの研究報告を紹介します。

クエストを自動生成して視覚要素と統合

公立はこだて未来大学の斉藤勇璃氏による「シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築」と題された発表では、ゲームにおけるシナリオと視覚要素を自動生成する試みが報告されました。

ゲーム業界のなかでもRPGは人気ジャンルのひとつであり、『RPGツクール』シリーズの存在からも分かるようにユーザ自身が制作したいというニーズもあるジャンルです。こうした背景から、商用利用できるAIを活用したRPG自動生成技術が開発できれば、市場から高く評価されることは想像に難くありません。

RPGの自動生成を試みるにあたっては、シナリオ、音響、視覚要素、そしてこれらを統合するシステムが必要になります(下の図を参照)。まずシナリオの自動生成を試みるにあたっては、既存のRPGのシナリオを分析することから始めました。分析対象としては、その知名度からドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作が選ばれました。

過去作品のシナリオ分析には、ストーリーの構造を研究する「物語論」を活用しました。分析した結果、RPGは特定の目標を達成する「クエスト」が複数つながることでシナリオが形成されていると分かりました。そして、クエストには発端となる「発生」、発端を受けて行動する「経過」、目標を達成した結果生じる「結末」という3構造から成り立っていることも分かりました。こうした構造分析から、3構造を保ちながらさまざまなイベントを組み合わせてクエストを自動生成し、生成したクエストを複数つなげればシナリオになる、という解決策が見出せます。

クエストを自動生成するには、3構造それぞれの内容を特定する必要があります。過去作品の分析により、発生には「依頼」「移動手段の確保」、経過には「ボスモンスターを倒す」、結末には「(強力な武器等の)アイテム入手」といった類型があることがわかっていました。こうした類型にもとづき、クエスト内容の原型にあたる簡単な内容を記したテキストを350個ほど人力で作成した上で、このテキスト群に対してクエスト生成アルゴリズムを駆動して抽出・接続することにしました。

この結果、1,800通りのクエストの自動生成に成功しました。生成されたクエストには、ゲーム全体を統合するモジュールに渡すクエスト発生条件等のシステム情報も付与しました。そして、確率モデルの一種であるマルコフ連鎖を活用してクエストをつなげることによって、シナリオが形成されたのでした。

RPGにおけるシナリオは、視覚要素が加わることで体験可能となります。こうした視覚要素はシナリオに対応したものでなければなりません。それゆえ、キャラクターとマップは基本デザインを作成して、シナリオに合った(質感を表現するグラフィック要素である)マテリアルをその基本デザインに設定するようにしました。また、ダンジョンもローグライクゲームのように自動生成するようにしました。

今後の課題として、自動生成されたRPGをテストプレイヤーにプレイしてもらってから、アンケート形式でフィードバックを得ることが挙げられました。

【論文】シナリオ・視覚要素・音響効果を統合的に自動生成するゲームシステムの構築

シナリオの感情状態に合ったBGMを選曲

公立はこだて未来大学の山内拓真氏による「ゲームシナリオと感情状態に合わせてBGMを選曲するシステム」と題された発表では、ゲームシナリオに合ったBGMを選択するシステムの開発について報告されました。この報告は、前述のRPGの自動生成におけるBGM生成モジュール開発に該当するものです。

RPGにおけるBGMは、それが流れているゲーム内シーンにプレイヤーが没入することをうながす効果があります。こうした効果は、シーンのプレイ中にプレイヤーが感じる感情とBGMを聴くことで生じる感情が一致する時に実現すると考えられます。それゆえ、シナリオに合ったBGMを選曲するシステムを開発するにあたっては、シナリオに設定された感情に関する情報を入力として受け取って、受け取った感情情報にふさわしいBGMを出力するようにすれば良いという解決方針が立てられます。この方針に従い、以下のようなタスクを実行しました。

タスク1:既存のRPGで使われているBGMに感情特徴量を付与する。

タスク2:選曲対象となるフリーの楽曲の音響特徴量を分析する。

タスク3:タスク1で作成した感情特徴量が付与されたBGMを入力、タスク2で作成した音響特徴量が付与されたフリー楽曲を出力として、感情特徴量にもとづいて楽曲を選曲できるシステムを訓練する。

タスク4:タスク3で訓練したシステムをゲームに実装したうえで、ゲーム内シーンからシステム情報として受け取った感情特徴量にもとづいて、シーンを盛り上げる楽曲を選曲して流す。

なお、RPGの伝統として戦闘シーンと移動シーンにおけるBGMはそれぞれ一定なことをふまえ、ゲームストーリーの展開が生じるイベントシーンのBGMの選曲のみを行うものとしました。

タスク1では、ドラゴンクエストシリーズとファイナルファンタジーシリーズの初期作品で使われているBGM90曲に対して、人力で感情特徴量を付与しました。感情特徴量を付与する際には、Hevnerが提唱した8つの感情カテゴリーに数値を割り当てるようにしました。

タスク2では、選曲対象となる150のフリー楽曲に対して、PythonライブラリにあるLibrosaを使って「BPM」「スペクトルセントロイド」「クロマベクトル」という3つの音響特徴量を抽出しました。

タスク1とタスク2で作成したデータを使って訓練したBGM選曲システムをゲームに実装すれば、例えば「主要登場人物との別れのシーンに物悲しい楽曲を流す」というような結果が期待できます。

以上のようにして開発したシステムに関して、実際に人間の被験者がゲームをプレイして評価しました。具体的には、選曲されたBGMに対して被験者に感情特徴量を付与してもらいました。その結果、シーンから受け取る感情特徴量と被験者がBGMに付与したそれが類似している場合にはシーンに合致したBGMが流れ、反対にあまり類似していない場合にはシーンの雰囲気にそぐわないBGMが流れました。今回開発したシステムにはまだ改良の余地があると言えます。

以上の発表後に行われた質疑応答では、学習データとして使う既存RPGのBGMに関する感情特徴量は人間が付与するので、評価者によって情報に偏りが生じてしまうのではないか、という指摘がありました。この指摘に対して、発表した山内氏は指摘された問題は認識しており、感情特徴量付与について改善する必要があると答えていました。

【論文】ゲームシナリオと感情状態に合わせてBGMを選曲するシステム

ラベル付けの難しい音楽学習データの不足を半教師あり学習で補う

東京大学の熊田周氏による「VAEを用いた半教師あり学習による自動コード認識」と題された発表では、コード識別AI開発における半教師あり学習の有効性が報告されました。

近年の音楽情報分析では、機械学習を活用したMIR(Music Information Retieval:音楽情報検索)の研究がさかんに行われています。こうした研究の成果として、音源を入力として与えると楽譜を出力するモデル、あるいは音源で使われている(オーケストラやロックバンドといった)演奏形式を識別するモデルといったものが開発されています。今回発表された研究では、コード(いわゆる「和音」のこと)を識別するモデルの開発を試みました。

コード識別AIを開発するにあたっては、まず学習データとして与える楽曲群に対してConstant-Q変換(CQT)を行ってスペクトログラムに変換して、そのスペクトログラムを画像識別モデルであるCNNに入力として渡します(下のスライド画像「3.提案手法」の上部参照)。なお、楽曲には時間幅があるので、1.5秒間隔にセグメント化されたスペクトログラムの断片を連続的に渡すようにします。こうして学習データが与えられたモデルを訓練すれば任意の楽曲のコードを識別できるようになる、というわけなのです。

しかし、学習データとして与える楽曲を収集する際に問題が生じます。コード情報が付与された楽曲が非常に少ないのです。学習データを増やすことによって高精度を実現するAI開発にとって、学習データの不足は致命的です。コード情報付きの楽曲が少ないのは、楽曲にコードを付与するためには専門的な訓練をうけた人材が必要だからです。こうした事情は、画像識別AI開発の訓練に使う学習データでは生じません。というのも、画像に何が写っているかを識別するのは特別な訓練をうけた人材でなくても可能なので、簡単に画像識別に関する情報が付与できるのです。

コード情報付き楽曲データの不足を補う方法として、今回の研究で採用されたのが半教師あり学習です。半教師あり学習とは、正解となる情報を記したラベルを付与した学習データに加えて、ラベルが付与されていないデータも活用して学習する技法です。この技法においては、ラベルなしデータにラベルを付与する処理を実行することによって、ラベル付き学習データの量を増やしながら学習が進みます(スライド「3.提案手法」の下部参照)。コード情報付き楽曲データが不足している今回の研究のようなケースに半教師あり学習を使えば、高精度なAIモデルの実現が期待できます。

以上のような半教師あり学習の有効性を確認するにあたり、以下のような条件でふたつの実験を行いました。

条件1):コード情報付き学習データとして「Isophonicsデータセット」を用意する。このデータセットにはラベルが付与されたビートルズやクィーンの楽曲が合計して207曲ある。

条件2):AIが学習する識別タスクは、13種類あるコードのみを識別するタスクと長調と単調の違いも考慮した25種類のコードを識別するタスクの2種類とする。

実験1):学習データとしてIsophonicデータセットの90%にあたる186曲を使って訓練したAIと、50%の104曲で訓練したAIをそれぞれ開発して、学習データの違いによる精度の差異を調査する。

実験2):13種類の各コードに対してスペクトログラムから抽出した10セグメントの学習データで訓練したAIと、さらに84曲分のラベルなしデータを加えて半教師あり学習を実行したAIを開発して、それぞれの精度を比較する。

実験の結果、次のようなことが判明しました。

・実験1の結果、コードのみを識別するタスクでは有意な精度差は認めれなかった。調性を加味した識別タスクでは有意な精度差が認められた。コードのみを識別するタスクで精度差が認められなかったのは、タスクが簡単だからと考えられる。

・実験2の結果、半教師あり学習で訓練したAIのほうが高精度であった。この結果により、調性を考慮しないコード識別タスクに関しては、半教師あり学習が精度向上に寄与することが判明した。

こうしてコード識別AI開発における半教師あり学習の有効性は実証されました。今後の課題としては、以下のような2項目が挙げられます。

・4音から構成された和音であるセブンスコード(通常の和音は3音で構成)の識別のようなより難しいタスクにおける半教師あり学習の有効性の検証。

・ラベルなしの楽曲を集めただけではコードの出現頻度にばらつきが生じてしまい、その結果コードごとの学習データ量が異なってしまうおそれがある。この問題に対する対策が必要。

なお、発表タイトルにもあるデータ生成技法のひとつであるVAE(Variational AutoEncoder)を用いた学習については、うまく進めることができず実験は未達成に終わったと報告されました。

【論文】VAEを用いた半教師あり学習による自動コード認識

以上の3つの研究発表は、いずれもさらなる発展が期待できるものと言えます。RPGの自動生成を試みた2つの研究に関しては、生成に際して使う素材には人間が制作したものを用意していました。こうした素材をAIによる生成物に置き換えることができたら、シナリオと視聴覚要素がさらに柔軟かつ緊密に統合できるようになるかも知れません。また、コード識別AI開発研究に関しては、課題として示されたように不足している学習データを生成する技法を活用した場合には、効率的に精度を向上させることができるかも知れません。これらの研究発表のような試みが蓄積されることによって、エンタメ領域におけるAIの実装がさらに進んでいくことになるでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

2020.7.27ゲーム

2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

【CEDEC2019】人工知能にテストプレイを丸投げできるか?

2019.9.24ゲーム

【CEDEC2019】人工知能にテストプレイを丸投げできるか?

【GDC 2021】ニューラルネットワークによるフルボディアニメーションの生成

2021.8.25ゲーム

【GDC 2021】ニューラルネットワークによるフルボディアニメーションの生成

RANKING注目の記事はこちら