モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング生成AI河合律子吉本幸記OpenAIGAN音楽NVIDIAGoogleChatGPT強化学習三宅陽一郎グーグルニューラルネットワークStable Diffusion森川幸人大規模言語モデルDeepMindマイクロソフトシナリオLLMQAAIと倫理人工知能学会GPT-3モリカトロン自然言語処理Facebook大内孝子倫理映画著作権アートゲームプレイAIキャラクターAI敵対的生成ネットワークルールベースSIGGRAPHスクウェア・エニックスモリカトロンAIラボインタビュー画像生成MinecraftNPCNFTプロシージャルMidjourneyデバッグロボットDALL-E2音楽生成AIStyleGAN遺伝的アルゴリズム画像生成AIファッション自動生成ディープフェイクVFXAdobeテストプレイメタAIアニメーションテキスト画像生成深層学習CEDEC2019MicrosoftデジタルツインメタバースVR小説ボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI作曲不完全情報ゲームロボティクスナビゲーションAIマインクラフト畳み込みニューラルネットワークtoioスポーツエージェントGDC 2021マルチモーダル汎用人工知能JSAI2022バーチャルヒューマンNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史教育ジェネレーティブAIプロンプトGPT-4栗原聡手塚治虫CNNNeRFDALL-E 3BERTMicrosoft Azure動画生成AIUnityOmniverseJSAI2023ELSI鴫原盛之HTN階層型タスクネットワークソニーRed RamJSAI2020GTC20233DマーケティングTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonメディアアートDQN合成音声水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARGTC2022SIGGRAPH ASIANetflixJSAI2021東京大学はこだて未来大学Bard研究シムピープル世界モデルMCS-AI動的連携モデルモーションキャプチャーTEZUKA2020CEDEC2023AGIテキスト生成インディーゲームElectronic Arts音声合成メタデータGDC Summerイーロン・マスクStable Diffusion XLCM森山和道アストロノーカキャリア模倣学習eスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識類家利直eSports高橋力斗BLUE PROTOCOLシーマンaiboモリカトロン開発者インタビューチャットボットGeminiブラック・ジャックワークショップEpic GamesAIロボ「迷キュー」に挑戦AWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLMGitHub Copilot哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SoraSFテキスト画像生成AI松尾豊AIQVE ONEデータマイニング現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAIELYZANEDO広告FSM-DNNMindAgentLEFT 4 DEAD通しプレイ論文OpenAI Five本間翔太馬淵浩希CygamesAudio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦Google I/Oトレカ慶應義塾大学Max CooperGPTDisneyFireflyPyTorch京都芸術大学ChatGPT4眞鍋和子バンダイナムコスタジオヒストリアAI Frog Interactive新清士SIE大澤博隆SFプロトタイピング齊藤陽介成沢理恵お知らせMagic Leap OneTencentサッカー宮本茂則バスケットボールTikTokSuno AItext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMIT野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画Open AI3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲームバーチャルキャラクター坂本洋典釜屋憲彦ウェイポイントLLaMAパス検索Hugging Face対談藤澤仁生物学GTC 2022xAIApple Vision Pro画像認識SiemensストライキStyleCLIPDeNAVoyager長谷洋平GDC 2024クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzQA Tech Night松木晋祐NetHack下田純也桑野範久キャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022レベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサム・アルトマンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景アパレル不気味の谷ナビゲーションメッシュデザイン高橋ミレイ深層強化学習松原仁松井俊浩武田英明フルコトELYZA DIGEST建築西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木KELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあなNVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJulius鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCGMITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsスパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガー転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェース西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELER西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave Adventure奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェント人事ハーバード大学Edgar Handy中ザワヒデキAIファッションウィーク研修デューク大学大屋雄裕インフルエンサー中川裕志Grok-1mynet.aiローグライクゲームAdreeseen HorowitzMixture-of-Experts東京理科大学NVIDIA Avatar Cloud EngineMoE人工音声NeurIPS 2021産業技術総合研究所Replica StudiosClaude 3リザバーコンピューティングSmart NPCsClaude 3 Haikuプレイ動画ヒップホップ対話型AIモデルRoblox StudioClaude 3 SonnetソニーマーケティングPromethean AIClaude 3 Opusサイレント映画もじぱnote森永乳業環境音暗号通貨note AIアシスタントMusiioC2PAFUZZLEKetchupEndelゲーミフィケーションAlterationAI NewsTomo Kihara粒子群最適化法Art SelfiePlayfool進化差分法オープンワールドArt TransferSonar遊び群知能下川大樹AIFAPet PortraitsSonar+D​​tsukurunウィル・ライト高津芳希P2EBlob Opera地方創生大石真史クリムトDolby Atmos吉田直樹BEiTStyleGAN-NADASonar Music Festival素材DETRライゾマティクスSIMASporeクリティックネットワーク真鍋大度OpenAI JapanデノイズUnity for Industryアクターネットワーク花井裕也Voice Engine画像処理DMLabRitchie HawtinCommand R+SentropyGLIDEControl SuiteErica SynthOracle Cloud InfrastructureCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluGoogle WorkspaceSynthetic DataAtari 200MJapanese InstructBLIP AlphaUdioCALMYann LeCun日本新聞協会立命館大学プログラミング鈴木雅大AIいらすとや京都精華大学ソースコード生成コンセプトアートAI PicassoTacticAIGMAIシチズンデベロッパーSonanticColie WertzEmposyNPMPGitHubCohereリドリー・スコットAIタレントFOOHウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーGPT-4oUrzas.aiストーリーボードmodi.aiProject Astra介護大阪大学BitSummitGoogle I/O 2024西川善司並木幸介KikiBlenderBitSummit Let’s Go!!Gemma 2サムライスピリッツ森寅嘉Zoetic AIVeoゼビウスSIGGRAPH 2021ペット感情認識ストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカ音声加工Topaz Video Enhance AICozmoMakerSuiteGOT7マルタ大学DLSSタカラトミーSkebsynthesia田中達大山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRFInworld AI大里飛鳥DynamixyzMOFLINActors-HQMove AIRomiGoogle EarthSAG-AFTRAICRA2024U-NetミクシィGEPPETTO AIWGAIEEE13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカー大規模基盤モデルADVユニボPoint-EToroboXLandGato岡野原大輔東京ロボティクスAI model自己教師あり学習インピーダンス制御DEATH STRANDINGAI ModelsIn-Context Learning(ICL)深層予測学習Eric Johnson汎用強化学習AIZMO.AILoRA日立製作所MOBBY’Sファインチューニング早稲田大学Oculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ尾形哲也生体情報デシマエンジンGoogle Brainダイビング量子コンピュータAIRECSound Controlアウトドアqubit汎用ロボット写真SYNTH SUPERAIスキャニングIBM Quantum System 2オムロンサイニックエックス照明Maxim PeterKarl Sims自動採寸北野宏明ViLaInJoshua RomoffArtnome3DLOOKダリオ・ヒルPDDLハイパースケープICONATESizerジェン・スン・フアンニューサウスウェールズ大学山崎陽斗ワコールHuggingFaceClaude Sammut立木創太スニーカーStable Audioオックスフォード大学浜中雅俊UNSTREET宗教Lars Kunzeミライ小町Newelse仏教杉浦孔明テスラ福井健策CheckGoodsコカ・コーラ田向権GameGAN二次流通食品VASA-1パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarVoxCeleb2Tesla AI DayWikipediaDupe KillerCopilot Copyright CommitmentAniTalkerソサエティ5.0Sphere偽ブランドテラバース上海大学SIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

【CEDEC2020】『ドラゴンクエストライバルズ』のゲーム状態と行動を反映した対戦AI構築の試み

2020.9.30ゲーム

【CEDEC2020】『ドラゴンクエストライバルズ』のゲーム状態と行動を反映した対戦AI構築の試み

2020年9月3日、CEDEC2020において「自己対戦と強化学習によるNPCの意思決定の研究事例」と題されたセッションが行われました。スクウェア・エニックスの眞鍋和子氏によるこのセッションでは、スマホカードゲーム『ドラゴンクエストライバルズ』の対戦AIをモンテカルロ木探索とDQNで構築する方法が発表されました。この記事では、対戦AIの構築方法を図解したうえで、ゲーム対戦以外に応用した事例も紹介します。

DQRの概要と対戦AIニーズの高まり

『ドラゴンクエストライバルズ』(以下、DQRと略記)とは、ターン性を採用したカードバトルゲームです。ゲームタイトルに「ドラゴンクエスト」とあることからわかるように、このゲームで使われるカードのキャラクターはドラゴンクエストに登場するものです。プレイ時には、まずリーダーとなるキャラクターとモンスターから構成されるデッキを構築します。そして、カードをゲームフィールドにおいて攻防を繰り返して、対戦者のリーダーのHPをゼロにすれば勝利します。

モンスターにはそれぞれ固有の特技があり、プレイヤーが使えるカードパックは数か月ごとに追加されます。またデッキの組み方によって、リーダーへのシナジーが発動します。こうしたゲームシステムにより、DQRで勝利するにはデッキを組む際の戦略性と対戦者のアクションを推測することが求められます。

DQRの基本プレイは人間プレイヤー同士の対戦ですが、色々なデッキを試したい、人間相手だと緊張するといったさまざまな理由から対戦AIとプレイしたいというニーズが高まっています。

以下ではDQRの対戦AIの構築方法を解説しますが、この対戦AIは2020年8月に導入されたソロモードで採用されているオートプレイとは異なるものです。また、DQRの対戦プレイはデッキ構築と対戦という2つのフェーズから構成されていますが、解説する対戦AIは対戦のみに対応したものとなります。

DQRの特徴と採用する手法

対戦AI構築に際して適切な手法を選択するためには、ゲームの特徴を理解しなければなりません。DQRの特徴は以下の2点に集約できます。

まず、不完全情報ゲームであるということです。不完全情報ゲームとは、プレイヤーにゲームの状態を知るためのすべての情報が与えられないことを意味します。DQRではデッキからカードを引くことによって使えるカードが決まりますが、どんなカードを引くかは事前には分かりません。

もうひとつの特徴は、不確定ゲームであることです。前述したようにデッキからカードを引く際に生じる偶然性に加えて、DQRではランダムな効果を持つカードもあります。こうした偶然性がゲームに組み込まれていることにより、同じゲーム状態に対して同じ行動を選択しても、生じる結果が異なってきます。

以上のふたつの特徴をもつDQRの対戦AIを構築するためには、膨大なゲーム状態と偶然性が処理できる手法が求められます。そうした手法として有効なのが、ゲームを進めながらリアルタイムで戦略を探索する「モンテカルロ木探索」と、プレイ前に学習して評価器を作成する「DQN」です。

ゲームの状態と行動を網羅的に表現する「木探索」

モンテカルロ木探索とは、木探索とモンテカルロ法を組み合わせた手法です。このうち木探索とは、ゲームの状態を「ノード」、ゲームに対する行動を「エッジ」として表現して、ゲームの進展を網羅的に記述した上で最適な行動を選択する手法です。

木探索を分かりやすく解説するために、〇×ゲームを例にしてみましょう。ある局面における〇のプレイヤーのターンは、現在の〇と×の位置がノード、考えられる〇の置く場所がエッジとして表現できます。〇のプレイヤーが行動すると今度は×のプレイヤーのターンとなり、×のプレイヤーに関してノードとエッジが表現できます。この手順を繰り返すと、ゲームの勝敗が決まるまで枝分かれ状に広がるノードとエッジが記述できます(下の画像参照)。このノードとエッジの集まりは「ゲーム木」と呼ばれます。

木探索を使って対戦AIを構築する場合、AIはノードとエッジを網羅的に記述した上で、AIの勝利につながる行動を選択すればよいということになります。

状態を確率的に絞り込むモンテカルロ法

木探索はゲームの進展を直観的に理解できる上に網羅的に表現できるので、対戦AI構築の手法として優れています。しかし、ルールが複雑なゲームに木探索を応用するとゲーム木が大きくなりすぎて、現実的な演算能力を使って動作させるのが困難になるという欠点があります。こうした木探索の欠点を補完するのが、モンテカルロ法です。

モンテカルロ法ではゲームにおける行動をランダムに選択するようにした上で、一定回数(例えば100回)ゲームの勝敗が決するまでプレイします。こうしたランダムプレイに際しては、勝利した場合や引き分けた場合の評価値を設定しておいて、ランダムプレイ終了時に得られた評価値を集計するようにします。対戦AIは集計された評価値を比較して、もっとも高い評価値が付与された行動を勝利につながる最適な行動として選択します。

以上のモンテカルロ法と木探索を組み合わせると、状態数が多いゲームであっても、最適な行動を算出することができるのです。

DQRをモンテカルロ木探索で表現する

DQRの対戦AIをモンテカルロ木探索を使って構築する場合、同ゲームの特徴である不完全情報性と不確定性を適切にゲーム木に表現しなければなりません。

DQRでは、対戦者がゲームフィールドに出していないカードを知ることができません。こうした不完全情報性は、ゲームフィールドに出されているカードが同じであれば、ゲームフィールドに出ていないカードが何であろうと同じゲーム状態と定義することによって処理できるようにしました。

また、ランダムな効果を持つカードを使用した場合に生じる不確実性を表現する方法として、「アクションノード」を導入しました。このノードは、確率的に発生する行動を分岐するエッジで表現するものです。例えば50%の確率で効果が発揮されるカードは、ふたつに枝分かれするエッジがついたノードとして表現されます(下の画像参照)。

なお、アクションノードの評価値は、枝分かれした複数の子ノードから期待値を算出するようにしました。

対戦結果と課題

以上のようにしてモンテカルロ木探索を用いてDQRの対戦AI(MCTSプレイヤー)を構築して、ランダムに行動を選択するように構築したランダムプレイヤーと対戦させた結果、MCTSプレイヤーの勝率が91.3%となりました。しかしながら、平均的な人間プレイヤーと対戦してもらって感想を求めたところ、人間のトッププレイヤーには遠く及ばないと返答されました。

MCTSプレイヤーをさらに強くするために必要なのは、シミュレーション数の増加です。モンテカルロ木探索では一定回数ゲームをランダムにプレイした上で評価値を算出するため、シミュレーションの回数が多いほど正確な評価値が得られます。しかし、シミュレーションの回数が増えると、次第に現実的な演算時間で評価値が算出できなくなります。こうした課題に対しては、計算リソースを減らす努力が有効です。

モンテカルロ木探索では多数のシミュレーションが不可欠となるものも、開発後にはあまり調整が必要ないというメリットがあります。さらには、総じて開発コストが安いのも魅力です。こうしたメリットは、次に解説するDQNを使った対戦AIと性能比較する上で重要となります。

最適な行動を学習するDQN

モンテカルロ木探索の他に試みられた手法が、DQN(Deep Q-Network)です。この手法は、ゲームプレイAIの開発で使われる強化学習の一種です。手法の名称にある「Q」とは、「Q-Learning(Q値の学習)」を意味しています。DQNとは、Q-Learningとディープラーニングを組み合わせた手法なのです。

Q-Learningとは、ゲームにおける状態と行動から算出されるQ値にもとづいて最適な行動を導出する手法です。この手法におけるQ値とは、ある状態に対する何らかの行動がゲームの目標達成に寄与する度合いを表したものです。Q値の定義により、AIはこの値がもっとも高くなる行動を選択すればよいことになります。

Q値は、初期値として任意の値が各行動に付与されます。AIはランダムに行動を選択することから学習を開始し、ゲームの目標を達成するまで選択を繰り返します。AIの行動選択時にはQ値が更新されます。この更新に使われる計算式には過去の行動に関するQ値もふくまれているため、ゲームの目標達成に寄与する行動を選ぶとQ値が高い値に更新されます。こうしてAIが行動選択に繰り返すことによって、Q値が最高となる最適な行動を特定することができます。

DQNとは、Q値の更新処理にディープラーニングを用いる手法です。具体的には、ゲームの状態を入力層、選択する行動を出力層としたディープラーニング・ネットワークを構築して、ネットワークにおける重みを更新することを通してQ値を算出します。

DQNを使った時の学習構造

DQR対戦AIの構築にDQNを用いる場合、DQRの複雑なゲーム状態を表現できる学習構造を構築する必要があります。そうした学習構造は、以下の画像のように図示できます。

学習構造において注目すべきは、LSTM(Long Short-Term Memory)です。LSTMとは、時系列データを処理するのに使われるニューラルネットワークです。このネットワークが使われるのは、直前(つまり時系列的に直近)の行動を入力値に反映されるためです。

もうひとつ注目すべきは、カードIDとヒーローIDに関するEmbeddingです。Embeddingとは、カードの特徴のような数値情報として与えられていないものをベクトルとして表現する手法を指します。非数値情報のベクトル化は、ベクトル化したい情報を座標空間にプロットすることによって実行できます。Embeddingは、文字列を処理対象とする自然言語処理にも使われています。

行動空間の表現

以上のような学習構造は、対戦AIが選択可能な行動のQ値を算出するために組まれたものです。各行動のQ値を算出するためには、モンテカルロ木探索におけるゲーム木のように、行動を構造的に整理する必要があります。DQNを使った対戦AIの行動を整理したものが、以下の図に示された行動空間です。

行動空間は3層構造になっています。最上位層には、ゲームフィールドに置かれたカード、プレイヤーが手札として持っているカード、そしてターン終了といった選択可能な行動がオブジェクト単位で整理されています。最上位層の下にある中間層には、各オブジェクトがもつパラメータの種類が整理されています。何らかの効果を発揮する手札であれば、手札を置く位置と効果を発揮する対象というパラメータがあります。ターン終了のようなオブジェクトに関しては、パラメータが設定されていません。最下層には、パラメータの具体的な情報が整理されています。何らかの効果を発揮する手札に関して、その効果を発揮できる対戦者のユニット、さらには手札を置くことができる位置などがまとめされています。

Q値は、以上に示した行動空間の最下層に付与されます。この付与されたQ値にもとづいて、行動空間のなかからQ値が最大となるような行動を絞り込みます。この絞り込みにおいては、以下のような処理が実行されます。

  1. 第1ステップ:行動空間のなかにはゲームルールに則していない選択不可なものもあるので、そうした選択不可なパラメータを絞り込み対象から除外するフィルタリングを実行する
  2. 第2ステップ:最下層のパラメータからQ値が最大のものを選択して、その値を中間層のパラメータのQ値として渡す
  3. 第3ステップ:中間層に渡されたQ値の平均値を計算して、その算出結果を最上位層に渡す。最大値ではなく平均値を渡すのは、「手札の効果は強力だが、置ける位置はあまり良くない」というような総合的な評価をQ値に反映させるため
  4. 第4ステップ:最上位層のオブジェクトがもつQ値を比較して、最大となるものを最適な行動として決定する

DQNを使ったDQR対戦AIは、以上のようなQ値にもとづいた最適行動の決定を繰り返すことによって、より最適な行動を選択できるようになります。今回構築した対戦AIには、学習データとしてシミュレーターで生成した50万のログファイルが使われました。

対戦結果と課題

以上のようにして構築したDQN対戦AI(DQNプレイヤー)と前述したモンテカルロ木探索で構築したMCTSプレイヤーを対戦させたところ、DQNプレイヤーの勝率が67.6%となりました。

DQNプレイヤーのMCTSプレイヤーに対する優位は、勝率だけではありません。MCTSプレイヤーは、そのアルゴリズムの性質上、プレイ中のシミュレーション数を増やせばより良い行動を選択できますが、選択するまでの処理時間も増えてしまいます。対して、DQNプレイヤーは高負荷な処理である学習がプレイ前に完了しているので、ランタイムリソースをあまり消費しないのです。

DQNプレイヤーはMCTSプレイヤーより優れているように見えますが、欠点もあります。DQNプレイヤーは、カードパックの更新のようなゲーム設定が大きく変化する度に再学習が必要になります。

これまで解説したふたつの対戦AIの特徴をまとめると、以下のようになります。

MCTSプレイヤー:

  1. アルゴリズムを直観的に理解できる
  2. 開発後の調整が少なくて済む
  3. 開発コストが安い

DQNプレイヤー:

  1. MCTSプレイヤーより強い
  2. ゲーム設定が大きく変わると、再学習が必要
  3. 開発できる人材の確保が困難

以上のように特徴をまとめると、MCTSとDQNにはそれぞれ一長一短があることが分かります。

対戦AIのさらなる応用

人間プレイヤーとの対戦を目的として開発された対戦AIをゲームの対戦以外に応用すると、新たな知見が得られます。

MCTSの性能を評価するために用意したランダムに行動を選択するランダムプレイヤー同士を対戦させたところ、リーダーキャラクターにトルネコを選択した場合に高い勝率となりました。対して、ランダムプレイヤーより強いMCTSプレイヤーどうしを対戦させたところ、テリーがリーダーキャラクターの時に高い勝率となりました。

以上の結果は、ゲームバランスがプレイヤーのゲームに対する習熟度によって変化することを示唆しています。こうした変化は、対戦AIを使うことによってまったく同じ強さのプレイヤーどうしの対戦を実行したことによって、はじめて発見できるものと言えます。

また、強い対戦AIを作り続けることによって、ゲームバランスを崩壊させてしまうようなバランスブレイカーに相当する戦術を発見することが可能となります。バランスブレイカーとなる戦術を発見した場合、そうした戦術がゲームデザイナーの意図に沿うものかどうかを検討することが必要となるでしょう。

バランスブレイカーを検出する対戦AI開発の試みに関しては、昨年開催されたGDCにおいて発表を行いました(以下の発表資料を参照)。

参考資料:Balancing Nightmares: an AI Approach to Balance Games with Overwhelming Amounts of Data

関連記事:【GDC 2019】ソーシャルゲームのバランス調整に遺伝的アルゴリズムを応用する

以上にまとめたDQRの対戦AI構築において注目すべきなのは、ゲームの状態と行動を採用した手法で処理できるように数値化するプロセスではないでしょうか。こうしたプロセスは、DQR以外のターン性カードバトルの対戦AIを構築する際に大いに参考になることでしょう。

Writer:吉本幸記

RELATED ARTICLE関連記事

Ubisoft La Forgeの研究成果が示すゲームにおける機械学習の未来

2019.6.04ゲーム

Ubisoft La Forgeの研究成果が示すゲームにおける機械学習の未来

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

2020.4.10ゲーム

プレイヤーのゲームコントローラ入力を学習するAIの研究開発

【JSAI2022】RPGにおける物語自動生成とさまざまな物語の構造解明

2022.7.28ゲーム

【JSAI2022】RPGにおける物語自動生成とさまざまな物語の構造解明

RANKING注目の記事はこちら