モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉機械学習安藤幸央ディープラーニング月刊エンタメAIニュースGAN河合律子OpenAI音楽ニューラルネットワーク吉本幸記NVIDIA三宅陽一郎強化学習QAGoogleFacebook人工知能学会GPT-3自然言語処理グーグルDeepMind大内孝子森川幸人敵対的生成ネットワークキャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューマイクロソフトルールベースシナリオAIと倫理映画デバッグアートDALL-E2StyleGAN倫理ゲームプレイAINFT自動生成SIGGRAPHメタAIStable Diffusionテキスト画像生成ロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムテストプレイモリカトロンDALL-Eビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIVFXデジタルツインメタバース不完全情報ゲームVRナビゲーションAI画像生成AINPC畳み込みニューラルネットワークCLIP画像生成ファッションGDC 2021JSAI2022GDC 2019マルチエージェントCEDEC2022AIアートボードゲーム懐ゲーから辿るゲームAI技術史toioCNNAdobeUnity著作権小説アニメーション鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクスMetaMinecraft水野勇太Genvid TechnologiesガイスターStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルMCS-AI動的連携モデルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンアバターOmniverse3DCGUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学ベリサーブPlayable!ChatGPT理化学研究所ジェネレーティブAISIGGRAPH ASIADARPAドローンシムシティImagenZorkバイアスモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic Arts3DメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブスタンフォード大学アーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAEDreamFusionリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaイラストシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典PaLM釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldEarth-2BingMagentaSFELYZA Pencil松尾豊GTC2021CycleGANNetflixデータマイニング東京大学NetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022レベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDAAI DungeonASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperNVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ~キミと繋がる想い~元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国[Walled Garden]プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject MalmoオンラインゲームGen-1気候変動Project PaidiaシンギュラリティProject Lookoutマックス・プランク気象研究所レイ・カーツワイルWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ気象モデルRunway ResearchLEFT ALIVE気象シミュレーションMake-A-Video長谷川誠ジミ・ヘンドリックス環境問題PhenakiBaby Xカート・コバーンエコロジーDreamixロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-Imageモデル音楽生成AIYouTubeダフト・パンクメモリスタ音声生成AIGlenn MarshallScenarioThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxAIピカソVeap JapanAI素材.comEAPneoAIテンセントSIFT福井千春DreamIconDCGAN医療mignMOBADANNCEメンタルケアstudiffuse人事ハーバード大学Edgar HandyAndreessen Horowitz研修デューク大学AIQVE ONEQA Tech Nightmynet.aiローグライクゲーム松木晋祐東京理科大学下田純也人工音声NeurIPS 2021産業技術総合研究所桑野範久リザバーコンピューティングBardプレイ動画ヒップホップ対話型AIモデル詩ソニーマーケティングControlNetサイレント映画もじぱnoteNBA環境音暗号通貨note AIアシスタント現代アートFUZZLEKetchupAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt Transfer群知能下川大樹AIFAPet Portraitsウィル・ライト高津芳希P2EBlob Opera大石真史クリムトBEiTStyleGAN-NADA世界モデルDETRゲームエンジンDreamerV3SporeUnreal Engineクリティックネットワークデノイズ南カリフォルニア大学Unity for Industryアクターネットワーク画像処理DMLabSentropyGLIDEControl SuiteCPUDiscordAvatarCLIPAtari 100kSynthetic DataAtari 200MCALMYann LeCunプログラミングサム・アルトマン鈴木雅大ソースコード生成コンセプトアートGMAIシチズンデベロッパーSonanticColie WertzTRPGGitHubCohereリドリー・スコットウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリング絵コンテUrzas.aiストーリーボード介護大阪大学西川善司並木幸介KikiBlenderサムライスピリッツ森寅嘉Zoetic AIプロンプトゼビウスSIGGRAPH 2021ペットGPT-4ストリートファイター半導体Digital Dream LabsPaLM APITopaz Video Enhance AICozmoMakerSuiteDLSSタカラトミーSkeb山野辺一記NetEaseLOVOTDreambooth-Stable-Diffusion大里飛鳥DynamixyzMOFLINゲーム背景RomiGoogle EarthU-NetミクシィGEPPETTO AI13フェイズ構造アドベンチャーゲームユニロボットStable Diffusion web UIADVユニボPoint-EXLandGatoアパレルAGIAI model手塚眞DEATH STRANDINGマルチモーダルAI ModelsEric Johnson汎用強化学習AIZMO.AIデザインMOBBY’SOculus Questコジマプロダクションロンドン芸術大学モビーディック生体情報デシマエンジンGoogle BrainダイビングインディーゲームSound Controlアウトドア写真高橋ミレイSYNTH SUPERAIスキャニング照明Maxim PeterKarl Sims自動採寸Joshua RomoffArtnome3DLOOKハイパースケープICONATESizer山崎陽斗深層強化学習ワコール立木創太松原仁スニーカー浜中雅俊UNSTREETミライ小町武田英明Newelseテスラ福井健策CheckGoodsGameGAN二次流通パックマンTesla BotNEDO中古市場Tesla AI DayWikipediaDupe Killerソサエティ5.0Sphere偽ブランドSIGGRAPH 2020バズグラフXaver 1000配信ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行
にわかレベルだったゲームプレイAIは、いかにして熟練プレイヤーになったか?
AIにゲームをプレイさせることは、AI研究の黎明期から現在にいたるまでその性能を評価するタスクとして取り組まれてきました。近年のゲームプレイAIに関する重要な業績のひとつとして、Google傘下のDeepMindが開発した「AlphaGo」が挙げられます。最近、DeepMindが新たなマイルストーンを打ち立てました。この記事では、長らくAIが人のスコアを超えられなかったゲームのテストセットを全攻略したゲームプレイAIについて解説します。
ゲームプレイAIのベンチマーク「Atari57」
AIの性能を評価するゲームには、その起源をアナログゲームに持つチェスや将棋があります。チェスや将棋がゲームプレイAIの研究テーマとして好まれるのは、明示的なルールがありながらゲーム展開に膨大な可能性があるうえに、勝敗という分かりやすい形で結果を評価できるからです。AIの進化に伴い、AIが挑戦するゲームもアナログゲームからビデオゲームに広がっていきます。
こうしたゲームプレイAIのベンチマークとして提案されたビデオゲームのテストセットが、2012年に発表された「Atari57」(正式名称は” the Arcade Learning environment“、アーケードゲームの学習環境という意味)です。このテストセットは、1977年にアメリカで発売された家庭用ゲーム機「Atari 2600」でプレイ可能だった57のゲームをAIがプレイできるように集めたものです。集められたゲームには、世界初のブロック崩しゲーム『ブレイクアウト』(1976年、アタリ)や卓球を模した『ポン』(1972年、アタリ)があります。
2012年の発表以来、Atari57に挑戦するゲームプレイAIは多数開発されましたが、57のゲームのうち『モンテズマの復讐』(1983年、Utopia Software)『ピットフォール』(1982年、アクティビジョン)『ソラリス』(1986年、アタリ)『スキー』(1980年、アクティビジョン)の4つで人間の平均スコアを超えられずにいました。サイドビュー型のアクションゲームである『モンテズマの復讐』と『ピットフォール』は、ゲームクリアのために試行できるアクションが膨大なため、また『ソラリス』と『スキー』は長いゲームステージをクリアする必要があるためにAIには難しかったのです。
以上のような4つのゲームが長らく壁として立ちはだかっていたなか、2020年3月、DeepMindはAtari57のすべてのゲームにおいて人間の平均スコアを超えたゲームプレイAIを開発したことを発表しました。そのAIは、Atari57にあやかり「Agent57」と命名されました。Agent57が開発されるまでの歩みは、まるで初心者ゲーマーが多数のスキルを習得して熟練ゲーマーに成長する過程に似たものでした。
DQNが熟練プレイヤーになるまで
Agent57は全く白紙の状態から開発されたわけではなく、DeepMindの長年にわたるゲームプレイAI研究における最新の成果として発表されたものでした。Agent57のもっとも古い祖先に当たるのが、2015年に発表されたDQN(正式名称”Deep Q-Network”の略称)です。DQNは、強化学習とディープラーニングを組み合わせたことによって『ブレイクアウト』で驚異的なスコアを叩き出しました。DQNの開発によって、DeepMindは世界にその名を轟かせたのでした。
DQNはAtari57の一部のゲームではハイスコアを記録したのですが、人間の平均スコアに及ばないゲームも多数ありました。DeepMindは、57のゲームすべてにおいて人間を超えるべく、DQNの改良を続けました。そうした改良は、以下のような3段階にまとめることができます。
プレイと学習の分離と記憶の導入
強化学習においてAIは与えられた環境との相互作用を通して、達成すべきタスクを遂行するために最適な選択肢を探索していきます。強化学習の仕組みをビデオゲームの攻略になぞらえて言えば、試行錯誤を繰り返すことを通してゲームクリアやハイスコアを目指す、となります。基本的な強化学習においては、ゲームをプレイするAIとゲームプレイを評価するAIは同一です。しかし、ゲームをプレイするAIと評価するAIを分けてしまえば、前者を量産することによって、試行錯誤する回数を増やすことが可能となります。DQNの改良としてはじめに取り組まれたのが、こうしたプレイと学習を分けた分散型強化学習の実装でした。
DQNをさらに改良するために着目されたのが、記憶力です。ゲームを上達したければ、過去のプレイを振り返って成功と失敗の両方を学ぶことが不可欠となります。DQNに記憶力を追加するために、RNN(Recurrent Neural Network)と呼ばれる時系列データを処理するのに適したAIアルゴリズムが実装されました。
以上のような分散型強化学習と記憶力で強化されたR2D2(Recurrent Replay Distributed DQN)は、従来の強化学習AIが記録したAtari57の平均スコアを大幅に更新したのでした。
未知から学ぶ
R2D2は、分散されたプレイの記憶から学習することで大きな進化を遂げました。R2D2のさらなる進化は、「無知から学ぶ」ことによって実現しました。ゲームプレイAIにおける無知とは、今まで試行したことのない「未経験のゲームプレイ」を意味します。こうした未経験のゲームプレイが、ハイスコア更新につながるプレイになるかも知れないのです。
DeepMindは、R2D2に対して未経験のゲームプレイを推奨するために、過去のゲームプレイと比較して新規的なプレイを選択した場合に追加的な報酬を与えるようにしました。こうして誕生したNGU(Never Give Up)は、4大難関ゲームのひとつ『ピットフォール』で好スコアを記録しました。
しかし、NGUにも弱点がありました。ゲームプレイ時間が長くなると、次第に未経験のゲームプレイが少なくなり、結局は同じようなゲームプレイに落ち着いてしまうのです。言わば、ゲームをやり込んだ結果、マンネリ化したプレイに陥ったのでした。
強化学習の根本問題に切り込む
NGUの弱点は、実のところ、強化学習における根本問題と関係しています。強化学習AIは試行錯誤を繰り返すなかで、既知の選択肢から得られる報酬と未知のそれから得られる報酬を絶えず比較して最適な選択を探索します。こうした探索において、既知の選択肢を選べば、確実に一定の報酬が得られます。その一方で、未知のそれを選べば、より多くの報酬が得られる可能性があります。もっとも、未知の選択肢は報酬が少なくなるという可能性もはらんでいます。強化学習AIは、既知と未知のあいだを揺れ動きながら最適な選択肢を探索するわけなのです。こうした状況は、「探索と搾取のジレンマ」と呼ばれています。NGUは、このジレンマに対して未知の選択肢にインセンティブを与えたわけですが、長期的には最適なゲームプレイを探索するのに失敗していた、と見なせます。
探索と搾取のジレンマに関しては、得られるコイン数が異なる複数のスロットマシンから最大の報酬を得る戦略を考察する「多腕バンディット問題」として数学的に定式化されて、最適なアルゴリズムを考案するのが慣わしとなっています。DeepMindは、この問題を解決する新アルゴリズムを発明したことによって、(未知を好む)NGUの探索方針に新たな動機付けを導入したのでした。こうしてNGUが進化したものが、Agent57なのです。
以上に解説したDQNからAgent57に進化する過程は、初心者ゲーマーが熟練ゲーマーになる過程に似ているかも知れません。その過程を要約すると、過去のプレイから学び(R2D2)、新しい攻略法に果敢に挑み(NGU)、ゲームプレイがマンネリ化しないようにモチベーションの維持も体得した(Agent57)、と表現できるでしょう。
ゲームプレイAIを量子コンピュータに応用?
ところで、なぜDeepMindは強化学習やゲームプレイAIの研究開発に熱心なのでしょうか。その理由は、同社がAIを活用したゲームを開発したいからではありません。強化学習やゲームプレイAIの研究は、汎用的な学習能力を備えた人間と同等の能力がある汎用人工知能(Artificial General Intelligence:AGI)の実現につながる、と同社は考えているのです。こうした同社の思想が証明された事例が、最近報告されました。
テック系メディアSyncedは今年1月、DeepMindが開発したゲームプレイAI「AlphaZero」が量子コンピュータの研究開発に応用されたことを長文記事配信ウェブサイトMediumで報じました。AlphaZeroとは、AlphaGoを祖先にもつチェス、将棋、そして囲碁で世界トップクラスの強さを誇るゲームプレイAIです。AlphaZeroがアナログゲームにおいて汎用的な強さを発揮するのは、一定のルールから構成された問題に対する最適解を算出することに優れているからです。
Syncedの記事によると、デンマークのオーフス大学は量子コンピュータにAlphaZeroを応用した結果をまとめた論文を発表しました。量子コンピュータを運用するにあたっては、量子の状態を最適化する必要があります。この量子最適化問題の解決にAlphaZeroを使ってみたところ、量子コンピュータのパフォーマンスが改善されました。
以上の論文の共著者であるJacob Sherson教授は、研究に用いたソースコードを公表した数時間後には、量子コンピュータを研究する多数の大手テック系企業や一流大学からコラボの申し出の連絡があった、と語っています。
ゲームプレイAIの研究開発は、ゲームエンジンAIの進化に寄与することは明らかです。しかしAlphaZeroの事例が示すように、ゲームというジャンルを超えて、実用的な領域に対しても応用される可能性が大いにあるのです。ゲームプレイにおいて汎用性を証明したAgent57も、ゲーム以外で活用されるかも知れません。
吉本幸記/Photo by Andre Hunter on Unsplash