モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉安藤幸央生成AI吉本幸記月刊エンタメAIニュース河合律子機械学習ディープラーニングOpenAIGAN音楽NVIDIAGoogleLLM大規模言語モデルChatGPTグーグル強化学習三宅陽一郎Stable Diffusion森川幸人モリカトロン人工知能学会ニューラルネットワークシナリオDeepMindマイクロソフトQAGPT-3自然言語処理AIと倫理Facebook大内孝子倫理アート映画著作権ルールベースSIGGRAPHゲームプレイAIキャラクターAIスクウェア・エニックス敵対的生成ネットワークモリカトロンAIラボインタビューNPC画像生成NFT音楽生成AIMinecraftロボットDALL-E2StyleGANプロシージャルMidjourneyデバッグファッション自動生成ディープフェイクVFX遺伝的アルゴリズムアニメーション画像生成AIマンガゲームAIAdobeテストプレイ動画生成AIVRメタAIMeta3DCGCLIPテキスト画像生成深層学習CEDEC2019マルチモーダルMicrosoftデジタルツインメタバース不完全情報ゲーム小説ボードゲームDALL-Etoioビヘイビア・ツリーCEDEC2021CEDEC2020作曲ロボティクスナビゲーションAIマインクラフトAIアートメタ畳み込みニューラルネットワークアップルスポーツエージェントGDC 2021Red RamGPT-4手塚治虫汎用人工知能JSAI2022インタビューバーチャルヒューマンNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022Stability AIARデジタルヒューマン懐ゲーから辿るゲームAI技術史教育ジェネレーティブAISora東京大学はこだて未来大学プロンプト栗原聡CNN3DNeRFマーケティングJSAI2024DALL-E 3BERTMicrosoft Azure高橋力斗UnityOmniverseJSAI2023電気通信大学ELSIPlayable!鴫原盛之HTN階層型タスクネットワークソニーAIQVE ONE世界モデルアドベンチャーゲームJSAI2020GTC2023広告メタデータTensorFlowブロックチェーンCMイベントレポートアストロノーカキャリア模倣学習対話型エージェントAmazonトレーディングカードメディアアートDQN合成音声水野勇太モリカトロン開発者インタビュー宮本茂則アバターブラック・ジャックUbisoftGenvid TechnologiesガイスターStyleGAN2徳井直生稲葉通将ベリサーブGTC2022GPT-3.5SIGGRAPH ASIAAppleNetflixJSAI2021松木晋祐Bard研究シムピープルMCS-AI動的連携モデルマーダーミステリーモーションキャプチャーTEZUKA2020CEDEC2023AGIテキスト生成インディーゲームElectronic Arts音声合成GDC Summerイーロン・マスクStable Diffusion XL森山和道eスポーツスタンフォード大学アーケードゲームテニスサイバーエージェント音声認識類家利直FireflyeSportsBLUE PROTOCOLCEDEC2024シーマンaiboSIE大澤博隆SFプロトタイピングRunwayRunway Gen-3 AlphaチャットボットGemini自動運転車ワークショップ市場分析Epic GamesAIロボ「迷キュー」に挑戦AWSAdobe MAX村井源クラウド斎藤由多加AlphaZeroPreferred NetworksTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLMGitHub CopilotLLaMA哲学Apple Vision Proハリウッド理化学研究所Gen-1YouTubeSFテキスト画像生成AI松尾豊人事データマイニングControlNet現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスASBSぱいどんAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAIELYZANEDOFSM-DNNMindAgentLEFT 4 DEAD通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames岡島学Audio2Faceピクサー九州大学プラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析自動翻訳MILENVIDIA ACEナラティブNVIDIA RivaNianticOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ人狼知能柏田知大軍事田邊雅彦Google I/Oトレカ慶應義塾大学Max CooperGPTDisneyPhotoshop言霊の迷宮PyTorch京都芸術大学ChatGPT4モンテカルロ木探索眞鍋和子バンダイナムコスタジオコミコパヒストリアAI Frog Interactive新清士田中章愛銭起揚ComfyUI齊藤陽介コナミデジタルエンタテインメント成沢理恵お知らせMagic Leap OneTencentサッカーバスケットボールTikTokSuno AItext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022大阪公立大学フォートナイトKLabどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMIT野々下裕子Movie GenQosmoマシンラーニング5GMuZeroRival Peakがんばれ森川君2号pixivオムロン サイニックエックスGPTs対話エンジンポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画Open AI3D Gaussian SplattingMicrosoft DesignerイラストシミュレーションSoul Machines柿沼太一完全情報ゲームバーチャルキャラクター坂本洋典宮本道人釜屋憲彦LLaMA 2ウェイポイントパス検索Hugging Face対談藤澤仁生物学XRGTC 2022xAI画像認識SiemensストライキStyleCLIPDeNAVoyager長谷洋平GDC 2024クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaソフトバンク音声生成AIELYZA PencilScenarioSIGGRAPH2023AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzQA Tech NightNetHack下田純也桑野範久キャラクターモーション音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022レベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサム・アルトマンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeon介護BitSummitVeoゲーム背景IEEEアパレル不気味の谷ナビゲーションメッシュデザイン写真高橋ミレイ深層強化学習松原仁松井俊浩武田英明フルコトELYZA DIGESTApple IntelligenceWWDCWWDC 2024建築西成活裕ハイブリッドアーキテクチャAI野々村真Apex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023GPT-4-turboアップルタウン物語新型コロナ土木佐藤恵助KELDIC周済涛BIMBing Chat大道麻由メロディ言語清田陽司インフラBing Image Creator物語構造分析ゲームTENTUPLAYサイバネティックス慶応義塾大学MARVEL Future FightAstro人工知能史Amazon BedrockAssistant with Bard渡邉謙吾タイムラプスEgo4DAI哲学マップThe Arcadeここ掘れ!プッカバスキア星新一X.AISearch Generative Experienceくまうた日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang濱田直希敵対的強化学習StyleGAN3TwitterVLE-CE大柳裕⼠階層型強化学習GOSU Data LabGANimatorXホールディングス加納基晴WANNGOSU Voice AssistantVoLux-GANMagiAI Actソニー・インタラクティブエンタテインメント竹内将SenpAI.GGProjected GANEU研究開発事例MobalyticsSelf-Distilled StyleGANSDXLArs Electronica赤羽進亮ニューラルレンダリングRTFKTAI規制遊戯王AWS SagemakerPLATONIKE欧州委員会UDI(Universal Duel Interface)映像セリア・ホデント形態素解析frame.ioClone X欧州議会第一工科大学UXAWS LambdaFoodly村上隆欧州理事会佐竹空良誤字検出MusicLM小林篤史認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCaps荻野宏実LUMINOUS ENGINEクリエイターコミュニティAudioCraft伊藤黎Luminous ProductionsBlenderBot 3バーチャルペットビヘイビアブランチパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertWPPちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGeneral Computer Control(GCC)GOAPWACULVanessa A RosaGen-2CradleAdobe MAX 2021陶芸Runway AI Film FestivalSpiral.AIPlay.htPreVizItakoLLM-7b音声AI静岡大学AIライティングLiDARCharacter-LLM明治大学Omniverse AvatarAIのべりすとPolycam復旦大学北原鉄朗FPSQuillBotdeforumChat-Haruhi-Suzumiya中村栄太マルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒ日本大学NVIDIA MerlinJasperハーベストEmu VideoヤマハNVIDIA MetropolisForGames前澤陽パラメータ設計ゲームマーケットペリドット増田聡バランス調整岡野翔太Dream Track採用協調フィルタリング郡山喜彦Music AI ToolsSakana AIテキサス大学ジェフリー・ヒントンLyria科学史Google I/O 2023Yahoo!知恵袋AIサイエンティストAlphaDogfight TrialsAI Messenger VoicebotインタラクティブプロンプトAITerraエージェントシミュレーションOpenAI Codex武蔵野美術大学AI OverviewStarCraft IIHyperStyleBingAI石渡正人電通Future of Life InstituteRendering with Style手塚プロダクションAICO2Intel林海象BitSummit DriftLAIKADisneyリサーチヴィトゲンシュタイン古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルOmega CrafterGauGAN2CanvaLRMSPACE INVADIANSドラゴンクエストライバルズ画像言語表現モデルObjaverse西島大介不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNet吉田伸一郎Dota 2ディズニーリサーチpixivFANBOXOne-2-3-45SIGGRAPH2024Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングMotion-I2VソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術ByteDanceGTC2020CG衣装mimicとらのあなToonify3DNVIDIA MAXINEVRファッションBaidu集英社FGDC生成対向ネットワーク淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development Conference拡散モデルグリムノーツEponym古文書ComicCopilot佐々木瞬Diffusionゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCRゲームマスターうめ画像判定Inowrld AI小沢高広Julius鑑定ラベル付けMODAniqueドリコムTPRGOxia PalusGhostwriter中村太一ai andバーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオSaaSクーガー実況パワフルサッカースカイリムCopilotインサイト石井敦NHC 2021桃太郎電鉄RPGツクールMZカスタマーサポート茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainComfyUI-AdvancedLivePortraitGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainGUIマーベル・シネマティック・ユニバースOracle RPGPCGMITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&DragonsVideo to Videoマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズiPhone 16MagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackOpenAI o1ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsAIスマートリンクスパコンAlibaba音楽編集ソフトシャープ里井大輝KaggleスーパーコンピュータVQRFAdobe Auditionウェアラブル山田暉松岡 聡nvdiffreciZotopeCE-LLMAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Communication Edge-LLMSea of ThievesTSUBAME 2.0LERFMoisesLINEヤフーGEMS COMPANYmonoAI technologyLSTMABCIマスタリングAIペットモリカトロンAIソリューション富岳レベルファイブYahoo!ニュース初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーAI Comic Factory転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationAI comic GeneratorBaldur's Gate 3Codeforces座談会BoomyVOICEVOXComicsMaker.aiCandy Crush Saga自己増強型AIジョン・レジェンドGenie AILlamaGen.aiSIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023GAZAIADOPNVIDIA GET3DドレイクC·ASEFlame PlannerデバッギングBigGANGANverse3DFLARE動画ゲーム生成モデルMaterialGANダンスDOOMグランツーリスモSPORTAI絵師エッジワークスMagicAnimateGameNGenReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneVirtuals ProtocolGTソフィーPGCFCAインテリジェントコンピュータ研究所スーパーマリオブラザーズVolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババMarioVGGNovelAIさくらインターネットDreaMoving社員インタビューRival PrakDGX A100NovelAI DiffusionVISCUIT松原卓二ぷよぷよScratchArt Transfer 2ユービーアイソフトWebcam VTuberモーションデータスクラッチArt Selfie 2星新一賞ビスケットMusical Canvas北尾まどかHALOポーズ推定TCGプログラミング教育The Forever Labyrinth将棋メタルギアソリッドVメッシュ生成Refik AnadolFSMメルセデス・ベンツQRコードVALL-EAlexander RebenMagic Leap囲碁Deepdub.aiRhizomatiksナップサック問題Live NationEpyllionデンソーAUDIOGENMolmo汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicPixMoAIOpsムーアの法則原昌宏AutoFoleyQwen2 72BSpotifyスマートコントラクト日本機械学会Colourlab.AiDepth ProReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarAdobe MAX 2022トヨタ自動車Largo.aiVARIETAS巡回セールスマン問題かんばん方式CinelyticAI面接官ジョルダン曲線メディアAdobe ResearchTaskadeキリンホールディングス政治Galacticaプロット生成Pika.art空間コンピューティングクラウドゲーミングAI Filmmaking AssistantDream Screen和田洋一リアリティ番組映像解析FastGANSynthIDStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterFirefly Video ModelMILEsNightCafe東芝デジタルソリューションズ芥川賞Stable Video 4Dインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学AI受託開発事例インタラクティブ・メディア恋愛田中志弥PFN 3D ScanElevenLabsタップルPlayable!3D東京工業大学HeyGenAbema TVPlayable!MobileLudo博報堂After EffectsNECAdobe MAX 2024ラップPFN 4D Scan絵本木村屋SneaksSIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreIllustratorAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーMeta Quest 3Waifu DiffusionStoriesユーザーローカルXR-ObjectsGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江PeridotFAIRSTCNovel AIVersed東京都同情塔Orionチート検出Style Transfer ConversationProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェース西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリWebGlazeセコムNightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterPAIROCTOPATH TRAVELER西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave Adventure奥村エルネスト純いただきストリートH100鎖国[Walled Garden]プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェントハーバード大学Edgar Handy中ザワヒデキAIファッションウィーク研修デューク大学大屋雄裕インフルエンサー中川裕志Grok-1mynet.aiローグライクゲームAdreeseen HorowitzMixture-of-Experts東京理科大学NVIDIA Avatar Cloud EngineMoE人工音声NeurIPS 2021産業技術総合研究所Replica StudiosClaude 3リザバーコンピューティングSmart NPCsClaude 3 Haikuプレイ動画ヒップホップ対話型AIモデルRoblox StudioClaude 3 Sonnet詩ソニーマーケティングPromethean AIClaude 3 Opusサイレント映画もじぱnote森永乳業環境音暗号通貨note AIアシスタントMusiioC2PAFUZZLEKetchupEndelゲーミフィケーションAlterationAI NewsTomo Kihara粒子群最適化法Art SelfiePlayfool進化差分法オープンワールドArt TransferSonar遊び群知能下川大樹AIFAPet PortraitsSonar+Dtsukurunウィル・ライト高津芳希P2EBlob Opera地方創生大石真史クリムトDolby Atmos吉田直樹BEiTStyleGAN-NADASonar Music Festival素材DETRライゾマティクスSIMASporeクリティックネットワーク真鍋大度OpenAI JapanデノイズUnity for Industryアクターネットワーク花井裕也Voice Engine画像処理DMLabRitchie HawtinCommand R+SentropyGLIDEControl SuiteErica SynthOracle Cloud InfrastructureCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluGoogle WorkspaceSynthetic DataAtari 200MJapanese InstructBLIP AlphaUdioCALMYann LeCun日本新聞協会立命館大学プログラミング鈴木雅大AIいらすとや京都精華大学ソースコード生成コンセプトアートAI PicassoTacticAIGMAIシチズンデベロッパーSonanticColie WertzEmposyNPMPGitHubCohereリドリー・スコットAIタレントFOOHウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーGPT-4oUrzas.aiストーリーボードmodi.aiProject Astra大阪大学Google I/O 2024西川善司並木幸介KikiBlenderBitSummit Let’s Go!!Gemma 2サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペット感情認識ストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカ音声加工Topaz Video Enhance AICozmoMakerSuiteGOT7マルタ大学DLSSタカラトミーSkebsynthesia田中達大山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRFInworld AI大里飛鳥DynamixyzMOFLINActors-HQMove AIRomiGoogle EarthSAG-AFTRAICRA2024U-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカー大規模基盤モデルADVユニボPoint-EToroboXLandGato岡野原大輔東京ロボティクスAI model自己教師あり学習インピーダンス制御DEATH STRANDINGAI ModelsIn-Context Learning(ICL)深層予測学習Eric Johnson汎用強化学習AIZMO.AILoRA日立製作所MOBBY’Sファインチューニング早稲田大学Oculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ尾形哲也生体情報デシマエンジンGoogle Brainダイビング量子コンピュータAIRECSound Controlアウトドアqubit汎用ロボットSYNTH SUPERAIスキャニングIBM Quantum System 2オムロンサイニックエックス照明Maxim PeterKarl Sims自動採寸北野宏明ViLaInJoshua RomoffArtnome3DLOOKダリオ・ヒルPDDLハイパースケープICONATESizerジェン・スン・フアンニューサウスウェールズ大学山崎陽斗ワコールHuggingFaceClaude Sammut立木創太スニーカーStable Audioオックスフォード大学浜中雅俊UNSTREET宗教Lars Kunzeミライ小町Newelse仏教杉浦孔明テスラ福井健策CheckGoodsコカ・コーラ田向権GameGAN二次流通食品VASA-1パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarVoxCeleb2Tesla AI DayWikipediaDupe KillerCopilot Copyright CommitmentAniTalkerソサエティ5.0Sphere偽ブランドテラバース上海大学SIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析Luma投資Fosters+Partners周 済涛Dream Machine韻律射影MILIZEZaha Hadid ArchitectsステートマシンNTT韻律転移三菱UFJ信託銀行ディープニューラルネットワークPerplexity
CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」
AI時代のビデオ会議ツール
2020年10月5日〜9日の5日間、グラフィックスチップのメーカー最大手のNVIDIAがオンラインで「GTC2020:GPUテクノロジカンファレンス」を開催しました。NVIDIAは創業以来、3Dグラフィックスの高速描画が可能なパソコン用グラフィックスチップを安価に提供する企業として注目を集めています。2016年頃から並列計算が得意なグラフィックスチップを人工知能関連の計算、特にディープラーニングに活用することで近年大いに躍進を果たしています。
躍進の背景にはNVIDIAが2006年に発表したCUDAという数値計算ライブラリの存在があります。CUDAはもともとグラフィックス描画に特化したGPUをCPUのような汎用計算に活用できる数値計算ライブラリで、CUDAの登場をきっかけに、精度は若干落ちるものの大量の並列計算が安価に可能なGPUをCPUの代替として活用し始められるようになりました。
現在ではGPUでの並列計算の精度も上がっており精度にまつわるデメリットは少なくなってきていますが、そもそも人工知能向けの計算には、過度な精度よりも大量の並列計算が可能であることの方が重要です。そう考えるとディープラーニングの現在の躍進の背景には安価に大量に利用できるGPUの存在が大きく貢献しています。GTC2020 では自動運転、検査自動化などAI関連の発表も数多くありましたが、その中でも特に注目すべきなのは「NVIDIA MAXINE」です。
NVIDIA MAXINE はディープラーニングを活用した革新的なテレビ電話ソリューションです。NVIDIA MAXINEでは動画ファイルの取り扱いやビデオ会議ツール使われる動画の圧縮テクノロジーをニューラルネットワークに置き換え、ビデオ会議で生じるネットワーク帯域の消費を大幅に削減する、ビデオ会議に特化した新しいタイプのビデオ圧縮技術です。
この技術のポイントは、限られたネットワーク速度でも表情豊かなビデオ会議が可能である点です。ビデオ圧縮方式として現在一般的に使われているH.264ビデオコーデックに比べ、約1/10のネットワーク帯域幅で同等のビデオ会議が可能なことから、モバイルデバイスでの利用や通信環境が悪い状況での限られたネットワーク環境での利用に期待されます。
つまりは、圧縮が効いたビデオ映像さえも転送できないくらいの貧弱なネットワークでも利用できるビデオ会議ツールだということです。また、同じ低帯域幅のネットワークを利用する場合でも、H.264ビデオコーデックではブロック状のノイズが載ってしまい、とても見辛い映像になってしまうのに比べ、AIを活用したNVIDIA MAXINEでは、とても滑らかでクリアな動画映像が得られることが分かっています。
NVIDIA MAXINEの仕組みは、通常の動画圧縮の方法とはまったく異なります。まずビデオ会議で話す人物の高画質画像を1フレーム分を相手側に送信します。その後は送信元で動画を解析し、目、鼻、口といった顔の特徴点の変化を分析、抽出し、変化量だけを示したごく少量のデータに変換します。その少量のデータをネットワークで送信し、受信側では、顔の表情を再構築するニューラルネットワークを応用し、その変化量のデータを元に顔画像を適切に変化させます。
例えば送信元で「大きな口を開けた」という変化を検知したら「口を◯◯ピクセル分開けた」という変化量のデータ、「口元が微笑んだ」という変化を検知したら「口の両端、口角が◯◯ピクセル分上がった」という変化量のデータを送信し、それを受信側で、最初に送信された高画質の画像と機械学習済みの情報から「口を開けた顔」「口角をあげて微笑んだ顔」などを再構成するのです。
実際にはその「変化量のデータ」はそう単純なものではなく口の輪郭、目の輪郭、鼻の輪郭、顔の輪郭を細かく解析する複数のキーポイントデータとして扱われています。NVIDIA MAXINEではNVIDIAのディープラーニング用のソリューション NVIDIA DGX™ A100で、何千時間も事前学習した機械学習の結果が生かされています。顔動画の再構成には敵対的ネットワーク(GAN:Generative Adversarial Network)が活用され、映像の圧縮・伸張の際もGPUの性能によって、最大限パフォーマンスを発揮することができるよう考えられています。
この NVIDIA MAXINE のテクノロジーは、低帯域でのビデオ通話だけでなく、そのほかの状況にも応用がききます。
事例として、マスクやメガネ、ヘッドフォンをしている場合にも有効なこと、顔が正面を向いていない時も正面を向いた顔の高画質画像をもとに、まるで正面を向いて目線があっているかのようにビデオ通話することができます。さらに実写の人物像を、VR空間のアバターや、アニメキャラクタなどの動きに差し替えて利用することも技術的には可能です。
さらにこれらの技術を応用し、画面上で対話が可能なAIエージェントの顔の表示、バーチャルアシスタントへの応用も可能です。
数年前、十数年前であれば、コンピュータリソースが貴重であり、また大量の機械学習済みのデータを活用することも難しかったため、NVIDIA MAXINEのような手法をとることは難しく、いかにネットワーク上に送信される動画データを適切に圧縮するのかが通信においての主な課題でした。ビデオ会議用のビデオ映像はスポーツ中継などに比べると画面の変化量は少なく、圧縮がかかりやすいタイプの動画ではありますが、人間は顔の表情など、慣れ親しんだもののごくわずかな変化や、品質などにはとても敏感で、少し表示遅れたり、表示が荒くなっただけでも違和感やストレスを感じてしまいます。
人は、映像コミュニケーションにおいては、ビデオ映像よりも音、音声を重視する傾向があります。映像は多少止まってしまったり、カクカクしたりしても脳がそれなりに補完して理解できますが、音が途切れてしまった場合はとてもストレスになり、その頻度が高いと、脳で補完しきれなくなります。安定しないネットワークのためにプチプチと切れた音質が低い通信状態が続くと、脳が必死で補完しようと、聞き取ろうとするため、とても疲れてしまうのです。
ビデオ会議ツールとして一般的に使われているZoomの場合、1対1の1080pのHDビデオの送受信の場合は1.8Mbps、複数人で1080pのHDビデオの送信の場合は3.0Mbps(上り/下りとも)のネットワーク帯域を最低限でも必要とします。NVIDIA MAXINE のようなテクノロジーが浸透すれば、限られたネットワーク帯域をビデオ映像の方ではなく、音声通話の送受信に割り振ることができ、よりクリアなビデオ通話コミュニケーションが実現します。
もともと人間はどういう要素をもとに判断し、コミュニケーションしているのでしょう? 人間はコミュニケーションの際、言語<聴覚<視覚、の順で判断しているというメラビアンの法則が知られています。これはコミュニケーションの際、7%はその言葉自身が持つ意味、38%は口調や抑揚、声の強さ弱さといった要素、55%は顔の表情や身振り手振りなどのボディランゲージの要素から判断しているという法則です。メラビアンの法則のもととなった調査は数十年前のものであり、かつ単語1個について表情や口調を変えてどういった印象を持つかといった単純なテストであったため、この法則の信憑性を疑う意見もあります。
しかし対面コミュニケーションに限らずオンラインコミュニケーションにおいても、視覚情報、聴覚情報が重要であることには確かです。オンラインコミュニケーションでは欠けている要素を補完し、できるだけ高品質にコミュニケーションがとれるようさまざまなテクノロジーが研究されています。今後は表情の変化を強調して表示したり、読み取りづらい表情や感情をAIに代わりに読み取ってもらったり、対面で人と会った時と同様に顔の汗や体臭などもリモートコミュニケーションの要素になってくるのかもしれません。
こちらの動画では、NVIDIA MAXINEのAI圧縮の仕組みについて解説をしています。
生まれるべくして生まれた NVIDIA MAXINE
リモート時代に求められるビデオ会議の機能は多種多様で、そのクオリティや機能の追求には限りがありません。
求められる機能は、超高解像度化、画質や音質の向上のためのノイズ除去、同時字幕表示、リアルタイム翻訳、バーチャル背景、顔の位置の調整、視線が合っているようにする補正、周りの照明が暗いことに起因する顔の再照明補正など、ビデオ会議ツール各社がしのぎを削っている状況です。
NVIDIA MAXINEは、特定のビデオ会議ツールに依存せず、クラウド上で動作するソリューションです。NVIDIA MAXINEのベースとなるアプリケーションはクラウド上の運用を自動化するKubernetes環境で動作するため、何十万通話ものビデオ会議が同時に行われても簡単に数を増やすことができ、スケール面の心配はありません。また既存のビデオストリーミングサービスに組み込んで利用することもできるソリューションです。
一連のビデオ通話ソリューションはこちらの動画で紹介しています。
従来型の人工知能活用は、人間が手間をかけて行っていたことを高い精度で代替する、人間にはできないような大量の処理や判断を行うアプローチが注目されてきました。敵対的生成ネットワーク(GAN)の利用がコスト的にも見合うようになり、さまざまな用途に利用できることが分かってからは、今までにはなかったタイプの人工知能活用も見られるようになってきました。
NVIDIA MAXINEは、ネットワーク帯域やコンピュータリソースを節約するために、人間が必要とする最低限のリソースを人工知能を由来とするアルゴリズムによって再構築するという従来とは少し変わったアプローチです。これは現在のネットワーク帯域とコンピューティングパワーとのバランスにまつわる課題を顕著に示しています。さまざまな要因が絡み、自分たちの機材や投資だけではどうしようもないネットワーク帯域の確保に膨大なコストをかけるよりも、自分が利用するごく狭い範囲のコンピューテイングパワーと、クラウドを活用することによって、今までならネットワークを増強することでしか得られなかった品質をコンピューティングパワーによって得られるようになったのです。
今まで、さまざまな映像技術者やネットワーク技術者が動画の圧縮技術にしのぎを削ってきました。圧縮の性能や品質はもちろん、その標準化や、ハードウェアへの最適化など、様々な課題を乗り越えて圧縮技術が広く使われてきました。どんなにネットワーク帯域が太くなったとしても動画圧縮の技術は無くならないと言われてきましたが、ここにきて、まったく違うアプローチで、動画を圧縮するアプローチが台頭してきたのです。
アイデアだけを考えると、人の顔の動きだけを抽出して、その動きのデータだけを転送し、それを再構成すれば、少ないデータ転送量で顔の動きが再現できるのではないかとは、誰もが考えそうなことではあります。CG/VFXでバーチャルな人間を再現する試みは各所で行われています。今現在相当なクオリティでバーチャルヒューマンが再現できていますが、相当な手間と時間をかけてやっと実現できている状態です。
ここまで手間がかかり、シビアな評価になる理由のひとつは、人間は人の顔の表情や、細かいニュアンスの違いやぎこちなさに敏感で、違和感があればすぐに気づいてしまうことにあります。ハリウッド映画のCG/VFXで、バーチャルダブル(代役)と呼ばれる俳優の顔をCGで再構成する際も、最新の注意と手間をかけて、あまり演出には影響のない一部分でしか使われていません。
ハリウッドの場合は俳優協会との決まりごと等があり、俳優によっては、バーチャル俳優が登場できる時間や割合に制限がある場合もありますが、まだまだCG/VFXで再構成された俳優が主人公で全編演技するような映画作品はありません。
NVIDIA MAXINEは、今後広く使われることによって、鑑識眼の高いユーザーに鍛えられ、感情や表情を強調してコミュニケーションしたり、表情の再現性の面でさらなる研究が進むことでしょう。ニーズが先か、テクノロジーが先か。技術が進化するにはさまざまなきっかけがあります。ニーズによって進化するテクノロジーもあり、テクノロジーの進化によって広まる応用例もあり、NVIDIA MAXINEは、そういった相互進化の良い見本となるのではないでしょうか。
本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
CGへの扉:
Vol.1:CG/VFXにおける人工知能の可能性と、その限界
Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目
Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす
Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所
Vol.5:SIGGRAPH 2019に見るCG研究と機械学習
Vol.6:Facebookが取り組むVRとAIのアプローチ
Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”
Vol.8:一流オークションハウスも注目するアートとAIの関係性
Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019
Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に
Contributor:安藤幸央