モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGANNVIDIA音楽Google三宅陽一郎強化学習ニューラルネットワークStable DiffusionChatGPTグーグル森川幸人シナリオQADeepMind人工知能学会GPT-3自然言語処理マイクロソフト大規模言語モデルFacebook大内孝子映画著作権AIと倫理キャラクターAI敵対的生成ネットワークルールベースアート倫理SIGGRAPHモリカトロンゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成LLMNPCNFTプロシージャルMidjourneyデバッグMinecraftDALL-E2StyleGAN遺伝的アルゴリズム画像生成AI自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成ロボット深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインメタバースVRボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツプロンプト栗原聡手塚治虫CNNNeRFDALL-E 3バーチャルヒューマンBERTUnityOmniverseJSAI2023鴫原盛之HTN階層型タスクネットワークソニーエージェントGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonロボティクスDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルRed RamモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成インディーゲームElectronic Arts音声合成マーケティングメタデータGDC SummerStable Diffusion XLCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオAI Frog Interactive新清士大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

AI時代のビデオ会議ツール

2020年10月5日〜9日の5日間、グラフィックスチップのメーカー最大手のNVIDIAがオンラインで「GTC2020:GPUテクノロジカンファレンス」を開催しました。NVIDIAは創業以来、3Dグラフィックスの高速描画が可能なパソコン用グラフィックスチップを安価に提供する企業として注目を集めています。2016年頃から並列計算が得意なグラフィックスチップを人工知能関連の計算、特にディープラーニングに活用することで近年大いに躍進を果たしています。

躍進の背景にはNVIDIAが2006年に発表したCUDAという数値計算ライブラリの存在があります。CUDAはもともとグラフィックス描画に特化したGPUをCPUのような汎用計算に活用できる数値計算ライブラリで、CUDAの登場をきっかけに、精度は若干落ちるものの大量の並列計算が安価に可能なGPUをCPUの代替として活用し始められるようになりました。

現在ではGPUでの並列計算の精度も上がっており精度にまつわるデメリットは少なくなってきていますが、そもそも人工知能向けの計算には、過度な精度よりも大量の並列計算が可能であることの方が重要です。そう考えるとディープラーニングの現在の躍進の背景には安価に大量に利用できるGPUの存在が大きく貢献しています。GTC2020 では自動運転、検査自動化などAI関連の発表も数多くありましたが、その中でも特に注目すべきなのは「NVIDIA MAXINE」です。

NVIDIA MAXINE はディープラーニングを活用した革新的なテレビ電話ソリューションです。NVIDIA MAXINEでは動画ファイルの取り扱いやビデオ会議ツール使われる動画の圧縮テクノロジーをニューラルネットワークに置き換え、ビデオ会議で生じるネットワーク帯域の消費を大幅に削減する、ビデオ会議に特化した新しいタイプのビデオ圧縮技術です。

この技術のポイントは、限られたネットワーク速度でも表情豊かなビデオ会議が可能である点です。ビデオ圧縮方式として現在一般的に使われているH.264ビデオコーデックに比べ、約1/10のネットワーク帯域幅で同等のビデオ会議が可能なことから、モバイルデバイスでの利用や通信環境が悪い状況での限られたネットワーク環境での利用に期待されます。

つまりは、圧縮が効いたビデオ映像さえも転送できないくらいの貧弱なネットワークでも利用できるビデオ会議ツールだということです。また、同じ低帯域幅のネットワークを利用する場合でも、H.264ビデオコーデックではブロック状のノイズが載ってしまい、とても見辛い映像になってしまうのに比べ、AIを活用したNVIDIA MAXINEでは、とても滑らかでクリアな動画映像が得られることが分かっています。

同等の低帯域ネットワークでは、H.264よりもAIベースの圧縮の方が圧倒的なクオリティが比較できます

NVIDIA MAXINEの仕組みは、通常の動画圧縮の方法とはまったく異なります。まずビデオ会議で話す人物の高画質画像を1フレーム分を相手側に送信します。その後は送信元で動画を解析し、目、鼻、口といった顔の特徴点の変化を分析、抽出し、変化量だけを示したごく少量のデータに変換します。その少量のデータをネットワークで送信し、受信側では、顔の表情を再構築するニューラルネットワークを応用し、その変化量のデータを元に顔画像を適切に変化させます。

例えば送信元で「大きな口を開けた」という変化を検知したら「口を◯◯ピクセル分開けた」という変化量のデータ、「口元が微笑んだ」という変化を検知したら「口の両端、口角が◯◯ピクセル分上がった」という変化量のデータを送信し、それを受信側で、最初に送信された高画質の画像と機械学習済みの情報から「口を開けた顔」「口角をあげて微笑んだ顔」などを再構成するのです。

実際にはその「変化量のデータ」はそう単純なものではなく口の輪郭、目の輪郭、鼻の輪郭、顔の輪郭を細かく解析する複数のキーポイントデータとして扱われています。NVIDIA MAXINEではNVIDIAのディープラーニング用のソリューション NVIDIA DGX™ A100で、何千時間も事前学習した機械学習の結果が生かされています。顔動画の再構成には敵対的ネットワーク(GAN:Generative Adversarial Network)が活用され、映像の圧縮・伸張の際もGPUの性能によって、最大限パフォーマンスを発揮することができるよう考えられています。

NVIDIA MAXINE を利用した際のデータの流れ

この NVIDIA MAXINE のテクノロジーは、低帯域でのビデオ通話だけでなく、そのほかの状況にも応用がききます。
事例として、マスクやメガネ、ヘッドフォンをしている場合にも有効なこと、顔が正面を向いていない時も正面を向いた顔の高画質画像をもとに、まるで正面を向いて目線があっているかのようにビデオ通話することができます。さらに実写の人物像を、VR空間のアバターや、アニメキャラクタなどの動きに差し替えて利用することも技術的には可能です。

マスクをした状態での映像補完の様子
斜め横から撮影されているビデオ会議映像を、正面から目があった状態で見ているように補完している様子
話をしている実写映像をアニメキャラクタの動きに差し替えている様子

さらにこれらの技術を応用し、画面上で対話が可能なAIエージェントの顔の表示、バーチャルアシスタントへの応用も可能です。

数年前、十数年前であれば、コンピュータリソースが貴重であり、また大量の機械学習済みのデータを活用することも難しかったため、NVIDIA MAXINEのような手法をとることは難しく、いかにネットワーク上に送信される動画データを適切に圧縮するのかが通信においての主な課題でした。ビデオ会議用のビデオ映像はスポーツ中継などに比べると画面の変化量は少なく、圧縮がかかりやすいタイプの動画ではありますが、人間は顔の表情など、慣れ親しんだもののごくわずかな変化や、品質などにはとても敏感で、少し表示遅れたり、表示が荒くなっただけでも違和感やストレスを感じてしまいます。

人は、映像コミュニケーションにおいては、ビデオ映像よりも音、音声を重視する傾向があります。映像は多少止まってしまったり、カクカクしたりしても脳がそれなりに補完して理解できますが、音が途切れてしまった場合はとてもストレスになり、その頻度が高いと、脳で補完しきれなくなります。安定しないネットワークのためにプチプチと切れた音質が低い通信状態が続くと、脳が必死で補完しようと、聞き取ろうとするため、とても疲れてしまうのです。

ビデオ会議ツールとして一般的に使われているZoomの場合、1対1の1080pのHDビデオの送受信の場合は1.8Mbps、複数人で1080pのHDビデオの送信の場合は3.0Mbps(上り/下りとも)のネットワーク帯域を最低限でも必要とします。NVIDIA MAXINE のようなテクノロジーが浸透すれば、限られたネットワーク帯域をビデオ映像の方ではなく、音声通話の送受信に割り振ることができ、よりクリアなビデオ通話コミュニケーションが実現します。

もともと人間はどういう要素をもとに判断し、コミュニケーションしているのでしょう? 人間はコミュニケーションの際、言語<聴覚<視覚、の順で判断しているというメラビアンの法則が知られています。これはコミュニケーションの際、7%はその言葉自身が持つ意味、38%は口調や抑揚、声の強さ弱さといった要素、55%は顔の表情や身振り手振りなどのボディランゲージの要素から判断しているという法則です。メラビアンの法則のもととなった調査は数十年前のものであり、かつ単語1個について表情や口調を変えてどういった印象を持つかといった単純なテストであったため、この法則の信憑性を疑う意見もあります。

しかし対面コミュニケーションに限らずオンラインコミュニケーションにおいても、視覚情報、聴覚情報が重要であることには確かです。オンラインコミュニケーションでは欠けている要素を補完し、できるだけ高品質にコミュニケーションがとれるようさまざまなテクノロジーが研究されています。今後は表情の変化を強調して表示したり、読み取りづらい表情や感情をAIに代わりに読み取ってもらったり、対面で人と会った時と同様に顔の汗や体臭などもリモートコミュニケーションの要素になってくるのかもしれません。

こちらの動画では、NVIDIA MAXINEのAI圧縮の仕組みについて解説をしています。

生まれるべくして生まれた NVIDIA MAXINE

リモート時代に求められるビデオ会議の機能は多種多様で、そのクオリティや機能の追求には限りがありません。
求められる機能は、超高解像度化、画質や音質の向上のためのノイズ除去、同時字幕表示、リアルタイム翻訳、バーチャル背景、顔の位置の調整、視線が合っているようにする補正、周りの照明が暗いことに起因する顔の再照明補正など、ビデオ会議ツール各社がしのぎを削っている状況です。

NVIDIA MAXINEは、特定のビデオ会議ツールに依存せず、クラウド上で動作するソリューションです。NVIDIA MAXINEのベースとなるアプリケーションはクラウド上の運用を自動化するKubernetes環境で動作するため、何十万通話ものビデオ会議が同時に行われても簡単に数を増やすことができ、スケール面の心配はありません。また既存のビデオストリーミングサービスに組み込んで利用することもできるソリューションです。

ビデオ会議やストリーミング サービス用の一連のソリューションの組み合わせとして利用できる

 一連のビデオ通話ソリューションはこちらの動画で紹介しています。

従来型の人工知能活用は、人間が手間をかけて行っていたことを高い精度で代替する、人間にはできないような大量の処理や判断を行うアプローチが注目されてきました。敵対的生成ネットワーク(GAN)の利用がコスト的にも見合うようになり、さまざまな用途に利用できることが分かってからは、今までにはなかったタイプの人工知能活用も見られるようになってきました。

NVIDIA MAXINEは、ネットワーク帯域やコンピュータリソースを節約するために、人間が必要とする最低限のリソースを人工知能を由来とするアルゴリズムによって再構築するという従来とは少し変わったアプローチです。これは現在のネットワーク帯域とコンピューティングパワーとのバランスにまつわる課題を顕著に示しています。さまざまな要因が絡み、自分たちの機材や投資だけではどうしようもないネットワーク帯域の確保に膨大なコストをかけるよりも、自分が利用するごく狭い範囲のコンピューテイングパワーと、クラウドを活用することによって、今までならネットワークを増強することでしか得られなかった品質をコンピューティングパワーによって得られるようになったのです。

今まで、さまざまな映像技術者やネットワーク技術者が動画の圧縮技術にしのぎを削ってきました。圧縮の性能や品質はもちろん、その標準化や、ハードウェアへの最適化など、様々な課題を乗り越えて圧縮技術が広く使われてきました。どんなにネットワーク帯域が太くなったとしても動画圧縮の技術は無くならないと言われてきましたが、ここにきて、まったく違うアプローチで、動画を圧縮するアプローチが台頭してきたのです。

アイデアだけを考えると、人の顔の動きだけを抽出して、その動きのデータだけを転送し、それを再構成すれば、少ないデータ転送量で顔の動きが再現できるのではないかとは、誰もが考えそうなことではあります。CG/VFXでバーチャルな人間を再現する試みは各所で行われています。今現在相当なクオリティでバーチャルヒューマンが再現できていますが、相当な手間と時間をかけてやっと実現できている状態です。

ここまで手間がかかり、シビアな評価になる理由のひとつは、人間は人の顔の表情や、細かいニュアンスの違いやぎこちなさに敏感で、違和感があればすぐに気づいてしまうことにあります。ハリウッド映画のCG/VFXで、バーチャルダブル(代役)と呼ばれる俳優の顔をCGで再構成する際も、最新の注意と手間をかけて、あまり演出には影響のない一部分でしか使われていません。

ハリウッドの場合は俳優協会との決まりごと等があり、俳優によっては、バーチャル俳優が登場できる時間や割合に制限がある場合もありますが、まだまだCG/VFXで再構成された俳優が主人公で全編演技するような映画作品はありません。

NVIDIA MAXINEは、今後広く使われることによって、鑑識眼の高いユーザーに鍛えられ、感情や表情を強調してコミュニケーションしたり、表情の再現性の面でさらなる研究が進むことでしょう。ニーズが先か、テクノロジーが先か。技術が進化するにはさまざまなきっかけがあります。ニーズによって進化するテクノロジーもあり、テクノロジーの進化によって広まる応用例もあり、NVIDIA MAXINEは、そういった相互進化の良い見本となるのではないでしょうか。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10:老齢とは無縁、De-Aging技術の台頭

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.14:AIが生み出す顔と人間の表情

Vol.15:撮影に革新をもたらすAIによる照明

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.53:CGの祭典SIGGRAPH50周年にみるAIの台頭

2023.8.21アート

CGへの扉 Vol.53:CGの祭典SIGGRAPH50周年にみるAIの台頭

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphicsの真価

2020.8.13アート

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphics...

CGへの扉 Vol.51:広告産業の事例が教えてくれる創造性を加速させるAIの活用法

2023.6.16アート

CGへの扉 Vol.51:広告産業の事例が教えてくれる創造性を加速させるAIの活...

RANKING注目の記事はこちら