モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGANNVIDIA音楽Google三宅陽一郎強化学習ニューラルネットワークグーグルStable DiffusionChatGPTシナリオQA森川幸人DeepMind人工知能学会GPT-3自然言語処理マイクロソフト大規模言語モデルFacebook大内孝子映画AIと倫理キャラクターAI著作権敵対的生成ネットワークルールベースアート倫理SIGGRAPHゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成LLMモリカトロンNPCNFTプロシージャルデバッグMinecraftDALL-E2StyleGANMidjourney遺伝的アルゴリズム画像生成AI自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成ロボット深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインメタバースVRボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツ栗原聡手塚治虫CNNNeRFバーチャルヒューマンBERTUnityOmniverseJSAI2023鴫原盛之HTN階層型タスクネットワークソニーエージェントプロンプトGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowDALL-E 3インタビューブロックチェーンイベントレポート対話型エージェントAmazonロボティクスDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成Electronic Arts音声合成マーケティングメタデータGDC SummerCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスRed RamマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞インディーゲームバンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI FiveStable Diffusion XL本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオ大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスターAI Frog Interactive画像判定Inowrld AI新清士JuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

2022.1.17アート

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

SIGGRAPH Asia 2021はオンラインと会場、ハイブリッド開催

コンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であるSIGGRAPH Asia 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。先月の記事に引き続き、CG/VFX技術で重要な位置を占めている機械学習、人工知能の応用研究をいくつか紹介します。

SIGGRAPH の本分は論文

SIGGRAPH/SIGGRAPH Asiaでは、アートギャラリー、最新技術、ハリウッド映画のメイキングと派手な部分に注目が集まりがちですが、本分は学会でありトップカンファレンスと呼ばれる採択されるのが難しい世界最高峰のCG分野の学会のひとつでもあります。今年の SIGGRAPH Asia 2021 では厳選された 94本の論文が発表されました。

今回はハイブリッド開催ということで、参加者は事前にオンラインで詳しい論文発表の収録動画を視聴しておき、会場とリアルタイム配信ではQ&Aやディスカッションを中心にタイムテーブルが組まれました。さらに論文発表後に各分野の第一線で活躍する研究者による論文解説が行われました。会場とオンラインをうまく組み合わせた形式の論文発表は、参加者の論文に関する理解が深まるとともに、業界動向や、論文の新規性、今後の可能性などを詳しく知ることができ、参加者にも大変好評な形式で発表がなされました。

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering

論文:https://studios.disneyresearch.com/app/uploads/2021/11/RenderingWithStyle.pdf
動画:https://www.youtube.com/watch?v=TwpLqTmvqVk

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering(伝統的な手法と、ニューラルネットワークを活用した高品質な顔CGの描画表現)」は、ディズニーリサーチによる高品質な顔CG作成の手法です。撮影した顔のデータから、アーティストの手を煩わせることなく自動的に顔CGを作成することができます。

まず従来手法の顔CG制作で、肌の外観、表情、視点、照明などを思い通りに表現します。次に、これらの肌の描画結果を、任意のフォトリアルな顔画像を生成できる、事前に学習されたニューラルネットワーク(StyleGAN2)で扱います。その結果、3Dキャラクターの個性と外観の表現を一致させつつ、合成された髪の毛、目、口の中を生成することができ、周囲の環境に合わせた一連のリアルな顔画像が得られます。この手法を用いると、フルCGアニメーションのディズニーのキャラクタの雰囲気そのままの実在しない人間の俳優の顔として表現が可能となるのです。

Neural Frame Interpolation for Rendered Content

論文:https://studios.disneyresearch.com/app/uploads/2021/10/Neural-Frame-Interpolation-for-Rendered-Content.pdf

Neural Frame Interpolation for Rendered Content(描画されたコンテンツのためのニューラルフレーム補間)」はディズニーリサーチによるアニメーションのフレーム補完に関する研究で、より良い動きを推定し、物や床、壁との衝突を考慮した上で、非線形の動きを適切に再構築するための解決策を提案するものです。従来、動画として成立するために1秒間に24コマ、30コマ、60コマといったCG映像を生み出すために膨大な計算資源を消費します。ところが実際のところ、ある1フレーム(コマ)の次のフレームは少し異なり、動きや変化はありますが、その差はわずかです。

その点に着目し、少ないコマ数を生成した後にその間のコマを補完で求めることで計算コストを低減させる手法です。こういった考えは古くからありましたが、実際はそううまく補完されません。本研究ではCG映像計算の中間生成物である深さ、法線、反射といった補助データを用い、場面ごとに適切なニューラルネットワークを構築することで、精度の高い実用に耐えうるフレーム間補完が実現しました。

Foids: Bio-Inspired Fish Simulation for Generating Synthetic Datasets

論文:https://masakinakada.com/pdfs/foids21.pdf

魚の養殖や漁業において、魚の数を数える作業は非常に面倒なもので、一度魚を水から引き上げ、秤で重量を計測しています。これは漁業に従事する人にとって面倒なだけではなく、魚にとってもストレスや死因になりうる無理を強いる作業です。「Foids:Bio-Inspired Fish Simulation for Generating Synthetic Datasets(合成データセットを生成するための生物を参考にした魚のシミュレーション)」の研究は、魚の大きさや動きに応じて数え方を変えるコンピュータビジョンを用いた新しい手法を提案するものです。これによって、養魚場の給餌を最適化したり、長期的な養魚の計画が可能になり、産業的に革新的な課題解決の方法です。

一般的なコンピュータビジョンの解析手法では、高解像度の画像データをもとに解析することがほとんどですが、本研究では、魚の形状や魚の動きを3D空間上でシミュレーションし、その計算上の動きや魚の数と、実際の漁場の映像とを機械学習を繰り返し差分を埋めていきます。そうすることでシミュレーション上の魚の数から実際の魚の数を正確に把握できるようになる斬新な切り口の手法です。物体を検出する機械学習モデルには YOLO-v4が用いられています。

Neural Radiosity

論文:https://arxiv.org/pdf/2105.12319v2.pdf
動画:http://www.cs.umd.edu/~saeedhd/files/Neural_Radiosity/Neural_Radiosity_Sup_Video.mov (ダウンロードサイズ、約400MB)

3DCGの画像生成方法のひとつとして大域照明(ラジオシティ法)が建築CGなどで広く利用されています。この手法は空間内の光の挙動を物理法則に従って正確に計算することで写実的な画像を生み出すもので、膨大な計算資源が必要となります。また計算回数を増やせば増やすほどノイズの少ない高精細な画像が生成できるため、質的に満足のいく画像になるまで、またトライ&エラーの繰り返しで計算資源がいくらあっても足りなくなる傾向にあります。発表された研究「Neural Radiosity」は、ニューラルネットワークを活用した大域照明描画(ラジオシティ法)であり、すべての計算を高精度で厳密に行うのではなく素早く近似値にたどり着く方法を編み出しています。物理法則に則った描画にはMitsuba2が用いられています。

Layered Neural Atlases for Consistent Video Editing

論文:https://arxiv.org/pdf/2109.11418.pdf
ソースコード:https://github.com/ykasten/layered-neural-atlases

Layered Neural Atlases for Consistent Video Editing(ビデオ編集のためのニューラルネットワークを活用した映像分割)」はアドビリサーチとワイツマン科学研究所による研究です。近い将来Adobeのツールに搭載されることが期待される技術です。カメラや視点が動いている動画から、そこに写っている背景と映像として注目している物体とを分離して抽出することで、背景映像を手軽に差し替えることのできる技術です。

ZoomやGoogle Meetなどのビデオ会議ツールでは、くり抜き合成のためのグリーンバック背景が無くともカメラ映像だけで人物と背景とを分離させてバーチャル背景に差し替えることができます。そういったテレビ会議と同じような手軽さで、動画の背景を差し替えることのできる手法です。

一般的な実写動画の場合ビデオ会議に比べ、カメラの向きや、動きなども変化するため、そう簡単にはいかないことは容易に予想できます。本研究では動画に写っている背景から特徴点検出と映像の類似性から本来どういう背景なのかを広範囲で予想します。その予想された背景と映像との差分から映像中の動きを持った物体や人物を抽出することができています。まだまだ境界部分の処理が甘い感じがしますが、処理時間と品質とのバランスをうまくとれば実用も間近だと考えられます。背景映像の変化を捉えるためにオプティカルフローの最近の実装であるRAFT が使われています。

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction

論文:https://vcc.tech/file/upload_file//image/research/att202109301259/TreePartNet.pdf
ソースコード:https://github.com/marktube/TreePartNet

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction(点群のニューラル分解による3次元木構造の復元)」実在の樹木を写した写真から点群データを抽出し、ニューラルネットワークを活用して樹木の3Dデータを再構築する手法です。樹木は基本的には円筒状の形状をした枝の集合であることに加え、外れ値やノイズ、不完全性などの要素を加えて樹木データを再構築します。出来上がったデータは、元の樹木と100%等価ではありませんが、街灯樹のCGや、植栽のCGに使うには十分な品質のデータが得られます。

この手法の評価は、元となった実際の樹木との差分を評価すれば良いため、学習データを増やすことでさらに再構築の精度を上げたり、特定の品種の樹木に特化したツールも実現可能でしょう。点群データを扱うためにPointnet2_PyTorchが活用されています。また他にも同様に樹木データを再構築する研究 “Learning to Reconstruct Botanical Trees from Single Images” では、枝と葉を別々に扱うことで、より正確な樹木を再現しようとしています。

Dynamic Neural Garments

論文:https://arxiv.org/pdf/2102.11811.pdf
ソースコード:https://github.com/MengZephyr/DynamicNeuralGarments

ロンドン大学、アドビリサーチによる研究です。VR空間でアバターと呼ばれる仮想キャラクタを用いることが増え、アバターにリアルな衣装を作成するニーズが高まっています。人の動きに合わせたCG衣装のシワやヒダ、布の動き、衣服のシルエットを整えたり、リアルな布の質感といった表現は可能ですが、従来は後処理で時間をかけて行っていました。本研究では人の動きから関節を推定することで、リアルタイムで衣服の外観をシミュレーションする仕組みです。実写映像からの骨格抽出はOpenCVEmbreeが用いられています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

論文:https://arxiv.org/pdf/2106.13228.pdf
ソースコード:https://github.com/google/hypernerf

HyperNeRF(Hyper Neural Radiance Fields) :A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields(映像から形状をモデル化することによりトポロジーの変化にも対応した3Dデータの再構成を実現する手法)」は、カメラ視点に動きのある動画から、三次元形状を再構築する手法です。他の同様のアプローチと比べ、ニューラルネットワークの活用で、エラーや見た目が変な形状になること、実際の形状とは異なる3Dデータが再構築されてしまう事例が圧倒的に減るという画期的な手法です。また、サンプルで示されているように顔の表情が変化したり、口を開け閉めしたり、手を組んだりといったトポロジーが変化する形状にも適切に追従します。

従来型の手法であれば顎が欠けたり、口を開けているのに閉じた3Dデータになってしまいますが、HyperNeRFではそれらの要件も解決しています。手法として3次元形状をそのまま3次元で扱おうとせず、トポロジーの変化も含めた高次元のモデルで俯瞰して扱い、最終的に3次元データに戻すことでトポロジーの変化に強い精度が得られたとのことです。

SuperTrack – Motion Tracking for Physically Simulated Characters using Supervised Learning

論文:https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2021/11/24183638/SuperTrack.pdf

SuperTrack」はカナダのUbisoftによる研究論文発表です。ゲーム中で扱われるリアルなキャラクタの動きを表現し、ゲームに深みを与えるための研究です。従来手法に比べ、学習データの量によらず短い学習時間で高品質な動きが得られるそうです。本手法のポイントは、人間の骨格には可動域や折れ曲がる方向など制限があるためragdoll(ラグドール)と呼ばれる単純化された骨格をモデルをゲーム中の衝突、転倒、物が当たるといった動作の判別に用いています。

ragdollを用いて、十分な規模の機械学習を実施すると、現在のポーズから次の動き、次のポーズを予測することができます。その際、個々のキャラクターをモデル単体としてではなく、空間全体にある構造物として扱うことでより正確にキャラクターの状態を推測できる方式が提案されている点です。本研究の成果はゲームエンジン等でキャラクターの動きを、違和感のない、よりリアルで平易に操作できるインタフェースの実現に貢献するでしょう。

以上、SIGGRAPH Asia 2021 から機械学習、ニューラルネットワークなど人工知能系の技術を活用したCG論文をいくつか紹介しました。ここで紹介しきれなかった論文で、GAN(敵対的生成ネットワーク)を活用した研究も注目されていました。

  1. Barbershop: GAN-based Image Compositing using Segmentation Masks
  2. Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
  3. FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

その他の論文にもみなさんの研究やビジネスのヒントになる最新論文があるかもしれません。人工知能の分野は学術的にもビジネス的にも熾烈な競争が行われている中、CG/VFXの分野にヒントや応用例を見出すことができるかもしれません。

SIGGRAPH Asia 2021 papers on the web (Ke-Sen Huang氏による非公式のSIGGRAPH Asia 2021全論文リンク集)

CG/VFXはどこまで進化する?

CG/VFX技術の進化は、ディープラーニングやニューラルネットワーク、GAN(敵対的生成ネットワーク)などの活用で
さらに進展・進化しつつあります。従来であれば膨大なコンピューティングパワーや精度の面で、実用化が難しかった手法も、ディープラーニングによって素早く最適解を導き出せるようになってきています。

CG/VFXの表現や、研究のモチベーション、用途としては、大きく分けると次の3つに集約すると考えています。

  • 現実を模倣する。人や生き物、自然や建築物など、リアルに表現すること
  • 実社会では見たこともない映像を作る、あり得ない映像を表現する
  • 物理的、構造的、流体的に正しい表現を行うことで、さまざまな産業に役立てる

今回の SIGGRAPH Asia 2021 でとても注目し、体験もさせていただいた展示にサイバーエージェントの「デジタルツインレーベル」があります。これは「現実を模倣する」に当てはまる分野であると言えます。「デジタルツインレーベル」は著名人の高精細な3DCGモデルをデジタルの代役として制作し、広告やCGキャラクタとしての展開に利用するというプロジェクトです。SIGGRAPH Asia 2021 では「デジタルツインレーベル」の施策の一つである出張型3DCGスキャンカー ”THE AVATAR TRUCK” が展示会場に乗り入れ、トラック1台に全ての機材を搭載し、日本中このトラックが行けるところであればどこへでも撮影に行ける機材一式でサンプルデータの取得をデモンストレーションしていました。

DigitalTwinLabel – Ai Tominaga /Cyberagent
動画:https://www.youtube.com/watch?v=khcC8naQpk0
プレスリリース:https://www.cyberagent.co.jp/news/detail/id=26503

幸運にも私もスキャンをお願いすることができました。髪型のリファレンスの撮影、さまざまな照明での顔の質感撮影、しかめっ面や、笑い顔、怒り顔など、いくつかの表情を、約10分ほどで大変スムーズに撮影することができました。スキャントラックには1台レンズ込みで40万円ほどのソニー α7R IIIが55台、ESPER LightCage というフォトスキャン専用のドーム型LEDストロボが搭載されています。

トラック内部のドーム型リグの中
顔の位置を合わせている様子
さまざまな表情での撮影
頭の位置をトラッキングするためのマーカーつきヘッドバンド
全方向からのスキャンデータ

ここで自分の顔の3Dデータが収録できたからといって、すぐに自分の代わりに何かしてくれるとか、代役としてCMに出るといったことはありません。けれども今後エンターテインメント分野以外にもビジネス用途や学習用途でVR空間でのコミュニケーションが広がりつつある現在、今後自分の3Dスキャンはポートレート写真撮影のように一般的になっていくかもしれません。

次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダのバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱(テグ)で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、2022年初めの時点では、どのような形態で開催されるのかは未定です。

SIGGRAPH 2022:https://s2022.siggraph.org/
SIGGRAPH ASIA 2022:https://sa2022.siggraph.org/en/

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.33:AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32:Adobe Sneaks より進化の方向性を知る

 Vol.31:人工知能が考える「顔」と、人が考える「顔」

Vol.30:SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29:AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

Vol.26:アートを加速させるAIの役割 #GTC2021 レポート

Vol.25:変幻自在の顔も実は人工知能

Vol.24:自然現象もすべて人工知能で再現する時代

Vol.23:AIで人の眼に進化するカメラ

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.51:広告産業の事例が教えてくれる創造性を加速させるAIの活用法

2023.6.16アート

CGへの扉 Vol.51:広告産業の事例が教えてくれる創造性を加速させるAIの活...

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphicsの真価

2020.8.13アート

CGへの扉 Vol.17:描画を進化させるTensorFlow Graphics...

CGへの扉 Vol.36:創るためのAI〜AIと人間の創造性の未来:徳井直生氏講演レポート

2022.3.17アート

CGへの扉 Vol.36:創るためのAI〜AIと人間の創造性の未来:徳井直生氏講...

RANKING注目の記事はこちら