モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGANNVIDIA音楽Google三宅陽一郎強化学習ニューラルネットワークStable DiffusionChatGPTグーグル森川幸人シナリオDeepMindQA人工知能学会GPT-3自然言語処理マイクロソフト大規模言語モデルFacebook大内孝子映画著作権AIと倫理キャラクターAI敵対的生成ネットワークルールベースアート倫理SIGGRAPHモリカトロンゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成LLMNPCNFTプロシージャルMidjourneyデバッグMinecraftDALL-E2StyleGAN遺伝的アルゴリズム画像生成AIロボット自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインメタバースVRボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツエージェントプロンプト栗原聡手塚治虫CNNNeRFDALL-E 3バーチャルヒューマンBERTロボティクスUnityOmniverseJSAI2023鴫原盛之HTN階層型タスクネットワークソニーGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルRed RamモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成インディーゲームElectronic Arts音声合成マーケティングメタデータGDC SummerStable Diffusion XLCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオAI Frog Interactive新清士大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェント人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

CGへの扉 Vol.24:自然現象もすべて人工知能で再現する時代

2021.3.15アート

CGへの扉 Vol.24:自然現象もすべて人工知能で再現する時代

実写かCG/VFXか見分けられる?

CG/VFXで表現が難しいものの代表に自然現象があります。人間は火、水、風といった自然現象を普段から良く見ており、それらの動きや質感などに少しでも不自然な部分があれば違和感に気づきます。これは映像制作のプロでなくとも誰もが持っている感覚です。映像制作の現場では、広大な自然現象を実写で撮影することも多いですが、自然の映像そのままでは物足りず、大げさな動きや演出を加える場合もあります。さらに滝の水が魔法で馬の形になったり、現実では撮影がなかなか難しいダムの放水などを扱ったりと難しい表現が求められる場合は、CG/VFXで自然現象をうまく表現するしかありません。

次に紹介する映像は、CG/VFX用の流体映像作成ツールRealFlowを提供するNEXT LIMIT社のデモリールです。これがすべて実写ではなく「作られた」映像だということに納得がいくでしょうか?

主にTVCMの映像で構成されるこのデモリールであれば「作られた」映像であると判別しやすい演出がなされているかもしれません。水滴やチョコクリーム、水面の水しぶきなど、個々の流体はとてもリアルに表現されており、現実の事象と見比べても違和感がないものになっています。

1枚の画像から、自然な風景動画を

Facebookと米国ワシントン大学の共同研究「Animating Pictures with Eulerian Motion Fields (オイラー運動方程式を用いたアニメーション画像の作成)」は、煙や川、滝などの水、雲、炎などを撮影した一枚の静止画からループ状の繰り返し動画を生成するための手法です。

Animating Pictures with Eulerian Motion Fields
論文:https://eulerian.cs.washington.edu/animating_pictures_2020.pdf
解説動画:https://www.youtube.com/watch?v=4zKliOMilGY(約5分)

流体が映っている画像を入力素材とし、そこからディープラーニングの画像生成でよく使われる画像から画像への変換の手法 I2I(image-to-image translation)によって動画を生成します。静止画に写っている流体から水などの流れの方向、乱れ具合、どちらに移動しているのかを学習済みのデータから推定します。まずは流体と思われる領域を特定し、それらの画素一つひとつが何らかの位置へ移動していくことを前提として動く先を推測します。さらにその推定から適切な画像を元の画像から切り出し、合成して必要な領域を埋めていきます。

元の画像から動きがあると推測される部分、動きの方向を類推

流体を撮影した実写映像であれば、ループ動画(繰り返し動画)に編集した場合にループのつなぎ目が不自然で分かってしまいますが、この研究の手法ではループ動画の最後が最初の画像と同一になるよう調整し、つなぎ目がわからないようループ動画が生成されています。

元の画像素材から少し未来の生成画像と、少し過去の生成画像をもとに補間画像を生成する

ディープラーニングのための学習データは、一般的に販売されているストックフッテージと呼ばれる素材動画集から数千の動画が用いられました。

今回のような動画生成の手法で、単に画像を変形しただけで動きを作ろうとした場合は、無理な補正がかかるためアーティファクトと呼ばれる歪みや画像の抜け(穴)が生じてしまいます。この問題を回避するために、本研究では新しい手法が用いられました。流体画像の中の特徴的な部分を一度エンコードし圧縮します、それを数フレーム後の画像で専用のデコーダーで展開して再利用するのです。

左:従来手法 右:アーティファクトと呼ばれる歪みや画像の抜けを回避する本研究の結果

また、水のような流体であれば、重力に従って上から下へ流れるため、上部の画像生成情報が不足します。それを回避するために上から下に流れる水とは対称に下から上に流れる流体を仮定することで、画像補正に足りない領域をカバーします。流体の動きは一定ではないことから、現実にはありえない、さまざまな動きから抽出した画像を利用することができるのです。

左:従来手法 右:下から上に流れる流体を仮定して素材として用いる

これらの工夫の結果、一枚の画像からリアルなループ動画が得られるのです。それこそFacebookのようなSNSで1枚の実写写真から雰囲気のある動画が生成できれば、手軽に多くの人の関心を集めることができるでしょう。デモでは実写としか思えないような滝の映像、落差の激しい川の流れる様子、水紋、水しぶき、海岸の波の様子、立ち上る炎、機関車の煙などが表現されています。サンプルソースコードの公開も間近とのこと。

上記のような事例が試されています。実際のループ動画は下記をご覧ください。

流体計算をディープラーニングで高速化:Deep Fluids

シミュレーション計算データそのものを学習データとして用いるDeep Fluids

従来、水やその他の液体の動きを表現するには綿密なシミュレーションが必要であり、正確で広範囲の流体CG表現には膨大な計算コストがかかっていました。流体シミュレーションの計算そのものはひとつの確立した分野であり、CG/VFXで活用するためにさまざまな研究が進んでいます。

また映像制作の現場のみならず、土木工事や災害予想などの現場でも必要とされる技術です。それら流体シミュレーション研究の多くは、いかに計算量を減らしながらもリアルで正確な表現を得られるかという工夫と、水以外の粘性を持った複雑な流体をいかにリアルに表現するかといった工夫に広がっています。

自然界にある川や海、滝などはごく普通の水なのに、粘性を持った流体など何に使うのだろうと、不思議に思うかもしれません。けれども身の回りを見渡してみると、餡掛け焼きそばのような料理、タレのような液体、よだれや鼻水といった水とは異なる液体は数多く存在します。

そういった映像制作の現場で求められる流体シミュレーションの計算スピードを、ディープラーニングのテクニックを用いて高速化しようというのが、ピクサー・アニメーション・スタジオ、スイスのチューリッヒ工科大学、ドイツのミュンヘン工科大学の共同研究「Deep Fluids: A Generative Network for Parameterized Fluid Simulations(パラメータ化された流体シミュレーションのための生成ネットワーク)」です。

本研究のベースとなっているのはmentaflowというオープンソースの流体シミュレーションフレームワークです。通常の流体シミュレーションは、三次元空間を細かな領域に分割し、そこでの流体の動きを細かく分割した領域ごとに計算します。例えば、幅、奥行き、高さが1メートルの入れ物の中を動く流体を計算する場合 100×100×100 = 1,000,000の領域に分割したり、より細かで仔細な動きを計算したければ 10000×10000×10000 = 1,000,000,000,000(1兆)の領域について計算する必要があります。これがさらに1秒ごとの滑らかなアニメーション表現が必要となれば、1秒間に30回から60回といった計算量に倍増します。

mantaflow
mantaflow を用いた流体シミュレーション動画:https://vimeo.com/user48826697

実際は流体が存在しない領域の計算が必要なかったり、荒い領域分割で事前計算した後に細かに分割した計算をしたり、すべて計算せずにランダム性を持って計算するなど、さまざまな工夫によって高速化が図られていますが、それにしても膨大な計算量が必要であることには変わりありません。

従来手法とディープラーニングを用いた手法の比較

Deep Fluids のディープラーニングを用いたアプローチは、上記の流体計算における「補間」計算を、計算済みの流体シミューレションのデータを訓練データとして用い、流体のパラメータや環境が変わった際の中間値を順当に計算したのに近い値で補間することができます。

正確にすべての計算を実施した時とはシミュレーション結果は多少異なりますが、見た目上ほとんど違わない結果が得られるということは、映像制作の現場でより多くの試行錯誤を繰り返すことが可能となり、演出や完成映像のクオリティ向上に期待が持てます。

もちろん、正確なシミュレーションが必要な研究分野には向かないかもしれません。そういった場合でも予備実験や、複数のパターンから目測をつけるような際には重宝することでしょう。さらに変化の要素を限定的にすることでリアルタイムですぐに流体シミュレーションの結果が得られたり、液体のパラメータが変わった時などにも素早く結果を導き出すことができます。

ここでの手法のポイントは、ディープラーニングを活用した他の事例とは大きく異なり、学習データとしてネット上のデータを大量に集めたり、あらかじめ用意された機械学習用のデータセットを用いるのではなく、目的に応じてシミュレーションした結果を学習データとして用い、次の計算の時に役立てるという手法です。

実際のところ、同一のシミュレーションデータを再計算することに比べると、最大で約700倍でシミュレーション結果が得られるそうです。またコンピュータのメモリに展開しなければいけないシミュレーション計算途中の中間データも少なくて済むという副次的な効果もあるそうです。

これからのシミュレーションと人工知能の関係性

膨大な計算を繰り返し必要とするところで、従来であればコンピューティングパワーを追求したり、メモリ効率や外部記憶装置のスピードなどの効率性を求めるしかなかった分野での新しいアプローチとして人工知能の活躍が期待されます。ディープラーニングを用い事前に学習させることで良い意味で計算を省略し、より早く目的の結果にたどり着く手順が考えられます。

もちろん向き不向きはありますが、良質の学習データが用意できれば応用範囲や、結果の正確性も向上するでしょう。例えば予測や予報、衝突実験、航空機や建築物などの流体計算や剛性計算、医薬や医療分野など、膨大なトライ&エラーが必要な分野で「まず最初に筋の良い予想を素早く導き出す」ことに特化した人工知能活用が進むかもしれません。今後、多元的に複数の計算を同時に行うような分野でますます人工知能の活躍の場が増えることでしょう。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.23:AIで人の眼に進化するカメラ

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.15:撮影に革新をもたらすAIによる照明

Vol.14:AIが生み出す顔と人間の表情

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

2021.6.15アート

CGへの扉 Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品まとめ

2021.6.30アート

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品...

アルスエレクトロニカ2019に見る、AIとデジタル革命のミドルクライシス

2019.10.21アート

アルスエレクトロニカ2019に見る、AIとデジタル革命のミドルクライシス

RANKING注目の記事はこちら