モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉機械学習安藤幸央ディープラーニング月刊エンタメAIニュースGAN河合律子OpenAI音楽ニューラルネットワークNVIDIA三宅陽一郎強化学習吉本幸記QAGoogleFacebook人工知能学会GPT-3自然言語処理グーグルDeepMind大内孝子森川幸人敵対的生成ネットワークキャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューマイクロソフトルールベースシナリオAIと倫理映画デバッグアートDALL-E2StyleGAN倫理ゲームプレイAINFT自動生成SIGGRAPHメタAIテキスト画像生成ロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムテストプレイモリカトロンStable DiffusionDALL-Eビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIVFXデジタルツインメタバース不完全情報ゲームVRナビゲーションAINPC畳み込みニューラルネットワークCLIP画像生成GDC 2021JSAI2022GDC 2019マルチエージェントCEDEC2022AIアート画像生成AIボードゲームファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeUnity著作権小説アニメーション鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクスMetaMinecraft水野勇太Genvid TechnologiesガイスターStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルMCS-AI動的連携モデルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンアバターOmniverseUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学ベリサーブPlayable!ChatGPT理化学研究所SIGGRAPH ASIADARPAドローンシムシティImagenZorkバイアスモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic Arts3DメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブスタンフォード大学アーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAE3DCGリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaイラストシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典PaLM釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldジェネレーティブAIEarth-2BingMagentaSFELYZA Pencil松尾豊GTC2021CycleGANデータマイニング東京大学NetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022レベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDAAI DungeonASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperNVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DDreamFusionMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ～キミと繋がる想い～元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター［YCAM］アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国［Walled Garden］プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject MalmoオンラインゲームGen-1気候変動Project PaidiaシンギュラリティProject Lookoutマックス・プランク気象研究所レイ・カーツワイルWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ気象モデルRunway ResearchLEFT ALIVE気象シミュレーションMake-A-Video長谷川誠ジミ・ヘンドリックス環境問題PhenakiBaby Xカート・コバーンエコロジーDreamixロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-Imageモデル音楽生成AIYouTubeダフト・パンクメモリスタ音声生成AIGlenn MarshallScenarioThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxAIピカソVeap JapanAI素材.comEAPneoAIテンセントSIFT福井千春DreamIconDCGAN医療mignMOBADANNCEメンタルケアstudiffuse人事ハーバード大学Edgar HandyAndreessen Horowitz研修デューク大学NetflixAIQVE ONEQA Tech Nightmynet.aiローグライクゲーム松木晋祐東京理科大学下田純也人工音声NeurIPS 2021産業技術総合研究所桑野範久リザバーコンピューティングBardプレイ動画ヒップホップ対話型AIモデル詩ソニーマーケティングControlNetサイレント映画もじぱnoteNBA環境音暗号通貨note AIアシスタント現代アートFUZZLEKetchupAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt Transfer群知能下川大樹AIFAPet Portraitsウィル・ライト高津芳希P2EBlob Opera大石真史クリムトBEiTStyleGAN-NADA世界モデルDETRゲームエンジンDreamerV3SporeUnreal Engineクリティックネットワークデノイズ南カリフォルニア大学Unity for Industryアクターネットワーク画像処理DMLabSentropyGLIDEControl SuiteCPUDiscordAvatarCLIPAtari 100kSynthetic DataAtari 200MCALMYann LeCunプログラミングサム・アルトマン鈴木雅大ソースコード生成コンセプトアートGMAIシチズンデベロッパーSonanticColie WertzTRPGGitHubCohereリドリー・スコットウィザードリィMCN-AI連携モデルマジック：ザ・ギャザリング絵コンテUrzas.aiストーリーボード介護大阪大学西川善司並木幸介KikiBlenderサムライスピリッツ森寅嘉Zoetic AIプロンプトゼビウスSIGGRAPH 2021ペットGPT-4ストリートファイター半導体Digital Dream LabsPaLM APITopaz Video Enhance AICozmoMakerSuiteDLSSタカラトミーSkeb山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行
CGへの扉 Vol.24：自然現象もすべて人工知能で再現する時代
2021.3.15アート
実写かCG/VFXか見分けられる？
CG/VFXで表現が難しいものの代表に自然現象があります。人間は火、水、風といった自然現象を普段から良く見ており、それらの動きや質感などに少しでも不自然な部分があれば違和感に気づきます。これは映像制作のプロでなくとも誰もが持っている感覚です。映像制作の現場では、広大な自然現象を実写で撮影することも多いですが、自然の映像そのままでは物足りず、大げさな動きや演出を加える場合もあります。さらに滝の水が魔法で馬の形になったり、現実では撮影がなかなか難しいダムの放水などを扱ったりと難しい表現が求められる場合は、CG/VFXで自然現象をうまく表現するしかありません。
次に紹介する映像は、CG/VFX用の流体映像作成ツールRealFlowを提供するNEXT LIMIT社のデモリールです。これがすべて実写ではなく「作られた」映像だということに納得がいくでしょうか？
主にTVCMの映像で構成されるこのデモリールであれば「作られた」映像であると判別しやすい演出がなされているかもしれません。水滴やチョコクリーム、水面の水しぶきなど、個々の流体はとてもリアルに表現されており、現実の事象と見比べても違和感がないものになっています。
1枚の画像から、自然な風景動画を
Facebookと米国ワシントン大学の共同研究「Animating Pictures with Eulerian Motion Fields (オイラー運動方程式を用いたアニメーション画像の作成)」は、煙や川、滝などの水、雲、炎などを撮影した一枚の静止画からループ状の繰り返し動画を生成するための手法です。
Animating Pictures with Eulerian Motion Fields
論文：https://eulerian.cs.washington.edu/animating_pictures_2020.pdf
解説動画：https://www.youtube.com/watch?v=4zKliOMilGY（約５分）
流体が映っている画像を入力素材とし、そこからディープラーニングの画像生成でよく使われる画像から画像への変換の手法 I2I（image-to-image translation）によって動画を生成します。静止画に写っている流体から水などの流れの方向、乱れ具合、どちらに移動しているのかを学習済みのデータから推定します。まずは流体と思われる領域を特定し、それらの画素一つひとつが何らかの位置へ移動していくことを前提として動く先を推測します。さらにその推定から適切な画像を元の画像から切り出し、合成して必要な領域を埋めていきます。
流体を撮影した実写映像であれば、ループ動画（繰り返し動画）に編集した場合にループのつなぎ目が不自然で分かってしまいますが、この研究の手法ではループ動画の最後が最初の画像と同一になるよう調整し、つなぎ目がわからないようループ動画が生成されています。
ディープラーニングのための学習データは、一般的に販売されているストックフッテージと呼ばれる素材動画集から数千の動画が用いられました。
今回のような動画生成の手法で、単に画像を変形しただけで動きを作ろうとした場合は、無理な補正がかかるためアーティファクトと呼ばれる歪みや画像の抜け（穴）が生じてしまいます。この問題を回避するために、本研究では新しい手法が用いられました。流体画像の中の特徴的な部分を一度エンコードし圧縮します、それを数フレーム後の画像で専用のデコーダーで展開して再利用するのです。
また、水のような流体であれば、重力に従って上から下へ流れるため、上部の画像生成情報が不足します。それを回避するために上から下に流れる水とは対称に下から上に流れる流体を仮定することで、画像補正に足りない領域をカバーします。流体の動きは一定ではないことから、現実にはありえない、さまざまな動きから抽出した画像を利用することができるのです。
これらの工夫の結果、一枚の画像からリアルなループ動画が得られるのです。それこそFacebookのようなSNSで1枚の実写写真から雰囲気のある動画が生成できれば、手軽に多くの人の関心を集めることができるでしょう。デモでは実写としか思えないような滝の映像、落差の激しい川の流れる様子、水紋、水しぶき、海岸の波の様子、立ち上る炎、機関車の煙などが表現されています。サンプルソースコードの公開も間近とのこと。
上記のような事例が試されています。実際のループ動画は下記をご覧ください。
流体計算をディープラーニングで高速化：Deep Fluids
従来、水やその他の液体の動きを表現するには綿密なシミュレーションが必要であり、正確で広範囲の流体CG表現には膨大な計算コストがかかっていました。流体シミュレーションの計算そのものはひとつの確立した分野であり、CG/VFXで活用するためにさまざまな研究が進んでいます。
また映像制作の現場のみならず、土木工事や災害予想などの現場でも必要とされる技術です。それら流体シミュレーション研究の多くは、いかに計算量を減らしながらもリアルで正確な表現を得られるかという工夫と、水以外の粘性を持った複雑な流体をいかにリアルに表現するかといった工夫に広がっています。
自然界にある川や海、滝などはごく普通の水なのに、粘性を持った流体など何に使うのだろうと、不思議に思うかもしれません。けれども身の回りを見渡してみると、餡掛け焼きそばのような料理、タレのような液体、よだれや鼻水といった水とは異なる液体は数多く存在します。
そういった映像制作の現場で求められる流体シミュレーションの計算スピードを、ディープラーニングのテクニックを用いて高速化しようというのが、ピクサー・アニメーション・スタジオ、スイスのチューリッヒ工科大学、ドイツのミュンヘン工科大学の共同研究「Deep Fluids: A Generative Network for Parameterized Fluid Simulations（パラメータ化された流体シミュレーションのための生成ネットワーク）」です。
本研究のベースとなっているのはmentaflowというオープンソースの流体シミュレーションフレームワークです。通常の流体シミュレーションは、三次元空間を細かな領域に分割し、そこでの流体の動きを細かく分割した領域ごとに計算します。例えば、幅、奥行き、高さが1メートルの入れ物の中を動く流体を計算する場合 100×100×100 = 1,000,000の領域に分割したり、より細かで仔細な動きを計算したければ 10000×10000×10000 = 1,000,000,000,000（1兆）の領域について計算する必要があります。これがさらに1秒ごとの滑らかなアニメーション表現が必要となれば、1秒間に30回から60回といった計算量に倍増します。
mantaflow
mantaflow を用いた流体シミュレーション動画：https://vimeo.com/user48826697
実際は流体が存在しない領域の計算が必要なかったり、荒い領域分割で事前計算した後に細かに分割した計算をしたり、すべて計算せずにランダム性を持って計算するなど、さまざまな工夫によって高速化が図られていますが、それにしても膨大な計算量が必要であることには変わりありません。
従来手法とディープラーニングを用いた手法の比較
Deep Fluids のディープラーニングを用いたアプローチは、上記の流体計算における「補間」計算を、計算済みの流体シミューレションのデータを訓練データとして用い、流体のパラメータや環境が変わった際の中間値を順当に計算したのに近い値で補間することができます。
正確にすべての計算を実施した時とはシミュレーション結果は多少異なりますが、見た目上ほとんど違わない結果が得られるということは、映像制作の現場でより多くの試行錯誤を繰り返すことが可能となり、演出や完成映像のクオリティ向上に期待が持てます。
もちろん、正確なシミュレーションが必要な研究分野には向かないかもしれません。そういった場合でも予備実験や、複数のパターンから目測をつけるような際には重宝することでしょう。さらに変化の要素を限定的にすることでリアルタイムですぐに流体シミュレーションの結果が得られたり、液体のパラメータが変わった時などにも素早く結果を導き出すことができます。
ここでの手法のポイントは、ディープラーニングを活用した他の事例とは大きく異なり、学習データとしてネット上のデータを大量に集めたり、あらかじめ用意された機械学習用のデータセットを用いるのではなく、目的に応じてシミュレーションした結果を学習データとして用い、次の計算の時に役立てるという手法です。
実際のところ、同一のシミュレーションデータを再計算することに比べると、最大で約700倍でシミュレーション結果が得られるそうです。またコンピュータのメモリに展開しなければいけないシミュレーション計算途中の中間データも少なくて済むという副次的な効果もあるそうです。
これからのシミュレーションと人工知能の関係性
膨大な計算を繰り返し必要とするところで、従来であればコンピューティングパワーを追求したり、メモリ効率や外部記憶装置のスピードなどの効率性を求めるしかなかった分野での新しいアプローチとして人工知能の活躍が期待されます。ディープラーニングを用い事前に学習させることで良い意味で計算を省略し、より早く目的の結果にたどり着く手順が考えられます。
もちろん向き不向きはありますが、良質の学習データが用意できれば応用範囲や、結果の正確性も向上するでしょう。例えば予測や予報、衝突実験、航空機や建築物などの流体計算や剛性計算、医薬や医療分野など、膨大なトライ＆エラーが必要な分野で「まず最初に筋の良い予想を素早く導き出す」ことに特化した人工知能活用が進むかもしれません。今後、多元的に複数の計算を同時に行うような分野でますます人工知能の活躍の場が増えることでしょう。
本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
Vol.22：言葉から画像を生成、DALL-Eはクリエイティブなのか？
Vol.21：人工知能＋3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020
Vol.20：Adobeと人工知能の将来を見極める #AdobeMAX2020
Vol.19：コミュニケーションツールの新境地「NVIDIA MAXINE」
Vol.18：SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能
Vol.17：描画を進化させるTensorFlow Graphicsの真価
Contributor：安藤幸央
RANKING
