モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
機械学習ディープラーニングCGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース強化学習モリカトロンAIラボインタビュー音楽三宅陽一郎敵対的生成ネットワークQAOpenAICEDEC2019シナリオNVIDIAFacebookデバッグスクウェア・エニックスDeepMind人工知能学会CEDEC2020ゲームAI映画遺伝的アルゴリズム不完全情報ゲーム深層学習ルールベースAIと倫理ビヘイビア・ツリーGoogleSIGGRAPHGDC 2019VRキャラクターAIボードゲーム畳み込みニューラルネットワークロボットマイクロソフトグーグルプロシージャルVFXメタAIファッション河合律子StyleGAN自動生成JSAI2020CNNイベントレポートモリカトロンマルチエージェントゲームプレイAIナビゲーションAI森川幸人水野勇太ガイスターCLIP自然言語処理アートtoioHTN階層型タスクネットワークスポーツTensorFlowGDC SummerMicrosofteSportsBLUE PROTOCOL小説DALL-EAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史JSAI2021研究ディープフェイクDARPAドローンAI美空ひばり手塚治虫汎用人工知能GPT-3メタデータ通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft Azureキャリアテストプレイeスポーツ音声認識PyTorchDQN眞鍋和子バンダイナムコスタジオシーマンUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEアニメーションワークショップGenvid Technologies知識表現IGDANPCどうぶつしょうぎジェイ・コウガミ音楽ストリーミングStyleGAN2マシンラーニングクラウドコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦藤澤仁生物学画像認識NFT長谷洋平鴫原盛之masumi toyota宮路洋一SIGGRAPH ASIA吉本幸記ソニーフェイクニュースシムピープルGPUALife人工生命オルタナティヴ・マシンサウンドスケープASBSマンガぱいどんTEZUKA2020松井俊浩Electronic ArtsマーケティングApex LegendsNinjaゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUX認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージちょまどビッグデータアストロノーカ模倣学習ナラティブFPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelロボティクスLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNUbisoftReBeLUbisoft La Forge自動運転車VolvoRival Prakウォッチドッグス レギオンユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアリトル・コンピュータ・ピープルシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ウェイポイントユクスキュルパス検索カント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPDeNAStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育TextWorldProject PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021CycleGANテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希シムシティ大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordZorkCALMGMAITRPGウィザードリィAI Dungeon西川善司サムライスピリッツゼビウスストリートファイター栗原聡山野辺一記大里飛鳥13フェイズ構造手塚眞不気味の谷Oculus Quest生体情報写真照明山崎陽斗立木創太スパーシャルAIGameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

CGへの扉 Vol.24:自然現象もすべて人工知能で再現する時代

2021.3.15アート

CGへの扉 Vol.24:自然現象もすべて人工知能で再現する時代

実写かCG/VFXか見分けられる?

CG/VFXで表現が難しいものの代表に自然現象があります。人間は火、水、風といった自然現象を普段から良く見ており、それらの動きや質感などに少しでも不自然な部分があれば違和感に気づきます。これは映像制作のプロでなくとも誰もが持っている感覚です。映像制作の現場では、広大な自然現象を実写で撮影することも多いですが、自然の映像そのままでは物足りず、大げさな動きや演出を加える場合もあります。さらに滝の水が魔法で馬の形になったり、現実では撮影がなかなか難しいダムの放水などを扱ったりと難しい表現が求められる場合は、CG/VFXで自然現象をうまく表現するしかありません。

次に紹介する映像は、CG/VFX用の流体映像作成ツールRealFlowを提供するNEXT LIMIT社のデモリールです。これがすべて実写ではなく「作られた」映像だということに納得がいくでしょうか?

主にTVCMの映像で構成されるこのデモリールであれば「作られた」映像であると判別しやすい演出がなされているかもしれません。水滴やチョコクリーム、水面の水しぶきなど、個々の流体はとてもリアルに表現されており、現実の事象と見比べても違和感がないものになっています。

1枚の画像から、自然な風景動画を

Facebookと米国ワシントン大学の共同研究「Animating Pictures with Eulerian Motion Fields (オイラー運動方程式を用いたアニメーション画像の作成)」は、煙や川、滝などの水、雲、炎などを撮影した一枚の静止画からループ状の繰り返し動画を生成するための手法です。

Animating Pictures with Eulerian Motion Fields
論文:https://eulerian.cs.washington.edu/animating_pictures_2020.pdf
解説動画:https://www.youtube.com/watch?v=4zKliOMilGY(約5分)

流体が映っている画像を入力素材とし、そこからディープラーニングの画像生成でよく使われる画像から画像への変換の手法 I2I(image-to-image translation)によって動画を生成します。静止画に写っている流体から水などの流れの方向、乱れ具合、どちらに移動しているのかを学習済みのデータから推定します。まずは流体と思われる領域を特定し、それらの画素一つひとつが何らかの位置へ移動していくことを前提として動く先を推測します。さらにその推定から適切な画像を元の画像から切り出し、合成して必要な領域を埋めていきます。

元の画像から動きがあると推測される部分、動きの方向を類推

流体を撮影した実写映像であれば、ループ動画(繰り返し動画)に編集した場合にループのつなぎ目が不自然で分かってしまいますが、この研究の手法ではループ動画の最後が最初の画像と同一になるよう調整し、つなぎ目がわからないようループ動画が生成されています。

元の画像素材から少し未来の生成画像と、少し過去の生成画像をもとに補間画像を生成する

ディープラーニングのための学習データは、一般的に販売されているストックフッテージと呼ばれる素材動画集から数千の動画が用いられました。

今回のような動画生成の手法で、単に画像を変形しただけで動きを作ろうとした場合は、無理な補正がかかるためアーティファクトと呼ばれる歪みや画像の抜け(穴)が生じてしまいます。この問題を回避するために、本研究では新しい手法が用いられました。流体画像の中の特徴的な部分を一度エンコードし圧縮します、それを数フレーム後の画像で専用のデコーダーで展開して再利用するのです。

左:従来手法 右:アーティファクトと呼ばれる歪みや画像の抜けを回避する本研究の結果

また、水のような流体であれば、重力に従って上から下へ流れるため、上部の画像生成情報が不足します。それを回避するために上から下に流れる水とは対称に下から上に流れる流体を仮定することで、画像補正に足りない領域をカバーします。流体の動きは一定ではないことから、現実にはありえない、さまざまな動きから抽出した画像を利用することができるのです。

左:従来手法 右:下から上に流れる流体を仮定して素材として用いる

これらの工夫の結果、一枚の画像からリアルなループ動画が得られるのです。それこそFacebookのようなSNSで1枚の実写写真から雰囲気のある動画が生成できれば、手軽に多くの人の関心を集めることができるでしょう。デモでは実写としか思えないような滝の映像、落差の激しい川の流れる様子、水紋、水しぶき、海岸の波の様子、立ち上る炎、機関車の煙などが表現されています。サンプルソースコードの公開も間近とのこと。

上記のような事例が試されています。実際のループ動画は下記をご覧ください。

流体計算をディープラーニングで高速化:Deep Fluids

シミュレーション計算データそのものを学習データとして用いるDeep Fluids

従来、水やその他の液体の動きを表現するには綿密なシミュレーションが必要であり、正確で広範囲の流体CG表現には膨大な計算コストがかかっていました。流体シミュレーションの計算そのものはひとつの確立した分野であり、CG/VFXで活用するためにさまざまな研究が進んでいます。

また映像制作の現場のみならず、土木工事や災害予想などの現場でも必要とされる技術です。それら流体シミュレーション研究の多くは、いかに計算量を減らしながらもリアルで正確な表現を得られるかという工夫と、水以外の粘性を持った複雑な流体をいかにリアルに表現するかといった工夫に広がっています。

自然界にある川や海、滝などはごく普通の水なのに、粘性を持った流体など何に使うのだろうと、不思議に思うかもしれません。けれども身の回りを見渡してみると、餡掛け焼きそばのような料理、タレのような液体、よだれや鼻水といった水とは異なる液体は数多く存在します。

そういった映像制作の現場で求められる流体シミュレーションの計算スピードを、ディープラーニングのテクニックを用いて高速化しようというのが、ピクサー・アニメーション・スタジオ、スイスのチューリッヒ工科大学、ドイツのミュンヘン工科大学の共同研究「Deep Fluids: A Generative Network for Parameterized Fluid Simulations(パラメータ化された流体シミュレーションのための生成ネットワーク)」です。

本研究のベースとなっているのはmentaflowというオープンソースの流体シミュレーションフレームワークです。通常の流体シミュレーションは、三次元空間を細かな領域に分割し、そこでの流体の動きを細かく分割した領域ごとに計算します。例えば、幅、奥行き、高さが1メートルの入れ物の中を動く流体を計算する場合 100×100×100 = 1,000,000の領域に分割したり、より細かで仔細な動きを計算したければ 10000×10000×10000 = 1,000,000,000,000(1兆)の領域について計算する必要があります。これがさらに1秒ごとの滑らかなアニメーション表現が必要となれば、1秒間に30回から60回といった計算量に倍増します。

mantaflow
mantaflow を用いた流体シミュレーション動画:https://vimeo.com/user48826697

実際は流体が存在しない領域の計算が必要なかったり、荒い領域分割で事前計算した後に細かに分割した計算をしたり、すべて計算せずにランダム性を持って計算するなど、さまざまな工夫によって高速化が図られていますが、それにしても膨大な計算量が必要であることには変わりありません。

従来手法とディープラーニングを用いた手法の比較

Deep Fluids のディープラーニングを用いたアプローチは、上記の流体計算における「補間」計算を、計算済みの流体シミューレションのデータを訓練データとして用い、流体のパラメータや環境が変わった際の中間値を順当に計算したのに近い値で補間することができます。

正確にすべての計算を実施した時とはシミュレーション結果は多少異なりますが、見た目上ほとんど違わない結果が得られるということは、映像制作の現場でより多くの試行錯誤を繰り返すことが可能となり、演出や完成映像のクオリティ向上に期待が持てます。

もちろん、正確なシミュレーションが必要な研究分野には向かないかもしれません。そういった場合でも予備実験や、複数のパターンから目測をつけるような際には重宝することでしょう。さらに変化の要素を限定的にすることでリアルタイムですぐに流体シミュレーションの結果が得られたり、液体のパラメータが変わった時などにも素早く結果を導き出すことができます。

ここでの手法のポイントは、ディープラーニングを活用した他の事例とは大きく異なり、学習データとしてネット上のデータを大量に集めたり、あらかじめ用意された機械学習用のデータセットを用いるのではなく、目的に応じてシミュレーションした結果を学習データとして用い、次の計算の時に役立てるという手法です。

実際のところ、同一のシミュレーションデータを再計算することに比べると、最大で約700倍でシミュレーション結果が得られるそうです。またコンピュータのメモリに展開しなければいけないシミュレーション計算途中の中間データも少なくて済むという副次的な効果もあるそうです。

これからのシミュレーションと人工知能の関係性

膨大な計算を繰り返し必要とするところで、従来であればコンピューティングパワーを追求したり、メモリ効率や外部記憶装置のスピードなどの効率性を求めるしかなかった分野での新しいアプローチとして人工知能の活躍が期待されます。ディープラーニングを用い事前に学習させることで良い意味で計算を省略し、より早く目的の結果にたどり着く手順が考えられます。

もちろん向き不向きはありますが、良質の学習データが用意できれば応用範囲や、結果の正確性も向上するでしょう。例えば予測や予報、衝突実験、航空機や建築物などの流体計算や剛性計算、医薬や医療分野など、膨大なトライ&エラーが必要な分野で「まず最初に筋の良い予想を素早く導き出す」ことに特化した人工知能活用が進むかもしれません。今後、多元的に複数の計算を同時に行うような分野でますます人工知能の活躍の場が増えることでしょう。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.23:AIで人の眼に進化するカメラ

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.15:撮影に革新をもたらすAIによる照明

Vol.14:AIが生み出す顔と人間の表情

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

2019.12.17アート

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRA...

「AI美空ひばり」はなぜ炎上したのか?:栗原聡氏×山野辺一記氏インタビュー(後編)

2020.4.20アート

「AI美空ひばり」はなぜ炎上したのか?:栗原聡氏×山野辺一記氏インタビュー(後編...

CGへの扉 Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理AI

2021.7.16アート

CGへの扉 Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理A...

RANKING注目の記事はこちら