CGへの扉 Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

CG/VFX制作におけるマシンラーニングの活用の流れ

CG/VFXが活用された映画・ドラマの制作が大規模化してきています。SF映画や、ファンタジー映画であれば CG/VFX特殊効果が必須であることはもちろんですが、ごくごく普通に見える、現代を描いたドラマや映画でも実はCG/VFXがふんだんに使われているのです。

例えば俳優がロケ地に移動する時間を節約するためだけにスタジオ撮影した映像に街の風景をCG合成したり、過去に使ったセットを復元する手間を省くためにセットをCGで再現したりしています。

CG/VFXは、なにも現実にはありえない特殊な映像を制作するばかりではなく、演出意図を手軽に反映させたり撮影の手間を回避するなど、決められた予算内で素早く制作するためにも使われてきているのです。

論文：Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
動画：Turning a horse video into a zebra video (by CycleGAN)　

VFX制作のクオリティ向上と手間軽減に欠かせないマシンラーニングの役目

2018年に公開された150分の映画『アベンジャーズ／インフィニティ・ウォー』では、映画の全ショット数が 2703ショットにも及びました（※ショットとは切れ目や切り替えなしに連続して流れる映像の断片ひとつを指します）。そのうち、VFXが関係するショット、VFXを使ったショットの数は2633ショットに及びます。何気ない会話のショットや、背景を見渡しているだけのショットでも、細々とVFXによる効果、修正、追加がなされているのです。これだけの数のショットにVFXが使われているとなると、もうVFX無しに最新映画は成立しないと言っても過言ではないでしょう。

ちなみにこれらのVFXは、14社のCGプロダクションが手分けして作業し、総勢1,800名以上のCG/VFXクリエイターが参加しました。俳優の体全身、顔全体を撮影し、コンピュータ上でCG映像として再現させる「デジタルダブル」と呼ばれるキャラクタが用意されたのは映画の登場人物中、22体にも及びます。

今回インフィニティ・ウォーのCG/VFXで活躍した、その1,800人のCG/VFXアーティストに加えてマシンラーニングによる映像制作のアプローチも重要視され、映像業界内でも注目を浴びました。

登場キャラクターの制作手順として、人間の俳優が演技した顔の動きをキャプチャし、そのデータをもとにしたCGキャラクターが制作されました。顔のキャプチャーにはドイツチューリッヒにあるディズニーの研究所が新開発した 「Medusa Performance Capture System, 」という超高精細のパフォーマンスキャプチャーシステムが活用されました。

このシステムは1枚の画像からでも顔の正しい凹凸を抽出し再現することのできる現場のニーズに即したシステムです。実際の現場では2台の48fps（1秒間に48コマ）撮影可能なHDカメラで100箇所から150箇所ほどの印（マーカー）をつけた顔を撮影し続けてデータを取得します。しかし、激しい動きで映像がブレて飛んだり、マーカーが歪んで撮影され、正確にデータ取得できなかったりと悪条件が続きます。映像製作者たちは、そこでそういった悪条件にも強いMedusaを活用することで目標とするクオリティの映像を手に入れることができました。

Medusa Performance Capture

論文1：High-Quality Single-Shot Capture of Facial Geometry

論文2：Rigid Stabilization of Facial Expressions

動画：https://www.youtube.com/watch?v=K3mdGZtbK20

サノスのフェイシャルキャプチャーを担当したデジタルドメイン社の制作風景動画（SlashFilmより）

インフィニティ・ウォーの登場キャラクター、巨人の「サノス」は、通常の人間よりも顔が大きく、かつ微妙で繊細な動きを表現するために1インチ（約2.54cm）あたり4個ほどのリグ（移動の調整箇所）が埋め込まれていますが、顔中のリグをCGアニメーターが調整するのは数が多すぎて現実的ではありません。

さらにサノスの登場時間は映画全体の中で40分以上あり、映画全体の大部分を占めます。そのためその表情の重要性、その表情の存在感は計り知れません。そのため、サノスのアニメーション制作を担当したデジタルドメイン社ではMasqueradeという自社開発のマシンラーニングツールを活用しました。

サノスを担当した実際の俳優の顔の動きとCGキャラクターの動きをうまく連動させ、人間の俳優の動きとまったく同じ動きを再現するのではなく、演出として最適な動きを求めました。CGキャラクターならではの演出がなされた不自然さの無い顔の表現を、俳優の演技とうまく同期させ、正しい動き、そうあるべき動きを蓄積し、CGキャラクターが滑らかな動きが作り出せるようになるまで機械学習用のデータを集めていったのです。

映画内で使われたフェイシャルキャプチャの技術が初めて論文発表された時の説明動画。

ごくごく普通にツールに組み込まれつつあるマシンラーニングの機能

サノスの事例では、研究開発された最先端の応用事例、インハウスの専任プログラマたちが開発したツールが活用されていますが、マシンラーニングを活用して制作物の品質を上げたり、手間を減らして制作スピードを向上させるアプローチは、市販のCG/VFXツールの中にも組み込まれつつあります。

Ziva VFX

筋肉・皮膚のシミュレーションシステム。動物の動きをより滑らかに正確にするためにマシンラーニングの技術を取り入れています。

DeepMotion

体の動きのうち特殊な動きを正確に表現するために、深層強化学習を活用。上記の事例では、実際のバスケットボール選手の歩き方、手の動き、ボールの扱いを素早く学び、効率的にスムーズなアニメーションデータを生み出すための工夫がなされています。この事例では、最初はぎこちない動きでボールを扱っていたCGキャラクタが、学習を進めるにしたがって、ボールの扱いが滑らかになっていくのが分かります。

Foundry

業界内で一般的に使われている映像の合成ツールNUKEの開発もとであるFoundryでは、映像内にあるゴミやノイズを除去する機能、照明が当たっている様子を模倣する機能としてマシンラーニングの技術を活用しています。

ARRAIY

ARRAIY社は社名にAIが入っており、機械学習を活用したトラッキングの技術を提供している企業です。通常の物体トラッキングや空間トラッキングの場合は、マーカーと呼ばれるQRコードのようなマークをカメラが正確に撮影し続ける必要があります。ARRAIYでは、マシンラーニングの技術を活用し、ある程度マーカーが隠れたり、画面枠から外れた場合も、補間したり予測したりしながらマーカーがあるべき位置を推測し、トラッキングがし続けられるようなアプローチを実現しています。

Behind the Scenes: Chevrolet ‘The Human Race’ from The Mill on Vimeo.

ARRAIY の技術を活用したトラッキング用の車。トラッキング用の車がCGの車に差し替えられます。

これから加速する CG/VFXツールの人工知能的進化

映像制作においてマシンラーニングの手助けを借りれば、下記のようなメリットが享受できます。

• 失敗を避け、だれもが納得するアウトプットを得ることができる
• できるだけ速いスピードで正しいものを作ることができる
• 試行錯誤の回数を増やすことができる
• 自然や人間、動物、植物といった既存のデータに学ぶことができる

CG/VFX業界の中でもマシンラーニングの活用が進みつつありますが、現実にあるものを模倣するだけに使われるわけではありません。例えばCGキャラクタが一般的な顔すぎると、ストーリーの中の登場人物としてはつまらないと言われます。個性派俳優と同じで、クセのある顔の方が記憶に残るし、ストーリーの中で印象的な役目を果たします。

例えば、数万人の整った顔の人のデータを学習させて、欠点の無い整った顔のCGキャラクターが生み出されたからといって、その合成されたキャラクターの顔が魅力的だと言えるでしょうか？

つまりは平均的なデータ、正しく再現できる表現できる、実写に近い映像が作りだせるだけでは、映像制作の現場においてテクノロジーを活用するメリットにはならなくなってきているのです。今後は人間の求める演出、人間が想像する映像にどれだけ近づけることができるかがマシンラーニングを活用した映像制作の勘所になっていくのではないでしょうか。

本連載の今後の予定：「CGへの扉」は、まだ始まったばかりの連載ですが、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進ツール、これからの可能性を感じさせるような話題、テクノロジーなどの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Contributor：安藤幸央