CGへの扉 Vol.18：SIGGRAPH2020レポート映像制作の現場で活躍する人工知能

2020.9.29アート

毎年7月から8月にかけて北米で開催されていたコンピュータグラフィックスに関する学会・展示会であるSIGGRAPHが、2020年は新型コロナウイルス蔓延の影響によりバーチャル（オンライン）で開催されました。ライブ配信によるセッションは2020年8月24日から28日の5日間、アーカイブ配信によるセッションは2020年10月27日まで続きます。今回はそれらアーカイブ配信されているセッションから「AI Powered Rotoscoping at LAIKA（LAIKAにおけるAIを活用したロトスコープ）」を紹介します。

SIGGRAPH 2020 Talks : 映像制作の現場における人工知能の活躍

LAIKA Studio 制作『KUBO/クボ二本の弦の秘密』登場キャラクターの3Dプリントモデル（2016年著者撮影）

【発表の要約】Rotomation: AI Powered Rotoscoping at LAIKA

このセッションで紹介されているのは「人工知能で将来こういうことができるようになります」といった研究や、試作段階のツールのプレビューなどではなく、実際に映像制作の現場で取り組んだ事例です。

映像制作現場での利用は、スピードやコスト、安定性やクオリティなど、さまざまな要素をクリアしなければいけません。どんな品質になるかわからない未知のツールに依存するよりも、手間はかかるが確実に終わることがわかっている愚直な手段を選ぶのも現場の摂理です。どんなに優れた人工知能を活用したツールも、理想的なデータを扱っていただけでは、現場の役には立てません。また良い結果を出力するとしても、その結果が気まぐれであれば、現場をそのツールに任せるわけにはいきません。

LAIKA は米国オレゴン州ポートランドにあるストップモーション専門のアーニメーションスタジオです。2007年の映画『コララインとボタンの魔女』では一世を風靡し、2016年の映画『KUBO/クボ二本の弦の秘密』は少し遅れて日本の映画館やTV地上波でも上映されました。

LAIKAの映像制作がCG/VFX業界でも注目を浴びる理由のひとつが、その映像制作の手順にあります。ストップモーションアニメーションはいわゆるコマ撮りアニメーションのことです。一般的にはパペットと呼ばれる金属の骨組みが入った粘土細工の人形を少しづつ動かしながらひとコマひとコマ撮影していくことで、なめらかに動いているように見える映像を制作するのです。映画作品用のコマ撮りは1秒間に24コマ、時には数分のストップモーションアニメーションを撮影するのに担当者がつきっきりで数か月かかるといった大変手間のかかる撮影方法です。

LAIKAはそのストップモーション制作に早くから3Dプリンタ技術を導入しました。まずはコンピュータ上で作成された3DCGキャラクターをカラー印刷可能な3Dプリンターで出力します。口の動き目の動きなどは、部品が替えられる独自の機構を持った人形を用い、膨大な部品を差し替えつつストップモーションアニメーションを撮影するのです。最近は発色の良い3Dプリンターで作業が省略化されていますが、数年前までは単色で出力された3Dモデルに手作業で彩色していました。

We Are Laika from Grow Film Company on Vimeo.

この顔の一部を差し替えて撮影する手法をLAIKAでは「リプレイスメントアニメーション」と呼んでいます。1作品1キャラクターで数千個の顔が3Dプリントされ、そのほとんどが再利用なしで使われます。この誰が考えても大変だと思われる制作工程の大きな課題は、顔の部品を組み合わせた際に生じる継ぎ目です。LAIKAでは近年の作品まではこれをコンピュータ上のペイントツールを用い、手作業で繋ぎ目を消していました。

新たな挑戦として、LAIKAの最新作『Missing Link』ではCPUメーカーIntelの協力を得て、機械学習を活用した「Rotomation」と呼ばれる独自ツールが制作現場で試されました。ちなみに『Missing Link』では全キャラクター、顔だけで106000個の3Dプリント部品が用いられ、1個も再利用していないそうです。

メイキング：Behind the Scenes: Laika’s Missing Link
撮影セットの360度動画：Missing Link | A 360° On-Set Experience with Production Designer – Nelson Lowry

手作業をいかに高精度に再現するか？人と機械学習との戦い

LAIKAとIntelの取り組みを今回のセッションで紹介したのは、LAIKAの技術監督 Jeff Stringer氏、長年LAIKAの技術面、デジタルツール群をサポートしている人物です。

3Dプリントで組み合わされた登場キャラクターの人形の顔の継ぎ目は、主に目の横の部分に生じることが多く、通常の人間にはそのような溝やシワはありませんし、キャラクターの顔は視聴者の注目を集めるため、そのまま放置しておくととても違和感があります。

LAIKAでは1本の作品につき常時20人ほどが、この継ぎ目を消すペイント作業に時間を費やしています。3Dプリンタの精度や人形制作の細かさが増すにつれ、また顔の表情が豊かに変化すればするほど、この繋ぎ目を消す手作業が増えてしまいます。上映時間93分の『Missing Link』では1秒間に24フレーム、全部で約13万6800フレームの画像が扱われました。この映像素材の画像の中にある3Dプリントキャラクターの繋ぎ目を消す作業ペースは、一人が1日仕事をしてようやく50枚くらいです。

今回の取り組みで功を奏したのは、機械学習が得意な「処理前の画像」と「処理後の正解」を大量に用意することができたことです。つまり「繋ぎ目が目立つ状態の人形の画像」と「人がペイントツールを用いて手作業で消した繋ぎ目の無い状態の画像」の組み合わせが用意できるのです。「Rotomation」では1枚の繋ぎ目に有り画像につき、正解として数枚の繋ぎ目無し画像が学習用データとして用意されました。

IntelとLAIKAは、まず「Missing Link」の素材から50ショットの事例をテストしたところ、35ショットはそのまま使えるクオリティ、その他は軽微な作業で使えるクオリティが得られ、1ショットのみ全然使い物にならず、最初から手作業が必要になるクオリテイだったそう。そのプロダクションレベルでは使えないレベルの1枚も、人間が修正を施し、機械学習の元データとして再学習させるとさらに精度が上がることが分かりました。

塗りつぶすべき形状を各フレームの移動で追尾する。顔の位置や形状が少しずつしか変化しないことで正確に追従できる。（※Intel Software の YouTubeチャンネルより引用）

こちらはIntelによる LAIKAのツール「Rotomation」の紹介動画です。

Rotomationで使われたのは機械学習環境としては、ごくごく一般的なTensorFlow（Intel CPUに最適化されたもの）、機械学習ライブラリPyTorch、ノイズ除去のために Intel Open Image Denoiseが利用されました。またペイント＆コンポジットツールとしてはLAIKAがもともと利用していたNukeに組み込む形で試されました。

LAIKAとIntelの取り組みのポイントとは？

LAIKAとIntelの取り組み「Rotomation」は、実験的な試みで、手作業による繋ぎ目の除去がすべてなくなったわけではありません。現状の「Rotomation」では100%自動で繋ぎ目の除去ができるわけではありません。それでも全体の作業の50%ほどの手作業を「Rotomation」に補助してもらえることがわかり、また人の作業の前段階の準備や、作業をより素早くこなすための補助が考えられており、それだけでも現場では大きな進歩です。

現在は「Rotomation」を制作工程の中で自動的に動作するようワークフローツールの中に組み込まれている最中です。また顔以外の繋ぎ目の線も消せるよう、さまざまなデータセットで調整を続けているとのこと。

このLAIKAの事例は、誰でも手に入るツールやライブラリの組み合わせで成り立っているという点で最先端の研究や最新の人工知能系のツールとは、また少し違います。人工知能研究が多岐にわたって広がる現在、「Rotomation」技術的にはそれほど目新しいテクノロジーやアルゴリズムが使われているわけではなく、今確実に使える技術が応用されています。

人工知能研究の観点からするとごく普通の事柄も、映像制作のクリエイティブな世界においては、人間にしかできない単純作業だと思われていた事柄を高精度で人工知能に代替させるツールとなります。それにより、人間がクリエイティブに使える時間や能力が圧倒的に増えてきたのです。

人工知能が人間の仕事を奪うというネガティブな意見もありますが、映像制作の現場においてまだまだ人間にしかできない事柄は数多くあり、それらをツールで代替することでより人間の時間と可能性を押し広げることができると考えられます。人工知能を活用したツールを利用した映像制作は「手作りの良さを排除するもの」という極端な意見もあるようですが、LAIKAでは素晴らしい映像とストーリーこそがすべてで、どのようなツールを使っているかは重要なことでは無いと述べています。

LAIKAではこれからもさまざまなデジタルツールを活用し、制作の細かい作業に費やす時間を減らし、より重要な作業、表現に時間を割いていきたいそうです。映像制作には客観的な部分と主観的な部分があります。繋ぎ目があるかないかといった事柄は誰が見てもわかる客観的な部分であり、それらはデジタルツールをどんどん活用していくことで解決できます。主観的な部分、素晴らしい映像なのか刺激的な映像なのかといった部分に人間は焦点を当てるのです。

LAIKAの人工知能活用ツールの現場導入への挑戦はひとつの事例でしかありません。現場に眠る良質で生々しいデータをもとに機械学習のアプローチで出来る事柄は、世の中にまだまだ数多く潜んでいるのではないでしょうか？

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8：一流オークションハウスも注目するアートとAIの関係性

Vol.9：現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10：老齢とは無縁、De-Aging技術の台頭

Vol.11：動き、ダンスに新しい要素を加えるAIの役目