CGへの扉 Vol.10：老齢とは無縁、De-Aging技術の台頭

単なるシワ取りではない、俳優を若返らせる技術

オンライン動画視聴サービス、Netflixより2019年末に鳴り物入りで登場した作品のひとつが大御所マーティン・スコセッシ監督が手がける『アイリッシュマン』（原題 『The Irishman』）です。この作品はNetflix配給のオンライン視聴番組としてだけでなく、単館系の映画館でも上映されるという多極的な展開をしています。小説家チャールズ・ブラントが2004年に発表した「I Heard You Paint Houses」という作品をベースとしており1950年代から1970年代のアメリカを描いた大作ギャング映画です。

『アイリッシュマン』最終予告編（Netflix Japan)

『アイリッシュマン』で話題となったのは、主演の俳優二人、ロバート・デ・ニーロ（1943生まれ、公開当時76歳）とアル・パチーノ（1940生まれ、公開当時79歳）が演じる登場人物の若い頃の演技・映像がごく自然に登場していることです。
※実際の撮影は2017年8月から2018年3月まで

映像の中で各俳優は、一番若い時で24歳の姿、その他にも36歳、41歳、42歳、47歳、55歳の姿で登場しています。もちろん昔の映像を流用したわけでもなく、よく似た代役の若手俳優が演じたわけでもありません。また、すべてCGで作られたバーチャル俳優が演じたわけでもありません。その実態は、老齢の俳優の演技をそのまま生かしたCG/VFXによる特殊効果で表現されているのです。

『アイリッシュマン』の特殊効果は映画『スターウォーズ』のCG/VFXでも知られるILM(Industrial Light & Magic) 社が中心となり数社のCGプロダクションが担当しました。ILMの中でも古株にあたるVFXスーパーバイザー、『インデペンデンス・デイ』（1996年）『ザ・マミー/呪われた砂漠の王女』（2017年）など数多くの作品のVFXを担当したPablo Helman氏が『アイリッシュマン』のVFXチームを率いました。

ILM の『アイリッシュマン』紹介ページ
https://www.ilm.com/vfx/the-irishman/

一般的に若返り映像というと、シワ取りやシミの除去、美白効果や、たるんだ顔の輪郭の補正など、プリクラのような補正が思い浮かびます。けれどもILMでは単なるシワ取りや肌をなめらかにするだけではないアプローチに取り組みました。ILMのR&Dチームは、過去の実写映像を機械学習し、俳優が若返った顔を生み出す、FLUX(Face Lux)と呼ばれるツールを2年がかかりで開発しました。

その成果が監督や俳優たちの厳しい目にも受け入れられ、高評価され映像製作に使われたのです。この若返り映像が現代のテクノロジーで実現できたのは、主演の二人の俳優が若い頃から俳優として活躍し、多くの映画、多くの映像データが現存していることにもあります。

『アイリッシュマン』VFXのメイキング (Netflix公式)

『アイリッシュマン』で使われた De-Aging 技術とは

De-Agingツールの着想が始まったのは2016年に公開されたマーティン・スコセッシ監督の映画『沈黙 – サイレンス』（原題：『Silence』）をPablo Helman氏が担当していた2015年ころに遡ります。そこでのスコセッシ監督のリクエストは「俳優からテクノロジーを遠ざけること」でした。VFXによる顔の再現、特殊効果、合成というと、現在の最先端技術を使ったとしても本物の人間に近づけるのは困難な表現のひとつです。

実際のところ顔に特殊なマーカーで点々を描いたり、顔を撮影するための特殊なカメラを頭にかぶったり、一面ブルーやグリーンの背景といった、俳優の演技を阻害する特殊な撮影環境でCG/VFX用のデータ収録をするのが一般的です。2015年の当時、スコセッシ監督の要望をかなえる技術がまだなかったため、『アイリッシュマン』の映画企画は実現せず、後回しになっていたのです。

De-Agingの構想を実現するために、まずは実験が行われました。特殊なマーカーなしで顔の正確なデータを取得するために通常は1台のカメラで済むところ、3台のカメラが使われました。同期された3台のカメラによって、三角測量の要領で正確な三次元データを取得したのです。つまりは3箇所から同時撮影するのであれば 3×3＝9台のカメラが必要になるのです。映画映像撮影用のRED社のカメラの左右に顔のジオメトリ（形状）を取得するためのカメラが設置され「Three Headed Monster（三頭の怪物）」と呼ばれる仰々しい機材が使われました。

‘The Irishman’ and the ‘three-headed monster’（Associated Pressより）

テスト時には3台ともRGBカメラでしたが、実運用時はそのうち左右の2台は照明の影響を受けにくい赤外線カメラと、さらにLidarという自動車の自動運転などに使われる三次元の距離が測れる特殊なカメラが用いられました。パフォーマンスキャプチャーの基礎技術としては、CGへの扉Vol.4でも紹介したDisney Research Zurich Medusa、CGへの扉 Vol.9 で紹介した LightStageが使われました。

数週間かけて数秒の試作映像が作られました。その際、76歳のデ・ニーロを40代に見せるためデ・ニーロが出演している1990年の映画『グッドフェローズ』が素材として活用されました。この試作で判明したのは、監督が求めているのは単なる数十年前のデ・ニーロの顔ではなく、『アイリッシュマン』に出てくる登場人物の数十年前の姿であったことです。実際の人物は常に肌が綺麗な状態の美しく若々しい顔をしているわけではないことが表現としては難しいところですが、老齢の俳優たちからは「これであと30年は現役の俳優でいられる」と喜ばれたそうです。

そういった状況をふまえILM の associate VFX supervisor である Leandro Estebecorena 氏は俳優が30〜55歳の頃の映像を集め、その中から特徴的な数千ショット（場面）の映像をデータベース化しました。年齢の様子が顕著に現れる目の周り（眉、しわ、まぶた）泣き顔、汗をかいている時の顔、鼻、口など顔のクローズアップなどです。

それによって一般的な顔ではなく、その俳優ならではの癖や表情を元に、実写撮影した老齢の俳優のショットと似たような映像をその俳優が若かったころのデータベースから探し、機械学習をして映像を差し替えるための元データとして活用したのです。このツールは「AI Face Finder」と呼ばれました。また、顔以外にも、首元（襟元）や、手なども年齢が顕著に現れる部位であり、そこにもVFXが活用されました。

全編209分の映画『アイリッシュマン』の中でこの De-Aging の効果が使われたのは 1,750ショット。未来を描いたSF映画など、CG/VFX効果を売りにした映画ではない作品としては特殊効果が使われている量が非常に多い作品になっています。そして作品を観ている人にとっては、CG/VFXで作られた映像なのかどうかはあまり関係なく、俳優の迫真の演技が実感をもって楽しめることが最重要の要素です。長い間CG/VFX技術が理想に追いつかず映像化できていなかった作品がついに実現し、マーティン・スコセッシ監督や出演俳優も大満足の出来となったようです。

Netflix本流ビジネスのAI活用と、Netflix ResearchのAI研究

先に紹介したのは、Netflixの配給作品におけるVFXとAIの活用事例でした。

あまり表には出てきませんが、Netflixでは視聴者におすすめの作品を推薦するレコメンデーション機能、パーソナライゼーション機能に機械学習のテクノロジーが活用されています。レコメンデーションはNetflix視聴者からのさまざまな視聴データを元にしています。

解析要素としては、どの映像コンテンツを最後まで観たのか、または最後まで観なかったのか？ 長編または、シリーズ連続ものであれば、どのくらいのペースで観たのか。TVまたはスマートフォン、タブレット、パソコンなど、どのデバイスで観たのか？ 昼間と夕方、夜、休日、１日のどの時間帯に観たのか？ などの情報です。

一方、Netflixで利用されていないデータとしては、性別、年齢、国（地域）の情報があります。これは、人の好みはそれぞれであり、一概に性別や年齢、住んでいる場所で好き嫌いをカテゴライズできないとNetflixでは考えられているからです。またコンテンツ側のデータとしては、監督、俳優、脚本、ストーリーの複雑度、シーン数、ロケ地、映像の動きの激しさなどが利用されています。

蓄積されたデータはNetflixのオリジナル番組製作時の俳優や監督の選定の情報として活用されます。例えばホラー映画好きの視聴者であれば、どんな俳優、どんな監督、どんなストーリー展開、どんな舞台（場所）を好むのかといった調査に基づいた映像作品の企画が検討されます。さらに、どんな場面にどれくらいの予算をかけるのが適切か、番組一覧で紹介するために、動画からどの静止画サムネイルを切り取るのが適切かといった細々した情報までデータで扱われ、機械学習が活用されています。

説得力のあるデータ分析が進むことで万人が視聴する一般受けする映像だけでなく、特定のジャンル、特定の視聴者が熱狂的に受け入れるといったニッチな番組作りもデータをもとに積極的に展開することができるのだと考えられます。Netflixでは、これらの機械学習プラットフォームを組織横断的に活用できることを考えておりマーケティングや、コンテンツ開拓、広告や、番組の買い付けなど、さまざまな分野への活用を単なる知識と経験だけではない、データに基づく判断ができるよう推し進められています。

・Netflix 研究所による数々の研究テーマ：https://research.netflix.com/articles

・Netflix Research: Machine Learning：https://www.youtube.com/watch?v=X9ZES-fsxgU

・Netflix Research: Machine Learning Platform：https://www.youtube.com/watch?v=sj7F-38uV-4

AIはあくまで目的をかなえるためのテクノロジー

『アイリッシュマン』は当初米国大手の映画配給会社が手がけていましたが、製作費が膨れ上がりすぎて配給権を手放したところを Netflix が出資し製作が続行された曰く付きの作品です。

今回Netflixの映像作品におけるAI活用のアプローチ、戦略を知るにつれて、みなさんもあることに気づいたのではないでしょうか？ それは「AI」が前面に出ているわけではなく、あくまで思い描いた目的を達成するための現時点で最良と思われる「手段」として「AI」が活用されていることです。「AIで」「AIが」とAIが主語になるわけではなく、真の意味でAIを活用しているところは、別に「AIが….」と強調してはいません。将来、もっと良い技術、テクノロジーが利用できるようになれば、それらを活用して新しいことを推し進めるのではないかと考えられます。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8：一流オークションハウスも注目するアートとAIの関係性

Vol.9：現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Contributor：安藤幸央