CGへの扉 Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

人間の想像力の限界とは

2019年2月に公開された、ヘネシー（フランス酒造メーカー）の CM が最近話題になりました。コニャック（ブランデー）で有名なヘネシーX.Oを基軸に場所と時代の異なる7つの世界を描いたもので、ヘネシーというブランドの世界観が映像で描かれている深みと歴史を感じる約4分の映像です。

CM本編の公開と同時に Behind the Scenes（いわゆるメイキング）の動画や監督のインタビュー動画が公開されています。このメイキング映像を見て驚くのは、撮影前の段階、つまりはリドリー・スコット監督が描いた絵コンテ（欧米ではストーリーボードと呼ばれる）の段階で、すべての映像が描かれ、何が登場して背景が何で、何をどう撮影するのか設計し尽くされていることです。

一流のスタッフを集め、映画並みの予算をかけたであろうCM撮影も、その紙に描かれた「絵コンテ」の具現化でしかありません。その具現化を支えるのは、メイキングの撮影現場で次々と判明する最新のCG/VFX技術、人の動きをデータ化するモーションキャプチャ技術、映像合成の技術から、衣装やメイクまで細部にわたります。

「絵コンテ」の段階で想像した映像がどこまでその「絵コンテ」に近づけられるのか、つまりは、監督が頭の中で想像した映像に、限られた予算と時間でどこまで現実の撮影（とCG/VFX）が追いつけるのか？ といったことが勝負になるのです。

リドリー・スコット監督は、映画『エイリアン』（1979年）、映画『ブレードランナー』（1982年）といった凝った映像美で知られる監督です。もともと美術を学び、イギリスのテレビ局でキャリアをスタートし、映画監督デビュー前に数多くのCMに携わりました。現在までにCMの監督としても2,000本近くのCM映像制作に関わっています。

映画業界やCM業界の場合、絵コンテを描くことが専門のデザイナー職を使う場合もありますが、リドリー・スコット監督は自身で絵コンテを描く監督としても知られています。そのアーティスティックなバンドデシネのようなドローイングはマニア垂涎の代物でもあります。ご関心のある方は、画像共有サイト Pinterest で “Ridley Scott storyboard” と検索してみるのをおすすめします。

例えば映画『エイリアン』で監督が描いた絵コンテは、イギリスのファッションブランドポール・スミスの
「Paul Smith ストーリーズ Ridley Scott」の絵柄としても使われているほどアート性の高いドローイングです。

当時インテルのCTOだったJustin Rattner 氏が 2012年の Intel Developer Forum で語った言葉があります。

　“Science and technology have progressed
　to the point where what 　
　we build is only constrained
　by the limits of our own imaginations.”

“科学技術はすでに進歩を達成しており、唯一の制約は、想像力の限界である”

今までは映像の撮影技術や映像機材の限界で実現が不可能だった映像も、CG/VFXを使うことでさまざまなことが実現可能になってきました。それに加え、人工知能をベースとした技術や機械学習によって多くの可能性が広がりつつあります。映像制作の世界においても、唯一の制約は「想像力の限界」であることを
ヘネシーCMの Behind the Scenes を見ることで、まざまざと思い知らされたのではないでしょうか。

CG/VFX + AI のおかげで、今までは無理筋だったこと、人間が膨大な手間と時間をかけなければできなかったことが変わろうとしているのです。ここではそんなテクノロジーをいくつか紹介しましょう。

従来できなかったこと、できるようになったこと

1枚の顔画像からアニメーション作成

Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

論文：https://arxiv.org/abs/1905.08233

2、3枚といった少ない顔画像から顔アニメーションを生成する技術。数枚の顔画像をもとに、人が喋っている動画から眉・目・鼻・口・顎の成分を抽出し、それらの動きに顔画像を当てはめる技術です。同様の研究は多数ありますが、従来型であれば大量の参照データが必要となるところ、本研究では最少1枚の画像からでも限られた時間で顔アニメーションの生成が可能です。

アプローチとして、機械学習の学習方法を事前に学習しておくメタラーニングと呼ばれる方法が取られています。そのため1枚の画像からでも現実的な時間でアニメーションが生成できるそうです。この技術はサムスンのAIセンターとスコルコヴォ科学技術大学の共同研究によるもので、近い将来、1枚のセルフィー（自撮り）から表情豊かな動画が生成されるようになるかもしれません（その一方、フェイク動画への課題も浮上してきています）。

低解像度動画を高解像度に

Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

論文：https://arxiv.org/abs/1811.09393

ソースコード：https://github.com/thunil/TecoGAN

動画映像が動いていることを活用しディテールを補完することで、もともとの動画の解像度を高精細にする技術です。従来から低解像度の画像を高解像度化させるツールは存在しましたが、本研究はフレームごとに動きのある動画を考慮し、欠けていた情報を補完する新しいモデルTecoGAN (TEmporally COherent Generative Adversarial Network) をサンプル実装したものです。

フィルムで撮影された映像素材は、リマスタリングによってある程度高解像度のデジタルコンテンツに変換可能ですが、ハイビジョン解像度でデジタル撮影された素材は、4K、8K コンテンツとしてそのまま流用することが難しいため、アップコンバートの技術が求められています。従来型のアップコンバートは人の手間や調整が膨大に必要であったことから、TecoGANのアプローチは大変期待されています。

広い視野映像に補完

Video Extrapolation using Neighboring Frames
論文：https://vml.kaist.ac.kr/main/international/individual/157

既存の動画から映画やワイドディスプレイ用の視野角の広い動画を生成する手法です。従来であれば、複数台のカメラを用意するか、超高解像度のカメラまたは超広角のレンズを搭載したカメラを用意する必要がありました。または映像の上下を削って低解像度のワイド動画として扱わざるを得ませんでした。本研究では複数視点を移動しながら撮影された映像素材をもとに、撮影されている場所や人物を3D空間上に再構成し、ワイド映像として復元します。SFM（Structure from Motion : 多視点画像からの3次元形状復元) の好例と言えるでしょう。

映像の自動スイッチング

Pixellot
URL：https://www.pixellot.tv/

動きの激しいスポーツ中継は多数の定点カメラ、レールやワイヤーに乗ったカメラや手持ちのカメラなど
複数台のカメラからの入力を切り替えながら、観客の見る映像を制作します。イスラエル発のPixellot は、習熟したスポーツ中継の放送クルーが制作するようなカメラの切り替えを人工知能を活用したテクノロジーで提供するものです。

人間の想像力の進化と、これからの映像制作

CG/VFXでは、現実世界にそっくりな映像を作ろうというよりも、すべて演出された、思い描いた想像どうりに映像を作ろうという傾向にあります。それは未来を描いたSF映画だけではなく、現代を描いた映像でも同じです。CG/VFXでは、衣服についたボタン一個一個の輝き、目の輝きの瞬間まで映像制作者、つまりは監督の配下に置いてしまいたいのです。

従来、人間が絵を描いたり、アニメーションを描いたりするために現実や実写を参考にしてきました。さらにその先に印象派や、シュルレアリスムなど、現実を正確に写し取るだけでなく、頭の中にある映像を具現化する流れもできました。

これからは「人ならでは」「人でないと」という事柄も、次々とテクノロジーで代替でき、再現できてしまうことが多くなっていくことでしょう。

Amazon CEOのジェフ・ベゾス氏は日頃から「10年後に何が変わるのか」よりも「10年後に何が変わらないのか」の方が重要だと述べています。10年後も変わらないもの、変わらず価値を持ち続けていること、10年後も変わらず重要視されている事柄こそが本質であり、そこがテクノロジーやビジネスの根幹となるという考えです。

10年前は音声認識や画像認識が今のように人間とほぼ同等か、または状況によっては人間以上の性能で認識が可能になるとは、SF映画と漫画以外では考えが及ばなかったかもしれません。ところが現在では、音声認識や画像認識はごくごく当たり前に生活に溶け込みはじめています。

そう考えると10年後は人工知能に任せられること、10年後も人工知能に任せられないこと、映像制作で人間の想像性が発揮されるところ、アートや映像制作で人間しかできない表現とは何なのだろうかと考えつつ、テクノロジーを活用していく流れが今後も強まることが必須となるのではないでしょうか。

本連載の今後の予定：「CGへの扉」は、まだ始まったばかりの連載ですが、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進ツール、これからの可能性を感じさせるような話題、テクノロジーなどの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Contributor：安藤幸央