CGへの扉 Vol.33：AIの必然性 #SIGGRAPHAsia2021 レポート

SIGGRAPH ASIA 2021 オンラインと会場、ハイブリッド開催

コンピュータグラフィックスとインタラクティブ技術に関する学会、展示会であるSIGGRAPH ASIA 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。今年のテーマは “LIVE（ライブ）”。このテーマは新型コロナウイルスが蔓延する前につけられたものですが、さまざまな意味で今年を象徴しているテーマになっています。

SIGGRPAH ASIA は毎年7月から8月にかけて北米で開催される学会 SIGGRAPH のアジア版であり、2018年の東京開催に続き、オーストラリアで開催された2019年、新型コロナウイルスの影響により全面的にオンラインで開催した2020年に続き、再び東京国際フォーラムに帰ってきました。

会場で行われたセッションや展示は限定的ながらも、見たり触ったり体験を重視した展示や、会場でしか聞けない最新の話題など、ソーシャルディスタンシングと体温測定の徹底などの厳戒態勢、コロナ対策の上で開催されました。今回のハイブリッド形式の実施形態では発表の内容は、オンラインでも同等のものが配信されますが、会わないと得られないこと、体験しないと実感が得られないことも多く、物理的なイベントと、自由度の高いオンラインのイベントの両方の良いところが感じられる SIGGRAPH ASIA 2021 でした。

それでは本筋はコンピュータグラフィックスの学会である SIGGRAPH ASIA 2021 より、人工知能を活用した製品や研究、展示、発表などをかいつまんでご紹介していきましょう。

プログラミング可能なハードウェア・機械学習済みアルゴリズム搭載のカメラ FORXAI

FORXAI コニカミノルタ：https://forxai.konicaminolta.com/

コニカミノルタ社製の FORXAI（フォーサイ）というカメラデバイスは、カメラ本体にFPGA（Field Programmable Gate Array：書き換え可能な演算ハードウェア）が搭載されており、パソコン等への接続なしで、カメラ単独で利用することが可能です。こういったカメラ側に機能を持たせるエッジコンピューティング用カメラは珍しくありませんが、FORXAIではさらにそのFPGAには機械学習済みのアルゴリズム、さまざまなアルゴリズムを載せ換えることで、単独で映像処理も合わせて可能とする、進化するハードウェアとして利用できます。

現在FORXAIは一般販売が行われておらず、企業パートナーのサービスや研究開発向け、ハッカソン等のイベントでの利用に限定して提供しているそうで、興味のある方は、FORXAIパートナープログラムへの参加をお願いしているとのこと。利用方法としては、行動分析、製品の外観検査、数の計測、姿勢推定によるスポーツでの活用、顔認証、異常検知、予防保全などですでに多方面で活用されています。

監視カメラでのAI活用は、クラウド側に演算処理を任せる場合もあります。一方FORXAIではエッジコンピューティングと呼ばれるカメラ側で大量のデータを低消費電力で処理することによるメリットが考えられています。あらかじめ機械学習モデルを生成しておき、それらをFORXAI上のFPGAで動作する形式に最適化実装し、量産が難しい特殊な用途にも自由に機能を変化させられるAIカメラとしてFORXAIが活用できるのです。

Xilinx や Microchip Technologyといった機械学習を活用したエッジコンピューティングハードウェアを展開する企業も増えてきており、大量のコンピューティングリソースを消費する機械学習も学習済みのアルゴリズムをカメラやモバイルデバイスに搭載して利用する用途が広がってきています。

アートギャラリーでもGANを活用した作品に注目

今年の SIGGRAPH ASIA 2021 アートギャラリーのテーマは “The Future of Ritual and Resonance”,日本語にすると「未来の儀式と共鳴」というタイトルです。これらのテーマに合致したテクノロジーを活用したアート作品、メディアアート作品、VR映像作品、バイオアートなど多岐に渡った招待作品と公募作品のテクノロジーアートが展示されました。

From our deceased bodies flowers will grow, we are in them and that is eternity.

Wade Marynowsky氏による SIGGRAPH ASIA 2021 アートギャラリーの作品は、GAN（敵対的生成ネットワーク）を最大限に活用した映像作品です。タイトルの「From our deceased bodies flowers will grow, we are in them and that is eternity.」の抄訳は「埋葬された私たちの体から花が咲き、花の中に人を見出すことができ、それが永遠を表している」です。作者は地元の花の写真を集め、その花の写真を、あえて顔画像を扱うPortrait AIに入力し、花の写真から顔っぽい部分を探すように促しています。作品の意図としては、人が身の回りの世界に顔を見出すこと、人の顔っぽく見える・見えないといった人が感じる顔に対する閾値を混乱させているとのこと。確かにこの作品を見た直後は、何もかもが「顔」に見えてくるような変な気分になりました。

NHKの番組制作における、ディープフェイクの（正しい）活用事例

2021年4月から放映されたNHKのドラマ「きれいのくに」では、遺伝子操作によりほとんどの人間が同じ顔をした不思議な近未来が描かれています。このドラマの特殊効果を担当したNHKアートでは物語の主軸ともなっている「同じ顔」を表現するためにAIを用いた顔の入れ替え、いわゆるディープフェイクを活用しました。プロデューサー、監督からNHKアートに持ち込まれた相談は「ほとんど同じ顔なの、VFXでどうにかならないか」というものでした。

ちょっとデモを試してみたり、SNS用に嘘の映像を作ったりする分には、十分な精度を持つディープフェイクの技術も、ドラマ用に「顔を差し替えた映像を制作する」という難しくもポジティブな目的で使用する際には、その精度や違和感への挑戦の連続だったとのこと。

顔の差し替えに用いられたのは DeepFaceLab、ただし単に「顔が差し替えられた」と監督や視聴者が求めるレベルと、それをあたかも実在する人物のように「顔が差し替えられた」状態に持っていくことの間には大きな乗り越えなければいけない技術的な壁がありました。例えば、差し替えるための元の映像に顔全体が写っていなかったり、鮮明に写っていなかったり、複雑な照明や強すぎる照明になると思ったような差し替え映像が得られず、違和感のある映像の歪みが生じたりするため、試用や試験を繰り返しました。

機械学習のためのソースは2万枚、ドラマ本編用には60万枚学習した結果が用いられました。ドラマで使える解像度としては、それでも256ピクセル四方から、512ピクセル四方、素直に1フレーム1フレーム画像処理を行うと、高性能なコンピュータを用いても3日間から6.5日間ほどかかり、そこで、ドラマ制作の短い期間でさまざまな状況に合わせるのは難しいと考え、別の方法が考えられました。

顔の差し替えではできるだけ条件の良い元素材に対して、色味が統一された状況で行い、その後、ドラマのシーンにあった色味の調整は、コンポジット作業（合成や色調整の作業）の段階で行う作業フローに変更したことで、やり直しが減ったそう。顔の入れかえが行われたのはドラマ全編で総数 136カット、151の顔、最終的には顔をそっくり入れ替えるというアプローチを止め、差し替える前の俳優でもなく、差し替える素材の俳優でもない、AIによって作られた新たな魅力的なキャラクターが生成できたことで、納得のいくドラマになったそうです。

挑戦的なAI活用での感想としては「AI活用は、効率が良いわけでも手間がかからないわけでもない」とのこと。今後は、倫理的な課題等にも配慮しながら、テクノロジーの応用を進めていきたいというコメントもふくめ、映像制作への挑戦、苦労と達成感を垣間見ることのできたセッションでありました。

セッションは取材も含めて全面的に撮影禁止だったため、映像や画像などの詳細はNHKのWebページをご覧ください。

・よるドラ「きれいのくに」最新AIで微細な表情を再現！VFXチーム制作後記

・５分でわかる？！よるドラ「きれいのくに」

俳優の年齢をも乗り越える。マーベル作品「シャン・チー／テン・リングスの伝説」での機械学習応用

※この後の記事では、直接映画のネタバレはしませんが、ストーリーやメイキングに関係する話題に触れられています。未見の方は了解の上でご覧ください。

初のアジア系マーベルヒーローが活躍する「シャン・チー／テン・リングスの伝説」の中でもさりげなく機械学習が活用されています。シャン・チーの父親役であるトニー・レオンは香港を活動の中心とする俳優で、今年で59歳になります。メイキングを見るとトニー・レオン自身がワイヤーアクションなど、たいそうなアクションシーンをこなしている部分は多いものの、危険なシーンではアクション専門のスタント俳優にダブル（ボディダブル）と呼ばれる代役を任せている箇所もあります。

ひと昔前の代役であれば、同じ衣装と同じ髪型で、よくよく見ると俳優本人ではないことがバレていましたが、本作シャン・チーではデジタルヘッドと呼ばれる方法で、最初から顔を差し替える前提で代役の顔を目印となるマーカー入りで撮影し、機械学習によって、完全に顔を差し替える作業を行なっています。過去の記事「CGへの扉 Vol.10：老齢とは無縁、De-Aging技術の台頭」でも紹介していますが、著名俳優の場合、さまざまな撮影条件で撮られた大量の顔映像が入手しやすいため、機械学習の素材とすることができます。

また本作シャン・チーではデジタルダブルと呼ばれる完全にCGで作られたキャラクターも登場しており、顔の差し替えだけでは違和感が生じる顔の演技を細部までCGで作りこむことで、より俳優本人に近づけることができたそうです。こういった、どこまでが本人でどこまでが代役、どこまでがCGで表現するかといった用途について、俳優または俳優が所属する事務所、俳優協会などの規定によって左右される場合もあります。デジタルダブルの利用を完全に拒否している俳優もいますが、現代の映像作品ではCG無しでの映像制作は考えられなくなっているため、そういった状況も緩和されつつあるようです。

トニー・レオンの顔の差し替えは俳優本人の年齢的なことや、アクションシーンの予定から顔のリプレイスが行われることは映画制作の初期段階から予想されていたとのこと。実際にはどういう課題があるかわからなかったものの、顔のリプレイスメントシーンは思ったより多く、製作中にも多くの素材を用意し機会学習モデルをアップデートしていくことで、最終的にはかなり良い結果になったそうです。

オンラインとオフラインの両方の良さ

SIGGRAPH ASIA 2021 は会場での開催は無事終了しました。残念ながら参加登録はもう締め切られていますが、オンライン配信は 2022年3月まで続きます。また SIGGRAPH ASIA 2021 参加登録者でなくとも、SIGGRAPH ASIA で開催されたコースノートを見ることができます。SIGGRAPH のコースは、ある特定の分野に関して専門家がレクチャーする大学の授業のようなチュートリアル、セミナーです。人工知能関係のものとしては次の2コースが公開されています。

・An Introduction to Deep Learning on Meshes シカゴ大学、トロント大学によるコース

・Differentiable simulation NVIDIA社による摩擦や接触などの現象を機械学習フレームワークで活用するための講座

東京で開催される SIGGRAPH ASIA の場合、参加者は発表者の半分は海外からの参加者です。今回は予定していた多くの海外からの参加者も直前になって急遽参加をキャンセルせざるを得ない状況でした。そういった状況下でもオンラインで議論や発表に参加でき、遠隔地の発表者と会場の参加者との間で質疑応答や交流が持てたのは今の時代ならではの環境かもしれません。これがもし10年前くらい、ツールもネットも整っていない状況であれば、イベントそのものが成立しなかったかもしれません。

会期後にゆっくりじっくり発表を観られるというオンラインの良さも享受できるハイブリッド形式のイベントは、コロナ禍の中、今後も大規模イベントのひとつの形として浸透していくことが予想されます。

次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱（テグ）で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、どのような形態で開催されるのかは未定です。

SIGGRAPH 2022：https://s2022.siggraph.org/

SIGGRAPH ASIA 2022：https://sa2022.siggraph.org/en/

今回の SIGGRAPH ASIA でも、ロケ撮影が難しい中、Google Street View を活用して、世界中の撮影スポットを探し、数百人にも及ぶメンバーがほぼ全員リモートワークで作業分担してハリウッド映画作品を制作するなど、多くの苦労とそれらを乗り越える世界中のクリエイティブな努力を知ることができました。多くの発表者が口にしていたのは「新型コロナウイルスの影響で大変なこともいろいろあったけれど、一緒に映像制作しているメンバーたちとの絆が深まったり、いつもより時間をかけて作業することができたり、平常時ではありえない遠隔のメンバーとコラボレーションしたり、良いこともいろいろあった」とのこと。いつの日か、マスクなしで気軽に海外へ渡航できる世の中が戻ってくるかもしれませんが、今はまだ知恵と工夫で乗り越える時期が続きそうです。ハイブリッド形式の SIGGRAPH ASIA 2021はそのひとつの形を見せてくれた素晴らしいイベントでした。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.32：Adobe Sneaks より進化の方向性を知る

 Vol.31：人工知能が考える「顔」と、人が考える「顔」

Vol.30：SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29：AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28：定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27：眼に追いつけ追い越せ？ カメラは機械学習により進化

Vol.26：アートを加速させるAIの役割 #GTC2021 レポート

Vol.25：変幻自在の顔も実は人工知能

Vol.24：自然現象もすべて人工知能で再現する時代

Vol.23：AIで人の眼に進化するカメラ

Vol.22：言葉から画像を生成、DALL-Eはクリエイティブなのか？

Vol.21：人工知能＋3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央