CGへの扉 Vol.34：注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

SIGGRAPH Asia 2021はオンラインと会場、ハイブリッド開催

コンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であるSIGGRAPH Asia 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。先月の記事に引き続き、CG/VFX技術で重要な位置を占めている機械学習、人工知能の応用研究をいくつか紹介します。

SIGGRAPH の本分は論文

SIGGRAPH/SIGGRAPH Asiaでは、アートギャラリー、最新技術、ハリウッド映画のメイキングと派手な部分に注目が集まりがちですが、本分は学会でありトップカンファレンスと呼ばれる採択されるのが難しい世界最高峰のCG分野の学会のひとつでもあります。今年の SIGGRAPH Asia 2021 では厳選された 94本の論文が発表されました。

今回はハイブリッド開催ということで、参加者は事前にオンラインで詳しい論文発表の収録動画を視聴しておき、会場とリアルタイム配信ではQ&Aやディスカッションを中心にタイムテーブルが組まれました。さらに論文発表後に各分野の第一線で活躍する研究者による論文解説が行われました。会場とオンラインをうまく組み合わせた形式の論文発表は、参加者の論文に関する理解が深まるとともに、業界動向や、論文の新規性、今後の可能性などを詳しく知ることができ、参加者にも大変好評な形式で発表がなされました。

◆Rendering with Style：Combining Traditional and Neural Approaches for High-Quality Face Rendering

論文：https://studios.disneyresearch.com/app/uploads/2021/11/RenderingWithStyle.pdf
動画：https://www.youtube.com/watch?v=TwpLqTmvqVk

「Rendering with Style：Combining Traditional and Neural Approaches for High-Quality Face Rendering（伝統的な手法と、ニューラルネットワークを活用した高品質な顔CGの描画表現）」は、ディズニーリサーチによる高品質な顔CG作成の手法です。撮影した顔のデータから、アーティストの手を煩わせることなく自動的に顔CGを作成することができます。

まず従来手法の顔CG制作で、肌の外観、表情、視点、照明などを思い通りに表現します。次に、これらの肌の描画結果を、任意のフォトリアルな顔画像を生成できる、事前に学習されたニューラルネットワーク（StyleGAN2）で扱います。その結果、3Dキャラクターの個性と外観の表現を一致させつつ、合成された髪の毛、目、口の中を生成することができ、周囲の環境に合わせた一連のリアルな顔画像が得られます。この手法を用いると、フルCGアニメーションのディズニーのキャラクタの雰囲気そのままの実在しない人間の俳優の顔として表現が可能となるのです。

◆Neural Frame Interpolation for Rendered Content

論文：https://studios.disneyresearch.com/app/uploads/2021/10/Neural-Frame-Interpolation-for-Rendered-Content.pdf

「Neural Frame Interpolation for Rendered Content（描画されたコンテンツのためのニューラルフレーム補間）」はディズニーリサーチによるアニメーションのフレーム補完に関する研究で、より良い動きを推定し、物や床、壁との衝突を考慮した上で、非線形の動きを適切に再構築するための解決策を提案するものです。従来、動画として成立するために1秒間に24コマ、30コマ、60コマといったCG映像を生み出すために膨大な計算資源を消費します。ところが実際のところ、ある1フレーム（コマ）の次のフレームは少し異なり、動きや変化はありますが、その差はわずかです。

その点に着目し、少ないコマ数を生成した後にその間のコマを補完で求めることで計算コストを低減させる手法です。こういった考えは古くからありましたが、実際はそううまく補完されません。本研究ではCG映像計算の中間生成物である深さ、法線、反射といった補助データを用い、場面ごとに適切なニューラルネットワークを構築することで、精度の高い実用に耐えうるフレーム間補完が実現しました。

◆Foids: Bio-Inspired Fish Simulation for Generating Synthetic Datasets

論文：https://masakinakada.com/pdfs/foids21.pdf

魚の養殖や漁業において、魚の数を数える作業は非常に面倒なもので、一度魚を水から引き上げ、秤で重量を計測しています。これは漁業に従事する人にとって面倒なだけではなく、魚にとってもストレスや死因になりうる無理を強いる作業です。「Foids：Bio-Inspired Fish Simulation for Generating Synthetic Datasets（合成データセットを生成するための生物を参考にした魚のシミュレーション）」の研究は、魚の大きさや動きに応じて数え方を変えるコンピュータビジョンを用いた新しい手法を提案するものです。これによって、養魚場の給餌を最適化したり、長期的な養魚の計画が可能になり、産業的に革新的な課題解決の方法です。

一般的なコンピュータビジョンの解析手法では、高解像度の画像データをもとに解析することがほとんどですが、本研究では、魚の形状や魚の動きを3D空間上でシミュレーションし、その計算上の動きや魚の数と、実際の漁場の映像とを機械学習を繰り返し差分を埋めていきます。そうすることでシミュレーション上の魚の数から実際の魚の数を正確に把握できるようになる斬新な切り口の手法です。物体を検出する機械学習モデルには YOLO-v4が用いられています。

◆Neural Radiosity

論文：https://arxiv.org/pdf/2105.12319v2.pdf
動画：http://www.cs.umd.edu/~saeedhd/files/Neural_Radiosity/Neural_Radiosity_Sup_Video.mov (ダウンロードサイズ、約400MB)

3DCGの画像生成方法のひとつとして大域照明（ラジオシティ法）が建築CGなどで広く利用されています。この手法は空間内の光の挙動を物理法則に従って正確に計算することで写実的な画像を生み出すもので、膨大な計算資源が必要となります。また計算回数を増やせば増やすほどノイズの少ない高精細な画像が生成できるため、質的に満足のいく画像になるまで、またトライ＆エラーの繰り返しで計算資源がいくらあっても足りなくなる傾向にあります。発表された研究「Neural Radiosity」は、ニューラルネットワークを活用した大域照明描画（ラジオシティ法）であり、すべての計算を高精度で厳密に行うのではなく素早く近似値にたどり着く方法を編み出しています。物理法則に則った描画にはMitsuba2が用いられています。

◆Layered Neural Atlases for Consistent Video Editing

論文：https://arxiv.org/pdf/2109.11418.pdf
ソースコード：https://github.com/ykasten/layered-neural-atlases

「Layered Neural Atlases for Consistent Video Editing（ビデオ編集のためのニューラルネットワークを活用した映像分割）」はアドビリサーチとワイツマン科学研究所による研究です。近い将来Adobeのツールに搭載されることが期待される技術です。カメラや視点が動いている動画から、そこに写っている背景と映像として注目している物体とを分離して抽出することで、背景映像を手軽に差し替えることのできる技術です。

ZoomやGoogle Meetなどのビデオ会議ツールでは、くり抜き合成のためのグリーンバック背景が無くともカメラ映像だけで人物と背景とを分離させてバーチャル背景に差し替えることができます。そういったテレビ会議と同じような手軽さで、動画の背景を差し替えることのできる手法です。

一般的な実写動画の場合ビデオ会議に比べ、カメラの向きや、動きなども変化するため、そう簡単にはいかないことは容易に予想できます。本研究では動画に写っている背景から特徴点検出と映像の類似性から本来どういう背景なのかを広範囲で予想します。その予想された背景と映像との差分から映像中の動きを持った物体や人物を抽出することができています。まだまだ境界部分の処理が甘い感じがしますが、処理時間と品質とのバランスをうまくとれば実用も間近だと考えられます。背景映像の変化を捉えるためにオプティカルフローの最近の実装であるRAFT が使われています。

◆TreePartNet：Neural Decomposition of Point Clouds for 3D Tree Reconstruction

論文：https://vcc.tech/file/upload_file//image/research/att202109301259/TreePartNet.pdf
ソースコード：https://github.com/marktube/TreePartNet

「TreePartNet：Neural Decomposition of Point Clouds for 3D Tree Reconstruction（点群のニューラル分解による3次元木構造の復元）」実在の樹木を写した写真から点群データを抽出し、ニューラルネットワークを活用して樹木の3Dデータを再構築する手法です。樹木は基本的には円筒状の形状をした枝の集合であることに加え、外れ値やノイズ、不完全性などの要素を加えて樹木データを再構築します。出来上がったデータは、元の樹木と100%等価ではありませんが、街灯樹のCGや、植栽のCGに使うには十分な品質のデータが得られます。

この手法の評価は、元となった実際の樹木との差分を評価すれば良いため、学習データを増やすことでさらに再構築の精度を上げたり、特定の品種の樹木に特化したツールも実現可能でしょう。点群データを扱うためにPointnet2_PyTorchが活用されています。また他にも同様に樹木データを再構築する研究 “Learning to Reconstruct Botanical Trees from Single Images” では、枝と葉を別々に扱うことで、より正確な樹木を再現しようとしています。

◆Dynamic Neural Garments

論文：https://arxiv.org/pdf/2102.11811.pdf
ソースコード：https://github.com/MengZephyr/DynamicNeuralGarments

ロンドン大学、アドビリサーチによる研究です。VR空間でアバターと呼ばれる仮想キャラクタを用いることが増え、アバターにリアルな衣装を作成するニーズが高まっています。人の動きに合わせたCG衣装のシワやヒダ、布の動き、衣服のシルエットを整えたり、リアルな布の質感といった表現は可能ですが、従来は後処理で時間をかけて行っていました。本研究では人の動きから関節を推定することで、リアルタイムで衣服の外観をシミュレーションする仕組みです。実写映像からの骨格抽出はOpenCVとEmbreeが用いられています。

◆HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

論文：https://arxiv.org/pdf/2106.13228.pdf
ソースコード：https://github.com/google/hypernerf

「HyperNeRF(Hyper Neural Radiance Fields) ：A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields（映像から形状をモデル化することによりトポロジーの変化にも対応した3Dデータの再構成を実現する手法）」は、カメラ視点に動きのある動画から、三次元形状を再構築する手法です。他の同様のアプローチと比べ、ニューラルネットワークの活用で、エラーや見た目が変な形状になること、実際の形状とは異なる3Dデータが再構築されてしまう事例が圧倒的に減るという画期的な手法です。また、サンプルで示されているように顔の表情が変化したり、口を開け閉めしたり、手を組んだりといったトポロジーが変化する形状にも適切に追従します。

従来型の手法であれば顎が欠けたり、口を開けているのに閉じた3Dデータになってしまいますが、HyperNeRFではそれらの要件も解決しています。手法として3次元形状をそのまま3次元で扱おうとせず、トポロジーの変化も含めた高次元のモデルで俯瞰して扱い、最終的に3次元データに戻すことでトポロジーの変化に強い精度が得られたとのことです。

◆SuperTrack – Motion Tracking for Physically Simulated Characters using Supervised Learning

論文：https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2021/11/24183638/SuperTrack.pdf

「SuperTrack」はカナダのUbisoftによる研究論文発表です。ゲーム中で扱われるリアルなキャラクタの動きを表現し、ゲームに深みを与えるための研究です。従来手法に比べ、学習データの量によらず短い学習時間で高品質な動きが得られるそうです。本手法のポイントは、人間の骨格には可動域や折れ曲がる方向など制限があるためragdoll（ラグドール）と呼ばれる単純化された骨格をモデルをゲーム中の衝突、転倒、物が当たるといった動作の判別に用いています。

ragdollを用いて、十分な規模の機械学習を実施すると、現在のポーズから次の動き、次のポーズを予測することができます。その際、個々のキャラクターをモデル単体としてではなく、空間全体にある構造物として扱うことでより正確にキャラクターの状態を推測できる方式が提案されている点です。本研究の成果はゲームエンジン等でキャラクターの動きを、違和感のない、よりリアルで平易に操作できるインタフェースの実現に貢献するでしょう。

以上、SIGGRAPH Asia 2021 から機械学習、ニューラルネットワークなど人工知能系の技術を活用したCG論文をいくつか紹介しました。ここで紹介しきれなかった論文で、GAN(敵対的生成ネットワーク)を活用した研究も注目されていました。

1. Barbershop: GAN-based Image Compositing using Segmentation Masks
2. Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
3. FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

その他の論文にもみなさんの研究やビジネスのヒントになる最新論文があるかもしれません。人工知能の分野は学術的にもビジネス的にも熾烈な競争が行われている中、CG/VFXの分野にヒントや応用例を見出すことができるかもしれません。

SIGGRAPH Asia 2021 papers on the web (Ke-Sen Huang氏による非公式のSIGGRAPH Asia 2021全論文リンク集）

CG/VFXはどこまで進化する？

CG/VFX技術の進化は、ディープラーニングやニューラルネットワーク、GAN(敵対的生成ネットワーク)などの活用で
さらに進展・進化しつつあります。従来であれば膨大なコンピューティングパワーや精度の面で、実用化が難しかった手法も、ディープラーニングによって素早く最適解を導き出せるようになってきています。

CG/VFXの表現や、研究のモチベーション、用途としては、大きく分けると次の3つに集約すると考えています。

• 現実を模倣する。人や生き物、自然や建築物など、リアルに表現すること
• 実社会では見たこともない映像を作る、あり得ない映像を表現する
• 物理的、構造的、流体的に正しい表現を行うことで、さまざまな産業に役立てる

今回の SIGGRAPH Asia 2021 でとても注目し、体験もさせていただいた展示にサイバーエージェントの「デジタルツインレーベル」があります。これは「現実を模倣する」に当てはまる分野であると言えます。「デジタルツインレーベル」は著名人の高精細な3DCGモデルをデジタルの代役として制作し、広告やCGキャラクタとしての展開に利用するというプロジェクトです。SIGGRAPH Asia 2021 では「デジタルツインレーベル」の施策の一つである出張型3DCGスキャンカー ”THE AVATAR TRUCK” が展示会場に乗り入れ、トラック1台に全ての機材を搭載し、日本中このトラックが行けるところであればどこへでも撮影に行ける機材一式でサンプルデータの取得をデモンストレーションしていました。

DigitalTwinLabel – Ai Tominaga /Cyberagent
動画：https://www.youtube.com/watch?v=khcC8naQpk0
プレスリリース：https://www.cyberagent.co.jp/news/detail/id=26503

幸運にも私もスキャンをお願いすることができました。髪型のリファレンスの撮影、さまざまな照明での顔の質感撮影、しかめっ面や、笑い顔、怒り顔など、いくつかの表情を、約10分ほどで大変スムーズに撮影することができました。スキャントラックには1台レンズ込みで40万円ほどのソニー α7R IIIが55台、ESPER LightCage というフォトスキャン専用のドーム型LEDストロボが搭載されています。

ここで自分の顔の3Dデータが収録できたからといって、すぐに自分の代わりに何かしてくれるとか、代役としてCMに出るといったことはありません。けれども今後エンターテインメント分野以外にもビジネス用途や学習用途でVR空間でのコミュニケーションが広がりつつある現在、今後自分の3Dスキャンはポートレート写真撮影のように一般的になっていくかもしれません。

次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダのバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱（テグ）で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、2022年初めの時点では、どのような形態で開催されるのかは未定です。

SIGGRAPH 2022：https://s2022.siggraph.org/
SIGGRAPH ASIA 2022：https://sa2022.siggraph.org/en/

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.33：AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32：Adobe Sneaks より進化の方向性を知る

 Vol.31：人工知能が考える「顔」と、人が考える「顔」

Vol.30：SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29：AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28：定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27：眼に追いつけ追い越せ？ カメラは機械学習により進化

Vol.26：アートを加速させるAIの役割 #GTC2021 レポート

Vol.25：変幻自在の顔も実は人工知能

Vol.24：自然現象もすべて人工知能で再現する時代

Vol.23：AIで人の眼に進化するカメラ

Vol.22：言葉から画像を生成、DALL-Eはクリエイティブなのか？

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央