CGへの扉 Vol.21：人工知能＋3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

SIGGRAPH ASIA 2020は、すべてオンラインで開催

SIGGRAPHはコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であり、毎年7月から8月にかけて北米で開催されています。今年は新型コロナウイルスの影響でオンライン開催されました。それにひき続き、毎年冬季に開催されるアジア版SIGGRAPHであるSIGGRAPH ASIA 2020も今年はすべてオンラインで開催されました。毎年アジアの各地で持ち回りで開催されていたSIGGRAPH ASIA、今年は、韓国の大邱（テグ）にて11月に開催予定でした。

・SIGGRAPH ASIA 2020 開催概要

・CGへの扉 Vol.9：現実の課題を解決するCGとAIの相互作用（昨年の SIGGRAPH ASIA 2019 紹介記事）

録画済みのセッションは2020年12月4日よりオンライン視聴開始、参加気分が盛り上がりつつあるなか、12月10日（木）〜13日（日）の4日間ライブセッションが配信されます。韓国は日本との時差がないためSIGGRPAH 2020とは異なり、夜中に起きてきて眠い目をこすりながらライブ配信を観るといった苦労もありません。録画済みセッションは終了後3か月間オンラインで視聴可能とのことです。

いち早く、誰でも登録なしかつ無料で見られるコンテンツとして、Facebook Liveで公開された Papers Fast Forward があります。これは今年の全論文の紹介を1本あたり数十秒という短い時間で観るダイジェストで、今年の傾向やCG研究の流行りを把握することができます。

・SIGGRAPH Asia 2020 – Technical Papers Fast Forward（約90分）

90分も観ていられない！という方には、主要論文をさらに短く紹介した予告編がオススメです。

・SIGGRAPH Asia 2020 – Technical Papers Trailer（約4分）

全論文のリンク集は、公式のものもありますが、有志がまとめたものが大変充実しており無料で見られます。

・https://kesen.realtimerendering.com/siga2020Papers.htm

本記事では、SIGGRAPH ASIA 2020 の論文発表より、人工知能によってCG研究が促進されたもの、人工知能がそのCG研究の根幹をなすもの、新しい取り組みに人工知能を活用しているCG研究などをご紹介します。

SIGGRAPH ASIA 2020 で発表された AIが関連したCG研究論文

今年は305本投稿された論文のなかから109本の論文が採択され、論文集からの採択4本と合わせた合計113本の論文が発表されました。最近は大学の研究者と Adobe Research、NVIDIA、Google Research との共同論文も多く、現場のニーズに即した実用的な研究が好まれるとともに、研究成果が実用化される期間も早まっていることが見て取れます。また論文に名前がなくともこれらの企業がハードウェアやソフトウェアを無償提供している研究も多く、SIGGRAPH発の多数の研究に自社の未来の種を見つけようとしていることが伺えます。

01：Differentiable Vector Graphics Rasterization for Editing and Learning

論文：https://people.csail.mit.edu/tzumao/diffvg/
サンプルコード：https://github.com/BachiLi/diffvg

コンピュータ内ではベクターと呼ばれる、解像度に依存しない画像情報を持っています。けれども画面に表示する際や印刷の際にはラスタライズと呼ばれる工程により、ラスター形式のある解像度を持ったピクセルデータの集合に変換されてしまいます。本研究では画像内の物体の特徴はそのままで、サイズだけを変更するシームカービングの技術他、さまざまな事例でベクトル画像とラスター画像を柔軟に扱っています。ベクトル画像をラスター画像にする際、またその逆の変換の際には必ず情報が失われますが、それらを機械学習によってできるだけ復元しようというアプローチです。

情報を圧縮して圧縮した情報から元の情報に戻す手法であるVAE（Variational Auto Encoder）とGAN（Generative Adversarial Network:敵対的生成ネットワーク）が活用され、さまざまな応用例が紹介されています。

02： Monster Mash: A Single-View Approach to Casual 3D Modeling and Animation

論文：https://dcgi.fel.cvut.cz/home/sykorad/monster_mash
デモサイト：http://monstermash.zone/

本研究は、手書きスケッチだけで三次元形状とその形状のアニメーションを手軽に設定できるツールです。線画の形状スケッチを描く際に順序を指定することで奥行きや左右の手足といった情報を反映した自然な形状が作られます。その後アニメーション設定のための制御点を指定し、動かすだけで自然な動きが導き出されます。

通常であれば、オブジェクト同士で衝突したり貫通したりといった状況も自然と調整されつつ滑らかなアニメーションが生成されるのです。二次元のスケッチだけでは三次元形状のすべてを描ききれないため、隠れている部分を類推するためにディープラーニングが活用されています。デモサイトでは、マウスで適当に描いた図柄が瞬時に立体的になり動き出すのを見ることができます。

このタイプの、描いたものを手軽に3DCG化するというアプローチはSIGGRAPH 1999の「Teddy」という論文発表に始まり、ここ数年の流行りでもあります。

03：タイトル Lifting Freehand Concept Sketches into 3D

論文：https://ns.inria.fr/d3/Lift3D/
サンプルコード：https://github.com/ygryadit/LiftConceptSketches3D

本研究はプロダクトデザイン用のスケッチから三次元形状を自動的に生成するためのアルゴリズム研究です。通常、プロダクトデザインのためのスケッチは、細かい箇所が不正確だったり、迷いながら描かれた何本もの線や作業用の補助線などが描かれているため、そのまますぐに三次元形状に自動変換するのはとても困難な取り組みとなります。まず補助線をガイドにしながら形状を類推し、補助線は補助線として扱うことで、物体が描かれた二次元のスケッチをどの方向からも見られる三次元形状のスケッチとして取り扱えるようになります。

また複雑なスケッチ画から、アーティストが意図した優先すべき線を読み取ることで正確な形状を形成します。ディープラーニングによって、大量のスケッチ画と、そこから専門家によって手作業で変換された三次元形状モデルの対比を
学習データとして扱いました。それによって描かれてはいないけれども実際には存在すべき隠れた線への対応や、どういった線が補助線なのか、同じ箇所に何本も線が描かれている場合は、どれが最終的に選ぶべき線なのかといった、さまざまな線を見分けられるようになるそうです。

04： Scene Mover: Automatic Move Planning for Scene Arrangement by Deep Reinforcement Learning

論文：https://github.com/HanqingWangAI/SceneMover/blob/master/assets/mover.pdf
サンプルコード：https://github.com/HanqingWangAI/SceneMover

本研究は広さに制限のある部屋の中で家具の配置を変更する際、どういった順番で移動させると衝突や手間が少なくて済むかどうかを自動解析するオブジェクトレイアウト専用の手法です。この狭い空間の中をパズルのように物を動かしていくという論文を見て、昔からあるゲーム「倉庫番」 を思い出した人もいるのではないでしょうか？ 解析と解析結果の表示にはTensorFlowとTensorFlow専用の可視化ツールキットのPython版TensorBoardXが使われています。

05：Neural Crossbreed: Neural Based Image Metamorphosis

論文：https://arxiv.org/pdf/2009.00905.pdf
サンプルコード：https://github.com/sanghunpark/neural_crossbreed

本研究は事前に学習された画像生成モデルを活用することで、ある画像とある画像を混ぜて新しい中庸な画像を変形、生成することのできる手法です。サンプルでは、ある犬と違う品種の犬の顔を掛け合わせることでモーフィングと呼ばれる二つの画像の要素を混ぜ合わせて変形した画像を見ることができます。従来型のモーフィングであれば手作業で目の位置、口の位置などをそれぞれ設定し、細かな調整をした上でやっと滑らかな変化が見られますが、本研究の手法ではディープラーニングを活用した推論により、細かな手作業なしで自然な変化のモーフィングが見られます。これらニューラルベースの画像変形には、DeepMind社が無償で提供している「BigGAN」が使われています。

06：SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis

論文：https://www.cs.tau.ac.il/~noafish/sketchpatch/
サンプルコード：公開間近

本研究は雑多なスケッチをデジタル化したベクターデータとして扱い、模様で置き換えるための手法です。凸版版画風の画像に変換したり、毛糸細工で描いた画像などを生成することができます。従来から手書きのスケッチなどをベクター画像に変換して模様化する手法は存在しましたが、スケッチの状況や品質によって意図しないギザギザやノイズ、背景が混ざるなどの現象が発生することがありました。またMulti-Content GANなどを利用した変換例もありますが、それだけではなかなか人の目で見た品質をクリアできない部分を、本研究ではSIGGRAPH 2013で発表された「RealBrush」という研究と「CycleGAN」の活用で解決しています。

07： MaterialGAN: Reflectance Capture using a Generative SVBRDF Model

論文：https://shuangz.com/projects/materialgan-sa20/
サンプルコード：公開間近

本研究はGANをコンピュータグラフィックで扱う質感表現に応用した事例です。コンピュータグラフィックスで見栄えのよいフェイクではなく、表面の輝きや拡散光など物理的に正しい質感を表現する手法のひとつとしてSVBRDF（Spatially Varying Bidirectional Reflectance Distribution Function : 空間可変双方向反射率分布関数）があります。

従来であればある物体のSVBRDFを解析する場合、ありとあらゆる方向から物体を大量に撮影する必要がありました。
本研究MaterialGANでは数枚の撮影画像からSVBRDFを類推し再構成することができます。解析にはNVIDIAのStyleGAN2 が使われています。このMaterialGANでは、スマートフォンでフラッシュを焚いて撮影するだけでマテリアル情報を再構成することができます。

MaterialGAN: Reflectance Capture using a Generative SVBRDF Model from Shuang Zhao on Vimeo.

08：SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

論文：https://kevinkaixu.net/projects/symmetrynet.html
サンプルコード：https://github.com/GodZarathustra/SymmetryNet

本研究は最新のスマートフォンなどに搭載されている深度センサー付きのカメラによるRGB-Dの撮影データをもとに撮影できていない部分もふくめて物体の対称性を見い出し、三次元形状を類推するための手法です。本研究では、こういった事例にディープラーニングを応用すると、ある特定の事象にのみ最適化されてしまうというオーバーフィットの課題を回避するアプローチが取られています。サンプル実装にはPyTorchが使われています。

09：ShapeAssembly: Learning to Generate Programs for 3D Shape Structure Synthesis

動画：https://rkjones4.github.io/shapeAssembly.html（GIF動画）
論文：https://arxiv.org/pdf/2009.08026.pdf
サンプルコード：https://github.com/rkjones4/shapeAssembly

三次元形状をゼロから手作業で制作するのはとても手間のかかる作業です。コンピュータグラフィックスの世界ではプロシージャルとよばれる、「手順」を定義することで細かい作業なしに最終目的の形状や質感を生成する手法が最近注目を浴び、映像制作の現場でも普通に使われるようになってきています。このプロシージャルという手順を定義する方法は、平易に最終形を生成できる一方、修正や変更などといった編集作業が大変難しくなります。

本研究ではShapeAssemblyと呼ばれる形状のためのプログラミング言語（アセンブリ言語）を策定し、それによって生成も編集も容易に行えるというアプローチです。例えば、４本足で背もたれがある「椅子」という形状を、平易に定義し微調整することができます。これを応用することで不正確で大量に存在する点群データの形状にプロシージャルな形状をフィッティングさせ本来の形状を類推することができます。サンプル実装にはPyTorchが使われています。

10： TAP-Net: Transport-and-Pack using Reinforcement Learning

動画：http://vcc.szu.edu.cn/file/upload_file//image/research/att202009031455/TAP-Net.mp4
論文：https://vcc.tech/research/2020/TAP
サンプルコード：https://github.com/Juzhan/TAP-Net

本研究は現実世界の運送業には切っても切り離せない、輸送・梱包問題（TAP問題）を人工知能によって解決しようとするアプローチです。複数の回答が導き出される中、導き足した回答に効率や安定といったパラメータで評価することで、最適解を導きだします。ネットワーク分析のためにnetworkxを利用し、RNN（回帰型ニューラルネットワーク）を効果的に活用することで実現しています。このアルゴリズムがあれば、落ちゲーの代表格であるテトリスもあっという間にクリアされてしまうかもしれません。サンプル実装にはPyTorchが使われています。本研究の実装はMITライセンスで公開されているため、このアルゴリズムを商用プロダクトなどに組み込んで利用することも可能です。

人工知能を活用したCGや画像解析のコース、チュートリアルも充実

SIGGRAPHの本分は学会であり、論文発表やCG映像の発表が中心ですが、「コース」とよばれる初学者向けまたは専門家向けのチュートリアルも充実しています。例年であれば、丸一日または半日間、時にはハンズオンも交えながらじっくりと教わる機会もあります。今年はコースの内容は全てオンライン配信となっています。CGのアルゴリズム等を学ぶものから、ディープラーニングを活用したCGや画像解析などのコースが充実しています。

・eXplaiable AI（90分のコース）

従来から人工知能が導き出した結果は、その結果となった理由が分からないから安心して受け入れられないといった事柄が課題となっていたため「eXplainable AI (XAI) 説明可能なAI」という考えが広がっています。このコースでは自身の人工知能プロジェクトに「説明可能な」要素を取り入れるための実践的な知見を提供するものです。最初はXAIの入門レベルの内容ですが、機械学習の専門家にも、機械学習の将来を心配する人にとっても有益な内容のコースで、「説明可能なAI」について広く理解できるようになります。

・PyTorch3D (3時間のコース）

SIGGRAPHの機械学習系の論文でも多数利用され、人工知能研究の定番プラットフォームとも言えるPyTorchの、三次元拡張版であるPyTorch3Dのチュートリアルコース。PyTorch3Dはロボット工学やバーチャルリアリティなど、二次元の画像解析にとどまらない三次元空間での応用に役立つ環境です。二次元の画像解析分野での人工知能応用は広がっているものの、三次元データの扱いやツール、ノウハウはまだまだ不十分です。本コースは3Dデータの取り扱いに特化した使い方や、利用事例を詳しく紹介するものです。

余談ですが、海外の英語カンファレンスのヒアリングには Otter.ai というAI文字おこしアプリと、DeepLというAI翻訳が大変重宝します。時差だけはテクノロジーではどうしようもありませんが、言語の壁はAIによって少しずつ取り払われているように感じる今日この頃です。

今回紹介したSIGGRAPH ASIA 2020のアーカイブ配信は会期終了後も続きます。オンラインカンファレンスは開催地現地での盛り上がりや人と会う楽しさには欠けますが、大量のコンテンツをじっくりと時間をかけて視聴するには良い環境です。新型コロナウィルスの状況により、SIGGRAPHは当分の間、オンラインでの開催が続くものと思われます。今後予定されているSIGGRAPHは下記のとおりです。オンライン開催か否か、開催会期がいつになるのかについても現在のところは未定です。

1. SIGGRAPH 2021 米国ロサンジェルス 8/1〜5（未定）
2. SIGGRAPH ASIA 2021 東京 12/14〜17（東京国際フォーラム予定・未定）
3. SIGGRAPH 2022 カナダバンクーバー 8/7〜11（未定）

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8：一流オークションハウスも注目するアートとAIの関係性

Vol.9：現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10：老齢とは無縁、De-Aging技術の台頭

Vol.11：動き、ダンスに新しい要素を加えるAIの役目

Vol.12：AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13：AIのクリエイティブとクリエイティビティ再考

Vol.14：AIが生み出す顔と人間の表情

Vol.15：撮影に革新をもたらすAIによる照明

Vol.16：バーチャル開催SIGGRAPH論文を先取り

Vol.17：描画を進化させるTensorFlow Graphicsの真価

Vol.18：SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.19：コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.20：Adobeと人工知能の将来を見極める #AdobeMAX2020

Contributor：安藤幸央