CGへの扉 Vol.57：AIを活用したCG論文紹介 #SIGGRAPHAsia2023 より

SIGGRAPH ASIA 2023がシドニーで開催

SIGGRAPHはコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であり、毎年7月から8月にかけて北米で開催されています。それにひき続き、毎年年末に開催されるアジア版の SIGGRAPH ASIA が今年は12月12日から15日の4日間、オーストラリアのシドニーで開催されました。英語圏のシドニーがアジア？ というと少し変な気もしますが、全世界を分類するとAPAC（Asia-Pacific）には東南アジアだけではなく、インドやオーストラリア、ニュージーランドもふくまれる場合があります。

今年のテーマは「Crossing Thresholds（閾値を超える）」これは、コンピュータグラフィックスやインタラクティブ技術が新しい境界を越え、私たちの生活に新しい可能性をもたらすという意図を反映したものです。

SIGGRAPH ASIA 2023 開催概要：https://sa2023.siggraph.org/

今年のCG論文の傾向は、人工知能活用はもちろんのこと、CGの活躍分野が産業界からゲーム業界、VR/ARやIoTデバイスまで、多岐に渡った研究と活用が広がってきています。高性能なスマートフォンが世界中に浸透しつつある今、次のデバイス、次の映像視聴デバイス、映像収録デバイスを模索している状況であるとも言えます。論文発表ダイジェストはこちらの動画で紹介されています。

全論文のリンク集は公式のものもありますが、無料で見られる有志による情報が大変充実しています。

SIGGRAPH Asia 2023 papers on the web（Ke-Sen Huang氏らがまとめたもの）
https://kesen.realtimerendering.com/siga2023Papers.htm

本記事では、SIGGRAPH ASIA 2023 の論文発表より、特に人工知能によってCG研究が促進されたもの、人工知能がそのCG研究の根幹をなすもの、新しい取り組みに人工知能を活用しているCG研究などをご紹介します。

SIGGRAPH ASIA 2023 で発表された注目のCG研究論文

SIGGRAPH ASIA の論文を短時間のダイジェストで紹介する Technical Papers Fast Forward が SIGGRAPH ASIA 初日に行われました。1論文あたり約40秒という短い時間で紹介され、中にはウケ狙いの楽しい発表もあり、その内容が YouTube で一般公開されています。

1. SIGGRAPH Asia 2023 – Technical Papers Fast Forward (Presenters on 12 Dec, Day 1) 1日目の論文発表のダイジェスト（約28分）

1. SIGGRAPH Asia 2023 – Technical Papers Fast Forward (Preview the presentations on 13 Dec, Day 2)　2日目の論文発表のダイジェスト（約40分）

1. SIGGRAPH Asia 2023 – Technical Papers Fast Forward (Presenters on 14 Dec, Day 3)　3日目の論文発表のダイジェスト（約52分）

1. SIGGRAPH Asia 2023 – Technical Papers Fast Forward (Preview the Presentations on 15 Dec, Day 4)　4日目の論文発表のダイジェスト（約40分）

01：Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation（動画の再描写：ゼロショット・テキストガイド付き動画から動画への変換）

論文：https://arxiv.org/abs/2306.07954
プロジェクトページ：https://www.mmlab-ntu.com/project/rerender/
サンプルコード：https://github.com/williamyang1991/Rerender_A_Video

本研究は実写の動画素材を事前学習無しで、3DCG風アニメーション動画に変換できる仕組みです。形状やテクスチャの一貫性を保ちながら、時間の流れに違和感なく映像のつながりを持った高品質な動画を低コストで生成できるのが特徴です。既存のtext-to-imageと同様の仕組みを用いているため、一般的なカスタマイズや高画質化といったテクニックが流用できるのも良い点です。他の類似研究に比べ、生成映像に破綻が起きない点も評価されています。

02：ScaNeRF:Scalable Bundle-Adjusting Neural Radiance Fields for Large-Scale Scene Rendering（大規模シーンレンダリングのためのスケーラブルなバンドル調整可能なニューラル放射輝度）

論文：https://xchaowu.github.io/papers/scanerf/scanerf.pdf
プロジェクトページ：https://xchaowu.github.io/papers/scanerf/index.html
サンプルコード：現時点では未公開

本研究では大規模なシーンのレンダリングを改善するために、タイルベースのハイブリッドニューラルフィールドと並列最適化を組み合わせた方法を提案しています。これは描画シーンを小さなタイルに分け、各タイルに特殊な処理を施すことで、カメラの意義情報を正確に最適化し、遠くのオブジェクトや反射を鮮明に描写します。他の類似研究に比べ、5%から10%品質が向上することがわかっています。

03：Pose and Skeleton-aware Neural IK for Pose and Motion Editing（ポーズとスケルトンを認識したニューラルIKによるポーズとモーション編集）

論文：https://studios.disneyresearch.com/app/uploads/2023/11/Pose-and-Skeleton-aware-Neural-IK-for-Pose-and-Motion-Editing-Paper.pdf
プロジェクトページ：https://studios.disneyresearch.com/2023/12/11/pose-and-skeleton-aware-neural-ik-for-pose-and-motion-editing/
サンプルコード：コードは未公開

本研究はディズニー研究所によるものです。3Dキャラクターのポーズ設定をより少ないコントロールで効率的に操作でき、編集の内容を維持しながら不自然な動きにならないような制約を反映することができます。この研究は、ポーズやモーションの迅速な編集とバリエーションの生成を可能にし、現在使われている他の技術よりもポーズの保持については良好な結果が得られます。一般的には人の体の動きをデータ収録したモーションキャプチャデータを活用する場合、そのキャラクタの骨格に影響を受けがちですが、自由度高く動きを演出できるのが特徴です。

04：BakedAvatar: Baking Neural Fields for Real-Time Head Avatar Synthesis BakedAvatar（アルタイム頭部アバター合成のためのニューラルフィールドのテクスチャ焼き付け）

論文：https://arxiv.org/abs/2311.05521
プロジェクトページ（動画も掲載）：https://buaavrcg.github.io/BakedAvatar/
サンプルコード：近日公開予定

VR/AR、テレプレゼンス、ビデオゲームなどのアプリケーション向けにビデオからフォトリアルな4D人間の頭部アバターを合成する技術です。ここでいう4Dは、3Dキャラクタモデルデータと、そのモデルの動きのデータを合わせたものを示しています。既存の手法は高品質な結果を提供しますが、計算コストが高く、リアルタイムアプリケーションには適していません。

学習済みの一般的な頭のモデルをもとに変形可能な多層メッシュを抽出しテクスチャで表現し、視点依存の外見を「焼き付け（ベイク）」することで顔の再現、表情の編集、ポーズの編集などを短時間で比較的高品質のアウトプットが得られます。

05：A Neural Space-Time Representation for Text-to-Image Personalization（テキストから画像へのパーソナライズのためのニューラル空間と時間の表現）

論文：https://arxiv.org/abs/2305.15391
プロジェクトページ：https://neuraltextualinversion.github.io/NeTI/
サンプルコード：https://github.com/NeuralTextualInversion/NeTI
デモ：https://huggingface.co/spaces/neural-ti/NeTI

生成AIのうち、Text-to-Image、つまりテキストから画像への変換における新しいアプローチについての研究です。この方法では、時間と空間を操る新しいテキスト条件付けを使用してターゲットコンセプトを表現します。この指定されたコンセプトは、小さなニューラルネットワーク（ニューラルマッパー）を使用して間接的に表現され、それによって素早く表現力のある結果が得られます。本研究の手法を用いると、高品質で編集可能な画像の生成を可能にし、生成モデル自体の微調整なしに様々なコンセプトやプロンプトに対応できるのが特徴です。

06：HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image HyperDreamer（単一画像からのハイパーリアルな3Dコンテンツ生成と編集）

論文：https://arxiv.org/abs/2312.04543
プロジェクトページ（動画も掲載）：https://ys-imtech.github.io/HyperDreamer/
サンプルコード：https://github.com/wutong16/HyperDreamer

本研究HyperDreamerは、単一の画像からの3Dコンテンツを作成するための技術です。視覚的に魅力的な3Dモデルを全方向から観察できる360度メッシュモデルと高解像度テクスチャを出力します。任意の領域を数回のクリックで選択し、効率的にテクスチャを編集することができ、3Dコンテンツ作成環境を進化させ、様々な分野での応用が期待されます。

07：Scene-aware Activity Program Generation with Language Guidance（言語ガイドによるシーン認識アクティビティプログラム生成）

論文：https://toddbear.github.io/LangGuidedProg/static/pdfs/SIGA2023_LangugageGuidedProgram.pdf
プロジェクトページ（動画も掲載）：https://toddbear.github.io/LangGuidedProg/
サンプルコード：近日公開予定

この研究では、シーン内の行動認識に関する課題に取り組んでいます。これは与えられたタスクを人型ロボットなどが実行可能な細かくて単純なタスクに分解し、もともとの目的だった、複雑なタスクをこなせるように考えられているものです。既存の方法では合理的で実行可能なプログラムの生成が可能ではありますが、実現度が高く確実に実行し完了可能なタスクの分解と生成は依然として大きな課題として存在します。本研究では言葉によるタスクの指示と、目的とするシーンにおける動作や知覚を明示的に組み合わせた新しい方法を提案し、課題を解決しようとしているものです。

08：C·ASE: Learning Conditional Adversarial Skill Embeddings for Physics-based Characters（C·ASE：物理ベースキャラクターのためのスキル埋め込みの条件付き敵対的学習）

動画：https://vcc.tech/research/2023/APC
論文：https://arxiv.org/pdf/2309.11351.pdf
プロジェクトページ：https://frank-zy-dou.github.io/projects/CASE/index.html
サンプルコード：近日公開予定

C·ASEは、物理現象に従ったキャラクターの動きを、効率的かつ効果的に習得させるためのフレームワークです。キック、ジャンプアタック、剣の攻撃など多様なスキルを、動作の破綻なく、直接操作して指示することが可能です。骨格の違い、要素別の特徴の強調や弱点などをうまく表現しつつ、多様性をもったキャラクタの動きを生成させることができる仕組みです。

ゲーム内のキャラクタにおいて、あらかじめゲーム開発者が定義したキャラクタの動きではなく、プレイヤー本人が望む特徴やスキルを持ったキャラクターの動きとして反映させることができるインタラクティブ指示を実現するのに有利な手法です。

09：FLARE: Fast Learning of Animatable and Relightable Mesh Avatars（FLARE：アニメ風で再編集可能なメッシュアバターの高速機械学習の手法）

論文：https://drive.google.com/file/d/1iiON_x9d2E4erP2n-2A4JQ-piHr5kdQ3/view
プロジェクトページ：https://flare.is.tue.mpg.de/
サンプルコード：https://github.com/sbharadwajj/flare

FLAREは、ビデオ映像からユーザー個人が動きを設定したりアニメータブルで再編集可能な3D頭部アバターを効率的に生成する方法です。この技術は、コンピュータグラフィックスに向いている最適化された方法を利用し、一部の顔の部品をニューラルネットワークで近似することで、忠実度の高いの3Dメッシュ表現を実現します。基本的な形状をベースにしながら効率的に形状をブレンドしたり、顔表面の皮膚の表現なども的確なアニメーションを実現しています。物理ベースの描画方法に従い、アバターを色や、粗さ、照明といった要素に分解し、どんな周辺環境でもそれにあったアバターを描画することができます。

SIGGRAPH 2023より AI 関連のコースを紹介

SIGGRAPHでは、CG関連の技術を学ぶための基礎講座から応用編まで複数のコース（いわゆるチュートリアル）が数多く行われます。その中から AI関連のコースをいくつか紹介します。基本的にはSIGGRAPH参加者を対象としたものですが、発表資料は無料で公開されています。

1. Approaches and Challenges in XR and AI for Health Applications（健康アプリにおけるXRとAIのアプローチと課題）
2. From Reconstruction to Generation: State-of-Art Approaches for 3D Visualization（再構築から生成へ：3Dビジュアライゼーションのための最先端アプローチ）
3. Machine Learning & Neural Networks（機械学習とニューラルネットワーク）
   ※毎年実施される人気のコースです。
4. Use of Physics-Based AI for Simulations and Modeling in the Era of Digital Twins（デジタルツインの時代におけるシミュレーションとモデリングのための物理ベース表現のためのAI活用）

今後のSIGGRAPH開催予定は次のとおり、来年2024年冬は数年ぶりに東京フォーラムでの開催が予定されています。ゲームやアニメが盛んな日本ならではの催しも企画中とのことで、おおいに期待できると思います。

SIGGRAPH 2024：7/1〜8/1 コロラド州デンバー
SIGGRAPH ASIA 2024：12/3〜6 東京
SIGGRAPH 2025：未定

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.56：ハリウッド映画の自動生成も間近か？ AI動画の可能性

Vol.55：AdobeMAX2023開催。生成系AI全盛のSneaks

Vol.54：SIGGRAPH 2023基調講演における注目のAIトピック

Vol.53：CGの祭典SIGGRAPH50周年にみるAIの台頭

Vol.52：制作の現場に進出しつつあるAI

Vol.51：広告産業の事例が教えてくれる創造性を加速させるAIの活用法

Vol.50：脅威論がある一方で公式化する動きも。生成系AIに対する各界の反応

Vol.49：AI時代の勝者NVIDIA #GTC2023 レポート

Vol.48：頭の中を映像化

Vol.47：Gen-1登場。映像が映像を作る時代に

Vol.46：AIを活用したCG論文紹介 #SIGGRAPHAsia2022 より

Vol.45：大規模言語モデルChatGPTは仲間？ライバル？

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央