CGへの扉 Vol.65：CGの祭典SIGGRAPH2024におけるAI活用の潮流

CGの祭典SIGGRAPH 2024 初のデンバー

コンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であるSIGGRAPH 2024が、初の開催地となる米国コロラド州デンバーのコンベンションセンター会場とオンライン配信とのハイブリッド環境で開催されました。今年も開催後約1か月間、9月1日まで収録動画がオンライン配信されますが、現地でしか見られない収録無しのセッションも多くありました。

SIGGRAPH 2024 開催概要（2024/7/28〜8/1）
https://s2024.siggraph.org/

昨年の SIGGRAPH 2023 紹介記事
・CGへの扉 Vol.53：CGの祭典SIGGRAPH50周年にみるAIの台頭
・CGへの扉 Vol.54：SIGGRAPH 2023基調講演における注目のAIトピック

本記事ではAI活用をアピールしている研究や、AIの存在がそのCG研究の根幹をなすもの、AIの活用によって新しい領域が開拓されたCG研究を中心に紹介します。SIGGRAPHではコンピュータグラフィックスを中心としつつ、形状、アニメーション、物理シミュレーション、画像処理、動画処理、ユーザーインタフェース、AR/VR、生成AIなどさまざまな分野の論文が投稿され、専門家の査読つきで採択されます。

今年は投稿数が昨年より36%増加し、840件の提出のうち252件の論文が採択されました。さらに学会誌ToG（ACM TRANSACTIONS ON GRAPHICS）に採択された27件の論文も追加されます。SIGGRAPHでは、論文採択数に決まりがあるわけではなく、一定の水準を超えて評価された論文が採択されるため、毎年本数は異なり徐々に増加傾向にあります。

その中でも人工知能を活用した研究はコンピュータグラフィックスにおいてますます重要な役割を果たしており、AIとCGを絡めたテーマを探求する提出や論文の数がここ数年顕著に増加しています。

SIGGRAPH 2024 の論文、発表映像ダイジェスト（主要論文の一部：約4分半）

SIGGRAPH 2024 の論文資料へのリンク集（非公式版）
https://kesen.realtimerendering.com/sig2024.html

今年のBest Paper（優秀論文）は下記の5本、特にコンピュータグラフィックスの基礎研究的なものが評価されました。

1. From Microfacets to Participating Media: A Unified Theory of Light Transport With Stochastic Geometry
2. Walkin’ Robin: Walk on Stars With Robin Boundary Conditions
3. Repulsive Shells
4. Lightning-Fast Method of Fundamental Solutions
5. Robust Containment Queries Over Collections of Rational Parametric Curves via Generalized Winding Numbers

さらに現在の研究に大きな影響を与えた10年以上過去の論文を振り返る ”Time-of-Time Award” というカテゴリでは、
2012年の「How do Humans Sketch Objects?」が挙げられました。拙いスケッチからそこに描かれたものを判別するという、今では生成AIに聞けば一発で判明するような事柄ですが、当時は論文発表会場が大いに沸くほどの注目論文でした。

How do Humans Sketch Objects? (2012)
著者：Mathias Eitz, James Hays, Marc Alexa
論文：https://cybertron.cg.tu-berlin.de/eitz/projects/classifysketch/
動画：https://cybertron.cg.tu-berlin.de/eitz/movies/sig12_classifysketch.mp4

SIGGRAPH 2024 で発表された注目のAI関連CG研究論文

SIGGRAPH 2024の本分は学会であり論文発表が花形です。今年の傾向としては生成モデルの多様な用途に使われ始めたこと、単なる画像の生成だけでなく、質感や照明などにも生成AIが活用され始めています。また従来計算時間がかかっていたレンダリング用途にも生成AIの技術が広がり、精度やノイズの問題なども回避する処理方法や、できるだけ少ない計算資源で実行する工夫などが進んできています。

Motion-I2V: Consistent and Controllable Image-to-Video Generation with Explicit Motion Modeling

タイトルの抄訳：Motion-I2V：一貫性と制御性を備えた明示的な動作モデリングによる画像から動画への生成
論文ページ：https://xiaoyushi97.github.io/Motion-I2V/
サンプルコード：https://github.com/G-U-N/Motion-I2V

主にアニメやゲームでの利用を想定して作られたMotion-I2Vは、画像から動画を生成する際、元の画像の特徴を失わず、一貫性を保ったまま自然な動きを制御しつつ動画を生成できる技術です。画素の移動を推測しつつ参照元の画像の特徴を反映させることができます。生成AIによる演出の効かない動画生成ではなく、Motion-I2Vがもつモーションブラシとモーションドラッグという機能で動画編集ツールのように製作者の意図を反映できるのです。出来上がった動画は、すでに利用が広がっている動画生成AIであるPika1.0や、Gen-2、DynamiCrafterと比較しても良好な結果が得られています。

Deep Fourier-based Arbitrary-scale Super-resolution for Real-time Rendering

タイトルの抄訳：リアルタイムレンダリングのためのディープフォリエ変換を用いた任意スケールの超解像度化
論文ページ：https://dl.acm.org/doi/10.1145/3641519.3657439
動画：https://dl.acm.org/doi/10.1145/3641519.3657439（Supplemental Material にある MP4ファイル）
サンプルコード：現時点では非公開

AIを活用して解像度の低い画像や動画を高解像度化する仕組みは数多く存在しますが、その多くは決まった解像度に限定されます。本研究は歪み無しで任意スケールの超解像をサポートするもので、リアルタイム描画が重要なゲーム等においても効果が期待されます。CNN（畳み込みニューラルネットワーク）モデルとフーリエ変換を組み合わせた計算量が比較的少なくてすむリアルタイム描画でも利用できる手法です。残差学習（residual learning）によりノイズや違和感を軽減しています。270P程度の低解像度のゲーム画面が、もともと1080Pと言われても違和感の無いほどに高解像度化できています。

X-Portrait: Expressive Portrait Animation with Hierarchical Motion Attention

タイトルの抄訳：X-Portrait：階層的モーションアテンションによる表現力豊かなポートレートアニメーション
論文ページ：https://arxiv.org/pdf/2403.15931
サンプルコード：https://github.com/bytedance/X-Portrait

自画像のアニメーションにおける新しい表現を探求している研究です。この研究では、ディープラーニング的な発想で、階層的に微細な動きや表情を捉えることで、アニメーションの表現力を向上させ、生き生きとした自画像の動きが表現されています。入力画像に対して画像で条件づけするDiffusionモデルのひとつであるControlNetを活用して、頭のポーズや顔の表情を細かく制御しています。TikTokを運営するByteDance社による研究です。

SketchDream: Sketch-based Text-to-3D Generation and Editing

タイトルの抄訳：スケッチドリーム スケッチベースのテキストから3Dへの生成と編集
論文ページ：http://geometrylearning.com/SketchDream/
動画：http://geometrylearning.com/SketchDream/
サンプルコード：https://github.com/IGLICT/SketchDream

SketchDreamでは、軽く書いた手書きスケッチから3Dモデルを生成したり、既存の3Dモデルデータに手書きで書き加えたものが、三次元形状にとても馴染んだ形で生成される仕組みです。もともと存在する3Dモデルを本ツールでいったんスケッチ風の画像として出力し、そのスケッチ画像に書き足して、また三次元形状を生成させることができるのです。

さらにスケッチで描ききれない指示や要望は、スケッチに加えてテキストプロンプトで指示することもできます。素早く描けるスケッチの良さを生かすと同時に、スケッチの曖昧さや、人によってはうまく描けないといった課題を、テキストプロンプトとの組み合わせで解決しています。絵を描くのが得意な人にとっても、質感や色合いなどを素早く言葉で指定することで、より素早く目的の三次元CGモデルを生成することができます。

Toonify3D: StyleGAN-based 3D Stylized Face Generator

タイトルの抄訳：Toonify3D：StyleGAN ベースの 3D スタイライズ顔ジェネレーター
論文ページ：http://wonjongg.me/Toonify3D_pages/
動画：http://wonjongg.me/Toonify3D_pages/
サンプルコード：https://github.com/wonjongg/Toonify3D（※記事公開時点ではまだ公開されていません）

Toonify3Dは、StyleGANをもとにした3Dスタイライズ顔生成技術で、表現力豊かな3Dアニメ顔を生成することができます。2Dのスタイル変換を3Dに応用することで、アニメっぽい3Dキャラクタが生成することを目的とした研究です。
標準的な顔で学習されたStyleGANから追加の微調整なしで様々な雰囲気の顔に適用できる独自の仕組みStyleNormalを利用している。

Text-Guided High-Quality 3D Portrait Generation Using Pyramid Representation and GANs Prior

タイトルの抄訳：ピラミッド表現とGANの事前学習を使用したテキスト誘導による高品質な3Dポートレート生成
論文ページ：https://onethousandwu.com/portrait3d.github.io/
サンプルコード：https://github.com/oneThousand1000/Portrait3D

本研究ではテキストによる支援で、高品質な3Dポートレートを生成する研究です。ピラミッド表現とGAN（生成対向ネットワーク）と拡散モデルを組み合わせて、高品質で辻褄のあった三次元ポートレートを生成します。360度どこからみたポートレートでも生成できることと、非現実的な色や不自然なアーティファクトを効果的に除去できているのが特徴です。

DiLightNet: Fine-grained Lighting Control for Diffusion-based Image Generation

タイトルの抄訳：DiLightNet: 拡散ベースの画像生成における詳細な照明制御
論文ページ：https://github.com/iamNCJ/DiLightNet
サンプルコード：https://github.com/iamNCJ/DiLightNet?tab=readme-ov-file
デモ：https://huggingface.co/spaces/dilightnet/DiLightNet

DiLightNetでは、Diffusionモデルを用いた画像生成で微細な照明制御を実現する技術です。
これまでであれば、照明演出や調整のために再撮影や再レンダリング、または画像編集ツールでの調整が必要であったところを、点光源や環境照明を含むさまざまな照明条件をテキストプロンプトで指示したり調整したりすることができます。これらを実現するために実写ではなく、形状、素材、照明条件を持つ合成3Dデータ（Synthetic 3D Data）セットを用いていることも最近のトレンドです。

SIGGRAPH のこれから

今年2024年の冬にはSIGGRAPHのアジア版、SIGGRAPH ASIA 2024が、3年ぶりに東京、有楽町にある東京国際フォーラムで開催されます。SIGGRAPH ASIA 2024のテーマは「Curious Minds（好奇心旺盛な心）」です。コンピュータグラフィックの発展は、研究者やアーティストたちの好奇心旺盛な心に支えられてきたとの想いからテーマが展開されています。前回の2021年の開催は、日本もコロナ禍の真っ只中でしたが、2024年12月3日（火）から12月6日（金）の4日間開催される会場には、2018年に開催された時のような1万人規模の参加者が世界中から集まることが期待されています。

また日本のデザインエージェンシーTakramが制作したプロシージャルテクスチャを利用した生成系ロゴにも注目が集まっています。この生成の基礎となっているのは SIGGRAPH 2022 で発表された “Procedural texturing of solid wood with knots” という論文で、木目のテクスチャをプロシージャルかつ立体的に生成できるアルゴリズムが、テーマでもあるCurious Mindsを年輪のように積み重ねられたビジュアルとして表現されています。

SIGGRAPH Asia 2024のブランディングデザイン

https://www.takram.com/ja/projects/siggraph-asia-2024

また、次回SIGGRAPH 2025は、8月10日から14日の5日間、CG産業の盛んなカナダ・バンクーバーで、SIGGRAPH ASIA 2025 は12月15日から18日の4日間、香港で開催されます。SIGGRAPH 2026年は米国ロサンジェルスで開催されることが決まっています。

生成AIをはじめとする人工知能技術が持つシーズ（Seeds）と、CG業界が求めるニーズ（Needs）がうまく合致し、
今後もさらに双方の技術や応用が広がることが期待されます。最先端技術の発表の場が学会や論文であるという形態は
今後少しずつ変化してくるかもしれませんが、業界の動向を把握する意味でもSIGGRAPH、SIGGRAPH ASIAからは目が離せません。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.64：不祥事とは無縁、生成AIが生み出す広告映像の違和感

Vol.63：ライバル？ いえいえ思想が違います。Google I/O、Apple WWDCにみるAI戦略の違い

Vol.62：AIによるフェイク画像さえも新しい表現方法に

Vol.61：AIの影響を受ける素材ビジネスの生存戦略

Vol.60：AIは世界を認識したのか？ Soraが描き出す物理世界

Vol.59：生活に浸透するAI、身の回りの「弱い」AI

Vol.58：生成AIによる映画産業の業務の置き換えはどこまで可能か？

Vol.57：AIを活用したCG論文紹介 #SIGGRAPHAsia2023 より

Vol.56：ハリウッド映画の自動生成も間近か？ AI動画の可能性

Vol.55：AdobeMAX2023開催。生成系AI全盛のSneaks

Vol.54：SIGGRAPH 2023基調講演における注目のAIトピック

Vol.53：CGの祭典SIGGRAPH50周年にみるAIの台頭

Vol.52：制作の現場に進出しつつあるAI

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央