モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019StyleGANプロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIボードゲームNPCDALL-ECLIPロボットCNNデジタルツインモリカトロンUnityファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理AdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

2022.1.17アート

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

SIGGRAPH Asia 2021はオンラインと会場、ハイブリッド開催

コンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であるSIGGRAPH Asia 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。先月の記事に引き続き、CG/VFX技術で重要な位置を占めている機械学習、人工知能の応用研究をいくつか紹介します。

SIGGRAPH の本分は論文

SIGGRAPH/SIGGRAPH Asiaでは、アートギャラリー、最新技術、ハリウッド映画のメイキングと派手な部分に注目が集まりがちですが、本分は学会でありトップカンファレンスと呼ばれる採択されるのが難しい世界最高峰のCG分野の学会のひとつでもあります。今年の SIGGRAPH Asia 2021 では厳選された 94本の論文が発表されました。

今回はハイブリッド開催ということで、参加者は事前にオンラインで詳しい論文発表の収録動画を視聴しておき、会場とリアルタイム配信ではQ&Aやディスカッションを中心にタイムテーブルが組まれました。さらに論文発表後に各分野の第一線で活躍する研究者による論文解説が行われました。会場とオンラインをうまく組み合わせた形式の論文発表は、参加者の論文に関する理解が深まるとともに、業界動向や、論文の新規性、今後の可能性などを詳しく知ることができ、参加者にも大変好評な形式で発表がなされました。

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering

論文:https://studios.disneyresearch.com/app/uploads/2021/11/RenderingWithStyle.pdf
動画:https://www.youtube.com/watch?v=TwpLqTmvqVk

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering(伝統的な手法と、ニューラルネットワークを活用した高品質な顔CGの描画表現)」は、ディズニーリサーチによる高品質な顔CG作成の手法です。撮影した顔のデータから、アーティストの手を煩わせることなく自動的に顔CGを作成することができます。

まず従来手法の顔CG制作で、肌の外観、表情、視点、照明などを思い通りに表現します。次に、これらの肌の描画結果を、任意のフォトリアルな顔画像を生成できる、事前に学習されたニューラルネットワーク(StyleGAN2)で扱います。その結果、3Dキャラクターの個性と外観の表現を一致させつつ、合成された髪の毛、目、口の中を生成することができ、周囲の環境に合わせた一連のリアルな顔画像が得られます。この手法を用いると、フルCGアニメーションのディズニーのキャラクタの雰囲気そのままの実在しない人間の俳優の顔として表現が可能となるのです。

Neural Frame Interpolation for Rendered Content

論文:https://studios.disneyresearch.com/app/uploads/2021/10/Neural-Frame-Interpolation-for-Rendered-Content.pdf

Neural Frame Interpolation for Rendered Content(描画されたコンテンツのためのニューラルフレーム補間)」はディズニーリサーチによるアニメーションのフレーム補完に関する研究で、より良い動きを推定し、物や床、壁との衝突を考慮した上で、非線形の動きを適切に再構築するための解決策を提案するものです。従来、動画として成立するために1秒間に24コマ、30コマ、60コマといったCG映像を生み出すために膨大な計算資源を消費します。ところが実際のところ、ある1フレーム(コマ)の次のフレームは少し異なり、動きや変化はありますが、その差はわずかです。

その点に着目し、少ないコマ数を生成した後にその間のコマを補完で求めることで計算コストを低減させる手法です。こういった考えは古くからありましたが、実際はそううまく補完されません。本研究ではCG映像計算の中間生成物である深さ、法線、反射といった補助データを用い、場面ごとに適切なニューラルネットワークを構築することで、精度の高い実用に耐えうるフレーム間補完が実現しました。

Foids: Bio-Inspired Fish Simulation for Generating Synthetic Datasets

論文:https://masakinakada.com/pdfs/foids21.pdf

魚の養殖や漁業において、魚の数を数える作業は非常に面倒なもので、一度魚を水から引き上げ、秤で重量を計測しています。これは漁業に従事する人にとって面倒なだけではなく、魚にとってもストレスや死因になりうる無理を強いる作業です。「Foids:Bio-Inspired Fish Simulation for Generating Synthetic Datasets(合成データセットを生成するための生物を参考にした魚のシミュレーション)」の研究は、魚の大きさや動きに応じて数え方を変えるコンピュータビジョンを用いた新しい手法を提案するものです。これによって、養魚場の給餌を最適化したり、長期的な養魚の計画が可能になり、産業的に革新的な課題解決の方法です。

一般的なコンピュータビジョンの解析手法では、高解像度の画像データをもとに解析することがほとんどですが、本研究では、魚の形状や魚の動きを3D空間上でシミュレーションし、その計算上の動きや魚の数と、実際の漁場の映像とを機械学習を繰り返し差分を埋めていきます。そうすることでシミュレーション上の魚の数から実際の魚の数を正確に把握できるようになる斬新な切り口の手法です。物体を検出する機械学習モデルには YOLO-v4が用いられています。

Neural Radiosity

論文:https://arxiv.org/pdf/2105.12319v2.pdf
動画:http://www.cs.umd.edu/~saeedhd/files/Neural_Radiosity/Neural_Radiosity_Sup_Video.mov (ダウンロードサイズ、約400MB)

3DCGの画像生成方法のひとつとして大域照明(ラジオシティ法)が建築CGなどで広く利用されています。この手法は空間内の光の挙動を物理法則に従って正確に計算することで写実的な画像を生み出すもので、膨大な計算資源が必要となります。また計算回数を増やせば増やすほどノイズの少ない高精細な画像が生成できるため、質的に満足のいく画像になるまで、またトライ&エラーの繰り返しで計算資源がいくらあっても足りなくなる傾向にあります。発表された研究「Neural Radiosity」は、ニューラルネットワークを活用した大域照明描画(ラジオシティ法)であり、すべての計算を高精度で厳密に行うのではなく素早く近似値にたどり着く方法を編み出しています。物理法則に則った描画にはMitsuba2が用いられています。

Layered Neural Atlases for Consistent Video Editing

論文:https://arxiv.org/pdf/2109.11418.pdf
ソースコード:https://github.com/ykasten/layered-neural-atlases

Layered Neural Atlases for Consistent Video Editing(ビデオ編集のためのニューラルネットワークを活用した映像分割)」はアドビリサーチとワイツマン科学研究所による研究です。近い将来Adobeのツールに搭載されることが期待される技術です。カメラや視点が動いている動画から、そこに写っている背景と映像として注目している物体とを分離して抽出することで、背景映像を手軽に差し替えることのできる技術です。

ZoomやGoogle Meetなどのビデオ会議ツールでは、くり抜き合成のためのグリーンバック背景が無くともカメラ映像だけで人物と背景とを分離させてバーチャル背景に差し替えることができます。そういったテレビ会議と同じような手軽さで、動画の背景を差し替えることのできる手法です。

一般的な実写動画の場合ビデオ会議に比べ、カメラの向きや、動きなども変化するため、そう簡単にはいかないことは容易に予想できます。本研究では動画に写っている背景から特徴点検出と映像の類似性から本来どういう背景なのかを広範囲で予想します。その予想された背景と映像との差分から映像中の動きを持った物体や人物を抽出することができています。まだまだ境界部分の処理が甘い感じがしますが、処理時間と品質とのバランスをうまくとれば実用も間近だと考えられます。背景映像の変化を捉えるためにオプティカルフローの最近の実装であるRAFT が使われています。

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction

論文:https://vcc.tech/file/upload_file//image/research/att202109301259/TreePartNet.pdf
ソースコード:https://github.com/marktube/TreePartNet

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction(点群のニューラル分解による3次元木構造の復元)」実在の樹木を写した写真から点群データを抽出し、ニューラルネットワークを活用して樹木の3Dデータを再構築する手法です。樹木は基本的には円筒状の形状をした枝の集合であることに加え、外れ値やノイズ、不完全性などの要素を加えて樹木データを再構築します。出来上がったデータは、元の樹木と100%等価ではありませんが、街灯樹のCGや、植栽のCGに使うには十分な品質のデータが得られます。

この手法の評価は、元となった実際の樹木との差分を評価すれば良いため、学習データを増やすことでさらに再構築の精度を上げたり、特定の品種の樹木に特化したツールも実現可能でしょう。点群データを扱うためにPointnet2_PyTorchが活用されています。また他にも同様に樹木データを再構築する研究 “Learning to Reconstruct Botanical Trees from Single Images” では、枝と葉を別々に扱うことで、より正確な樹木を再現しようとしています。

Dynamic Neural Garments

論文:https://arxiv.org/pdf/2102.11811.pdf
ソースコード:https://github.com/MengZephyr/DynamicNeuralGarments

ロンドン大学、アドビリサーチによる研究です。VR空間でアバターと呼ばれる仮想キャラクタを用いることが増え、アバターにリアルな衣装を作成するニーズが高まっています。人の動きに合わせたCG衣装のシワやヒダ、布の動き、衣服のシルエットを整えたり、リアルな布の質感といった表現は可能ですが、従来は後処理で時間をかけて行っていました。本研究では人の動きから関節を推定することで、リアルタイムで衣服の外観をシミュレーションする仕組みです。実写映像からの骨格抽出はOpenCVEmbreeが用いられています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

論文:https://arxiv.org/pdf/2106.13228.pdf
ソースコード:https://github.com/google/hypernerf

HyperNeRF(Hyper Neural Radiance Fields) :A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields(映像から形状をモデル化することによりトポロジーの変化にも対応した3Dデータの再構成を実現する手法)」は、カメラ視点に動きのある動画から、三次元形状を再構築する手法です。他の同様のアプローチと比べ、ニューラルネットワークの活用で、エラーや見た目が変な形状になること、実際の形状とは異なる3Dデータが再構築されてしまう事例が圧倒的に減るという画期的な手法です。また、サンプルで示されているように顔の表情が変化したり、口を開け閉めしたり、手を組んだりといったトポロジーが変化する形状にも適切に追従します。

従来型の手法であれば顎が欠けたり、口を開けているのに閉じた3Dデータになってしまいますが、HyperNeRFではそれらの要件も解決しています。手法として3次元形状をそのまま3次元で扱おうとせず、トポロジーの変化も含めた高次元のモデルで俯瞰して扱い、最終的に3次元データに戻すことでトポロジーの変化に強い精度が得られたとのことです。

SuperTrack – Motion Tracking for Physically Simulated Characters using Supervised Learning

論文:https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2021/11/24183638/SuperTrack.pdf

SuperTrack」はカナダのUbisoftによる研究論文発表です。ゲーム中で扱われるリアルなキャラクタの動きを表現し、ゲームに深みを与えるための研究です。従来手法に比べ、学習データの量によらず短い学習時間で高品質な動きが得られるそうです。本手法のポイントは、人間の骨格には可動域や折れ曲がる方向など制限があるためragdoll(ラグドール)と呼ばれる単純化された骨格をモデルをゲーム中の衝突、転倒、物が当たるといった動作の判別に用いています。

ragdollを用いて、十分な規模の機械学習を実施すると、現在のポーズから次の動き、次のポーズを予測することができます。その際、個々のキャラクターをモデル単体としてではなく、空間全体にある構造物として扱うことでより正確にキャラクターの状態を推測できる方式が提案されている点です。本研究の成果はゲームエンジン等でキャラクターの動きを、違和感のない、よりリアルで平易に操作できるインタフェースの実現に貢献するでしょう。

以上、SIGGRAPH Asia 2021 から機械学習、ニューラルネットワークなど人工知能系の技術を活用したCG論文をいくつか紹介しました。ここで紹介しきれなかった論文で、GAN(敵対的生成ネットワーク)を活用した研究も注目されていました。

  1. Barbershop: GAN-based Image Compositing using Segmentation Masks
  2. Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
  3. FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

その他の論文にもみなさんの研究やビジネスのヒントになる最新論文があるかもしれません。人工知能の分野は学術的にもビジネス的にも熾烈な競争が行われている中、CG/VFXの分野にヒントや応用例を見出すことができるかもしれません。

SIGGRAPH Asia 2021 papers on the web (Ke-Sen Huang氏による非公式のSIGGRAPH Asia 2021全論文リンク集)

CG/VFXはどこまで進化する?

CG/VFX技術の進化は、ディープラーニングやニューラルネットワーク、GAN(敵対的生成ネットワーク)などの活用で
さらに進展・進化しつつあります。従来であれば膨大なコンピューティングパワーや精度の面で、実用化が難しかった手法も、ディープラーニングによって素早く最適解を導き出せるようになってきています。

CG/VFXの表現や、研究のモチベーション、用途としては、大きく分けると次の3つに集約すると考えています。

  • 現実を模倣する。人や生き物、自然や建築物など、リアルに表現すること
  • 実社会では見たこともない映像を作る、あり得ない映像を表現する
  • 物理的、構造的、流体的に正しい表現を行うことで、さまざまな産業に役立てる

今回の SIGGRAPH Asia 2021 でとても注目し、体験もさせていただいた展示にサイバーエージェントの「デジタルツインレーベル」があります。これは「現実を模倣する」に当てはまる分野であると言えます。「デジタルツインレーベル」は著名人の高精細な3DCGモデルをデジタルの代役として制作し、広告やCGキャラクタとしての展開に利用するというプロジェクトです。SIGGRAPH Asia 2021 では「デジタルツインレーベル」の施策の一つである出張型3DCGスキャンカー ”THE AVATAR TRUCK” が展示会場に乗り入れ、トラック1台に全ての機材を搭載し、日本中このトラックが行けるところであればどこへでも撮影に行ける機材一式でサンプルデータの取得をデモンストレーションしていました。

DigitalTwinLabel – Ai Tominaga /Cyberagent
動画:https://www.youtube.com/watch?v=khcC8naQpk0
プレスリリース:https://www.cyberagent.co.jp/news/detail/id=26503

幸運にも私もスキャンをお願いすることができました。髪型のリファレンスの撮影、さまざまな照明での顔の質感撮影、しかめっ面や、笑い顔、怒り顔など、いくつかの表情を、約10分ほどで大変スムーズに撮影することができました。スキャントラックには1台レンズ込みで40万円ほどのソニー α7R IIIが55台、ESPER LightCage というフォトスキャン専用のドーム型LEDストロボが搭載されています。

トラック内部のドーム型リグの中
顔の位置を合わせている様子
さまざまな表情での撮影
頭の位置をトラッキングするためのマーカーつきヘッドバンド
全方向からのスキャンデータ

ここで自分の顔の3Dデータが収録できたからといって、すぐに自分の代わりに何かしてくれるとか、代役としてCMに出るといったことはありません。けれども今後エンターテインメント分野以外にもビジネス用途や学習用途でVR空間でのコミュニケーションが広がりつつある現在、今後自分の3Dスキャンはポートレート写真撮影のように一般的になっていくかもしれません。

次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダのバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱(テグ)で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、2022年初めの時点では、どのような形態で開催されるのかは未定です。

SIGGRAPH 2022:https://s2022.siggraph.org/
SIGGRAPH ASIA 2022:https://sa2022.siggraph.org/en/

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.33:AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32:Adobe Sneaks より進化の方向性を知る

 Vol.31:人工知能が考える「顔」と、人が考える「顔」

Vol.30:SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29:AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

Vol.26:アートを加速させるAIの役割 #GTC2021 レポート

Vol.25:変幻自在の顔も実は人工知能

Vol.24:自然現象もすべて人工知能で再現する時代

Vol.23:AIで人の眼に進化するカメラ

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

2021.4.13アート

CGへの扉 Vol.25:変幻自在の顔も実は人工知能

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品まとめ

2021.6.30アート

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品...

CGへの扉 Vol.16:バーチャル開催SIGGRAPH論文を先取り

2020.7.20アート

CGへの扉 Vol.16:バーチャル開催SIGGRAPH論文を先取り

RANKING注目の記事はこちら