モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉機械学習安藤幸央ディープラーニングGAN月刊エンタメAIニュース河合律子OpenAIニューラルネットワーク音楽NVIDIA強化学習三宅陽一郎吉本幸記FacebookQA人工知能学会GPT-3自然言語処理大内孝子敵対的生成ネットワークGoogleDeepMindキャラクターAIスクウェア・エニックス森川幸人モリカトロンAIラボインタビュールールベースシナリオAIと倫理グーグルデバッグDALL-E2StyleGAN映画倫理ゲームプレイAIマイクロソフトNFTアート自動生成SIGGRAPHメタAIロボット深層学習CEDEC2019プロシージャル遺伝的アルゴリズムDALL-Eテキスト画像生成ビヘイビア・ツリーディープフェイクCEDEC2021CEDEC2020ゲームAIデジタルツインメタバーステストプレイモリカトロン不完全情報ゲームVRナビゲーションAINPC畳み込みニューラルネットワークCLIPGDC 2021JSAI2022VFXGDC 2019マルチエージェントCEDEC2022AIアートボードゲーム画像生成ファッション懐ゲーから辿るゲームAI技術史toioCNNAdobeStable DiffusionUnity著作権小説鴫原盛之HTN階層型タスクネットワーク汎用人工知能JSAI2020TensorFlowインタビューBERTMicrosoftイベントレポート対話型エージェントロボティクス水野勇太アニメーションGenvid Technologiesガイスター画像生成AIStyleGAN2GTC2022教育ソニーJSAI2021スポーツ研究シムピープルマンガマーケティングGDC SummerバーチャルヒューマンブロックチェーンMidjourneyアストロノーカキャリアNVIDIA OmniverseeスポーツAmazoneSportsDQNBLUE PROTOCOLシーマンMinecraftアバターOmniverseUbisoftメタAlphaZeroTransformerGPT-2AIりんなカメラ環世界中島秀之哲学理化学研究所SIGGRAPH ASIADARPAドローンシムシティImagenバイアスMCS-AI動的連携モデルモーションキャプチャーTEZUKA2020AI美空ひばり手塚治虫バンダイナムコ研究所スパーシャルAIElectronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサープラチナエッグイーサリアム作曲ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析Microsoft AzureMILE模倣学習ナラティブアーケードゲームOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事サイバーエージェント田邊雅彦トレーディングカードトレカ音声認識メディアアートPyTorch眞鍋和子バンダイナムコスタジオaibo合成音声Meta齊藤陽介マインクラフトお知らせMagic Leap Oneチャットボットサルでもわかる人工知能VAE3DCGリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022どうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子徳井直生マシンラーニング5GMuZeroRival Peakクラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルCodexコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画rinnaシミュレーションデジタルヒューマン完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索対談ベリサーブ藤澤仁生物学Playable!GTC 2022画像認識SiemensStyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022TextWorldEarth-2MagentaSFELYZA PencilGTC2021CycleGANデータマイニングNetHackはこだて未来大学キャラクターモーションフェイクニュースエージェントRPGSIGGRAPH 2022AIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープASBS栗原聡ぱいどんテキスト生成不気味の谷ナビゲーションメッシュ松井俊浩ELYZAフルコトELYZA DIGEST3D音声合成西成活裕Apex LegendsELIZA群衆マネジメントNinjaコンピュータRPGライブビジネスアップルタウン物語新型コロナKELDIC周済涛メロディ言語清田陽司ゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史タイムラプスEgo4DAI哲学マップバスキア星新一日経イノベーション・ラボStyleGAN-XL敵対的強化学習StyleGAN3階層型強化学習GOSU Data LabGANimatorWANNGOSU Voice AssistantVoLux-GAN竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGAN馬淵浩希Cygamesニューラルレンダリング岡島学AWS SagemakerPLATO映像セリア・ホデント形態素解析frame.ioUXAWS LambdaFoodly誤字検出森山和道認知科学中川友紀子ゲームデザインSentencePieceアールティLUMINOUS ENGINELuminous ProductionsBlenderBot 3パターン・ランゲージ竹村也哉Meta AIちょまどマーク・ザッカーバーグGOAPWACULAdobe MAX 2021自動翻訳AIライティングOmniverse AvatarAIのべりすとFPSNVIDIA RivaQuillBotマルコフ決定過程NVIDIA MegatronCopysmithNVIDIA MerlinJasperスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleMax CooperFuture of Life InstituteRendering with StyleIntelDisney類家利直LAIKADisneyリサーチヴィトゲンシュタインRotomationGauGAN論理哲学論考GauGAN2京都芸術大学ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseDota 2モンテカルロ木探索ディズニーリサーチMitsuba2バンダイナムコネクサスソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューGTC2020CG衣装mimicNVIDIA MAXINEVRファッションBaidu淡路滋ビデオ会議ArtflowERNIE-ViLGグリムノーツEponym古文書ゴティエ・ボエダ音声クローニング凸版印刷Gautier Boeda階層的クラスタリングGopherAI-OCR画像判定JuliusSIE鑑定ラベル付けTPRGOxia Palus大澤博隆バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSFプロトタイピングクーガー田中章愛実況パワフルサッカー石井敦銭起揚NHC 2021桃太郎電鉄茂谷保伯池田利夫桃鉄GDMC新刊案内パワサカマーベル・シネマティック・ユニバースコナミデジタルエンタテインメント成沢理恵MITメディアラボMCU岩倉宏介アベンジャーズPPOマジック・リープDigital DomainMachine Learning Project CanvasMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹サッカーモリカトロン開発者インタビュースパコン里井大輝Kaggle宮本茂則スーパーコンピュータバスケットボール山田暉松岡 聡Assassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0Sea of ThievesTSUBAME 2.0GEMS COMPANYmonoAI technologyLSTMABCIモリカトロンAIソリューション富岳初音ミクOculusコード生成AISociety 5.0転移学習テストAlphaCode夏の電脳甲子園Baldur's Gate 3Codeforces座談会Candy Crush Saga自己増強型AItext-to-imageSIGGRAPH ASIA 2020COLMAPtext-to-3DADOPNVIDIA GET3DデバッギングBigGANGANverse3DDreamFusionMaterialGANRNNグランツーリスモSPORTAI絵師ReBeLグランツーリスモ・ソフィーUGCGTソフィーPGCVolvoFIAグランツーリスモチャンピオンシップStability AINovelAIRival PrakDGX A100NovelAI DiffusionVTuberユービーアイソフトWebcam VTuberモーションデータ星新一賞北尾まどかHALO市場分析ポーズ推定将棋メタルギアソリッドVフォートナイトメッシュ生成FSMメルセデス・ベンツRobloxMagic Leapナップサック問題Live NationEpyllion汎用言語モデルWeb3.0マシュー・ボールAIOpsムーアの法則SpotifyスマートコントラクトReplica StudioAWSamuseChitrakarQosmoAdobe MAX 2022巡回セールスマン問題Adobe MAXジョルダン曲線メディアAdobe Research政治Galacticaクラウドゲーミングがんばれ森川君2号pixiv和田洋一リアリティ番組映像解析Stadiaジョンソン裕子セキュリティMILEsNightCafe東芝デジタルソリューションズインタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AIインタラクティブ・メディアポケモン3DスキャンPFN 3D Scanシーマン人工知能研究所東京工業大学Ludo博報堂Preferred NetworksラップPFN 4D ScanSIGGRAPH 2019ArtEmisZ世代DreamUpAIラッパーシステムDeviantArtARWaifu DiffusionGROVERプラスリンクス ~キミと繋がる想い~元素法典FAIRSTCNovel AIチート検出Style Transfer ConversationOpen AIオンラインカジノRCPMicrosoft DesignerアップルRealFlowRinna Character PlatformイラストiPhoneCALADeep FluidsSoul Machines柿沼太一MeInGameAmeliaELSIAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター大規模言語モデルBCIGateboxアフォーダンスLearning from VideoANIMAKPaLM-SayCan予期知能逢妻ヒカリPaLMセコムGitHub Copilotユクスキュルバーチャル警備システムCode as Policiesカント損保ジャパンCaP上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックPAIROCTOPATH TRAVELERChatGPT西木康智GPT-3.5OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]アルスエレクトロニカ2019品質保証YCAMStyleRigAutodeskアンラーニング・ランゲージ逆転オセロニアBentley Systemsカイル・マクドナルドワールドシミュレーターローレン・リー・マッカーシー奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクト齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022高橋智隆DGX H100VToonifyロボユニザナックDGX SuperPODControlVAE泉幸典仁井谷正充クラウドコンピューティング変分オートエンコーダーロボコレ2019Instant NeRFフォトグラメトリartonomous回帰型ニューラルネットワークbitGANsDeepJoinぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Service意思決定モデル脱出ゲームDeepLHybrid Reward Architectureコミュニティ管理DeepL WriteウロチョロスSuper PhoenixSNSProject Malmoオンラインゲーム気候変動Project PaidiaProject Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsYouTubeダフト・パンクメモリスタGlenn MarshallThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所リザバーコンピューティングプレイ動画ヒップホップソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyGLIDECPUDiscordAvatarCLIPSynthetic DataCALMプログラミングサム・アルトマンソースコード生成LaMDAGMAIシチズンデベロッパーSonanticTRPGGitHubCohereウィザードリィMCN-AI連携モデルマジック:ザ・ギャザリングAI DungeonUrzas.ai介護西川善司並木幸介Kikiサムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsTopaz Video Enhance AICozmoDLSSタカラトミー山野辺一記NetEaseLOVOT大里飛鳥DynamixyzMOFLINRomiU-Netミクシィ13フェイズ構造アドベンチャーゲームユニロボットADVユニボXLandGatoAGI手塚眞DEATH STRANDINGマルチモーダルEric Johnson汎用強化学習AIデザインOculus Questコジマプロダクションロンドン芸術大学生体情報デシマエンジンGoogle BrainインディーゲームSound Control写真高橋ミレイSYNTH SUPER照明Maxim PeterKarl SimsJoshua RomoffArtnomeハイパースケープICONATE山崎陽斗深層強化学習立木創太松原仁浜中雅俊ミライ小町武田英明テスラ福井健策GameGANパックマンTesla BotNEDOTesla AI DayWikipediaソサエティ5.0SphereSIGGRAPH 2020バズグラフXaver 1000ニュースタンテキ養蜂東芝BeewiseDIB-R倉田宜典フィンテック投資韻律射影MILIZE広告韻律転移三菱UFJ信託銀行

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

2022.1.17アート

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

SIGGRAPH Asia 2021はオンラインと会場、ハイブリッド開催

コンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であるSIGGRAPH Asia 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。先月の記事に引き続き、CG/VFX技術で重要な位置を占めている機械学習、人工知能の応用研究をいくつか紹介します。

SIGGRAPH の本分は論文

SIGGRAPH/SIGGRAPH Asiaでは、アートギャラリー、最新技術、ハリウッド映画のメイキングと派手な部分に注目が集まりがちですが、本分は学会でありトップカンファレンスと呼ばれる採択されるのが難しい世界最高峰のCG分野の学会のひとつでもあります。今年の SIGGRAPH Asia 2021 では厳選された 94本の論文が発表されました。

今回はハイブリッド開催ということで、参加者は事前にオンラインで詳しい論文発表の収録動画を視聴しておき、会場とリアルタイム配信ではQ&Aやディスカッションを中心にタイムテーブルが組まれました。さらに論文発表後に各分野の第一線で活躍する研究者による論文解説が行われました。会場とオンラインをうまく組み合わせた形式の論文発表は、参加者の論文に関する理解が深まるとともに、業界動向や、論文の新規性、今後の可能性などを詳しく知ることができ、参加者にも大変好評な形式で発表がなされました。

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering

論文:https://studios.disneyresearch.com/app/uploads/2021/11/RenderingWithStyle.pdf
動画:https://www.youtube.com/watch?v=TwpLqTmvqVk

Rendering with Style:Combining Traditional and Neural Approaches for High-Quality Face Rendering(伝統的な手法と、ニューラルネットワークを活用した高品質な顔CGの描画表現)」は、ディズニーリサーチによる高品質な顔CG作成の手法です。撮影した顔のデータから、アーティストの手を煩わせることなく自動的に顔CGを作成することができます。

まず従来手法の顔CG制作で、肌の外観、表情、視点、照明などを思い通りに表現します。次に、これらの肌の描画結果を、任意のフォトリアルな顔画像を生成できる、事前に学習されたニューラルネットワーク(StyleGAN2)で扱います。その結果、3Dキャラクターの個性と外観の表現を一致させつつ、合成された髪の毛、目、口の中を生成することができ、周囲の環境に合わせた一連のリアルな顔画像が得られます。この手法を用いると、フルCGアニメーションのディズニーのキャラクタの雰囲気そのままの実在しない人間の俳優の顔として表現が可能となるのです。

Neural Frame Interpolation for Rendered Content

論文:https://studios.disneyresearch.com/app/uploads/2021/10/Neural-Frame-Interpolation-for-Rendered-Content.pdf

Neural Frame Interpolation for Rendered Content(描画されたコンテンツのためのニューラルフレーム補間)」はディズニーリサーチによるアニメーションのフレーム補完に関する研究で、より良い動きを推定し、物や床、壁との衝突を考慮した上で、非線形の動きを適切に再構築するための解決策を提案するものです。従来、動画として成立するために1秒間に24コマ、30コマ、60コマといったCG映像を生み出すために膨大な計算資源を消費します。ところが実際のところ、ある1フレーム(コマ)の次のフレームは少し異なり、動きや変化はありますが、その差はわずかです。

その点に着目し、少ないコマ数を生成した後にその間のコマを補完で求めることで計算コストを低減させる手法です。こういった考えは古くからありましたが、実際はそううまく補完されません。本研究ではCG映像計算の中間生成物である深さ、法線、反射といった補助データを用い、場面ごとに適切なニューラルネットワークを構築することで、精度の高い実用に耐えうるフレーム間補完が実現しました。

Foids: Bio-Inspired Fish Simulation for Generating Synthetic Datasets

論文:https://masakinakada.com/pdfs/foids21.pdf

魚の養殖や漁業において、魚の数を数える作業は非常に面倒なもので、一度魚を水から引き上げ、秤で重量を計測しています。これは漁業に従事する人にとって面倒なだけではなく、魚にとってもストレスや死因になりうる無理を強いる作業です。「Foids:Bio-Inspired Fish Simulation for Generating Synthetic Datasets(合成データセットを生成するための生物を参考にした魚のシミュレーション)」の研究は、魚の大きさや動きに応じて数え方を変えるコンピュータビジョンを用いた新しい手法を提案するものです。これによって、養魚場の給餌を最適化したり、長期的な養魚の計画が可能になり、産業的に革新的な課題解決の方法です。

一般的なコンピュータビジョンの解析手法では、高解像度の画像データをもとに解析することがほとんどですが、本研究では、魚の形状や魚の動きを3D空間上でシミュレーションし、その計算上の動きや魚の数と、実際の漁場の映像とを機械学習を繰り返し差分を埋めていきます。そうすることでシミュレーション上の魚の数から実際の魚の数を正確に把握できるようになる斬新な切り口の手法です。物体を検出する機械学習モデルには YOLO-v4が用いられています。

Neural Radiosity

論文:https://arxiv.org/pdf/2105.12319v2.pdf
動画:http://www.cs.umd.edu/~saeedhd/files/Neural_Radiosity/Neural_Radiosity_Sup_Video.mov (ダウンロードサイズ、約400MB)

3DCGの画像生成方法のひとつとして大域照明(ラジオシティ法)が建築CGなどで広く利用されています。この手法は空間内の光の挙動を物理法則に従って正確に計算することで写実的な画像を生み出すもので、膨大な計算資源が必要となります。また計算回数を増やせば増やすほどノイズの少ない高精細な画像が生成できるため、質的に満足のいく画像になるまで、またトライ&エラーの繰り返しで計算資源がいくらあっても足りなくなる傾向にあります。発表された研究「Neural Radiosity」は、ニューラルネットワークを活用した大域照明描画(ラジオシティ法)であり、すべての計算を高精度で厳密に行うのではなく素早く近似値にたどり着く方法を編み出しています。物理法則に則った描画にはMitsuba2が用いられています。

Layered Neural Atlases for Consistent Video Editing

論文:https://arxiv.org/pdf/2109.11418.pdf
ソースコード:https://github.com/ykasten/layered-neural-atlases

Layered Neural Atlases for Consistent Video Editing(ビデオ編集のためのニューラルネットワークを活用した映像分割)」はアドビリサーチとワイツマン科学研究所による研究です。近い将来Adobeのツールに搭載されることが期待される技術です。カメラや視点が動いている動画から、そこに写っている背景と映像として注目している物体とを分離して抽出することで、背景映像を手軽に差し替えることのできる技術です。

ZoomやGoogle Meetなどのビデオ会議ツールでは、くり抜き合成のためのグリーンバック背景が無くともカメラ映像だけで人物と背景とを分離させてバーチャル背景に差し替えることができます。そういったテレビ会議と同じような手軽さで、動画の背景を差し替えることのできる手法です。

一般的な実写動画の場合ビデオ会議に比べ、カメラの向きや、動きなども変化するため、そう簡単にはいかないことは容易に予想できます。本研究では動画に写っている背景から特徴点検出と映像の類似性から本来どういう背景なのかを広範囲で予想します。その予想された背景と映像との差分から映像中の動きを持った物体や人物を抽出することができています。まだまだ境界部分の処理が甘い感じがしますが、処理時間と品質とのバランスをうまくとれば実用も間近だと考えられます。背景映像の変化を捉えるためにオプティカルフローの最近の実装であるRAFT が使われています。

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction

論文:https://vcc.tech/file/upload_file//image/research/att202109301259/TreePartNet.pdf
ソースコード:https://github.com/marktube/TreePartNet

TreePartNet:Neural Decomposition of Point Clouds for 3D Tree Reconstruction(点群のニューラル分解による3次元木構造の復元)」実在の樹木を写した写真から点群データを抽出し、ニューラルネットワークを活用して樹木の3Dデータを再構築する手法です。樹木は基本的には円筒状の形状をした枝の集合であることに加え、外れ値やノイズ、不完全性などの要素を加えて樹木データを再構築します。出来上がったデータは、元の樹木と100%等価ではありませんが、街灯樹のCGや、植栽のCGに使うには十分な品質のデータが得られます。

この手法の評価は、元となった実際の樹木との差分を評価すれば良いため、学習データを増やすことでさらに再構築の精度を上げたり、特定の品種の樹木に特化したツールも実現可能でしょう。点群データを扱うためにPointnet2_PyTorchが活用されています。また他にも同様に樹木データを再構築する研究 “Learning to Reconstruct Botanical Trees from Single Images” では、枝と葉を別々に扱うことで、より正確な樹木を再現しようとしています。

Dynamic Neural Garments

論文:https://arxiv.org/pdf/2102.11811.pdf
ソースコード:https://github.com/MengZephyr/DynamicNeuralGarments

ロンドン大学、アドビリサーチによる研究です。VR空間でアバターと呼ばれる仮想キャラクタを用いることが増え、アバターにリアルな衣装を作成するニーズが高まっています。人の動きに合わせたCG衣装のシワやヒダ、布の動き、衣服のシルエットを整えたり、リアルな布の質感といった表現は可能ですが、従来は後処理で時間をかけて行っていました。本研究では人の動きから関節を推定することで、リアルタイムで衣服の外観をシミュレーションする仕組みです。実写映像からの骨格抽出はOpenCVEmbreeが用いられています。

HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields

論文:https://arxiv.org/pdf/2106.13228.pdf
ソースコード:https://github.com/google/hypernerf

HyperNeRF(Hyper Neural Radiance Fields) :A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields(映像から形状をモデル化することによりトポロジーの変化にも対応した3Dデータの再構成を実現する手法)」は、カメラ視点に動きのある動画から、三次元形状を再構築する手法です。他の同様のアプローチと比べ、ニューラルネットワークの活用で、エラーや見た目が変な形状になること、実際の形状とは異なる3Dデータが再構築されてしまう事例が圧倒的に減るという画期的な手法です。また、サンプルで示されているように顔の表情が変化したり、口を開け閉めしたり、手を組んだりといったトポロジーが変化する形状にも適切に追従します。

従来型の手法であれば顎が欠けたり、口を開けているのに閉じた3Dデータになってしまいますが、HyperNeRFではそれらの要件も解決しています。手法として3次元形状をそのまま3次元で扱おうとせず、トポロジーの変化も含めた高次元のモデルで俯瞰して扱い、最終的に3次元データに戻すことでトポロジーの変化に強い精度が得られたとのことです。

SuperTrack – Motion Tracking for Physically Simulated Characters using Supervised Learning

論文:https://static-wordpress.akamaized.net/montreal.ubisoft.com/wp-content/uploads/2021/11/24183638/SuperTrack.pdf

SuperTrack」はカナダのUbisoftによる研究論文発表です。ゲーム中で扱われるリアルなキャラクタの動きを表現し、ゲームに深みを与えるための研究です。従来手法に比べ、学習データの量によらず短い学習時間で高品質な動きが得られるそうです。本手法のポイントは、人間の骨格には可動域や折れ曲がる方向など制限があるためragdoll(ラグドール)と呼ばれる単純化された骨格をモデルをゲーム中の衝突、転倒、物が当たるといった動作の判別に用いています。

ragdollを用いて、十分な規模の機械学習を実施すると、現在のポーズから次の動き、次のポーズを予測することができます。その際、個々のキャラクターをモデル単体としてではなく、空間全体にある構造物として扱うことでより正確にキャラクターの状態を推測できる方式が提案されている点です。本研究の成果はゲームエンジン等でキャラクターの動きを、違和感のない、よりリアルで平易に操作できるインタフェースの実現に貢献するでしょう。

以上、SIGGRAPH Asia 2021 から機械学習、ニューラルネットワークなど人工知能系の技術を活用したCG論文をいくつか紹介しました。ここで紹介しきれなかった論文で、GAN(敵対的生成ネットワーク)を活用した研究も注目されていました。

  1. Barbershop: GAN-based Image Compositing using Segmentation Masks
  2. Pose with Style: Detail-Preserving Pose-Guided Image Synthesis with Conditional StyleGAN
  3. FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

その他の論文にもみなさんの研究やビジネスのヒントになる最新論文があるかもしれません。人工知能の分野は学術的にもビジネス的にも熾烈な競争が行われている中、CG/VFXの分野にヒントや応用例を見出すことができるかもしれません。

SIGGRAPH Asia 2021 papers on the web (Ke-Sen Huang氏による非公式のSIGGRAPH Asia 2021全論文リンク集)

CG/VFXはどこまで進化する?

CG/VFX技術の進化は、ディープラーニングやニューラルネットワーク、GAN(敵対的生成ネットワーク)などの活用で
さらに進展・進化しつつあります。従来であれば膨大なコンピューティングパワーや精度の面で、実用化が難しかった手法も、ディープラーニングによって素早く最適解を導き出せるようになってきています。

CG/VFXの表現や、研究のモチベーション、用途としては、大きく分けると次の3つに集約すると考えています。

  • 現実を模倣する。人や生き物、自然や建築物など、リアルに表現すること
  • 実社会では見たこともない映像を作る、あり得ない映像を表現する
  • 物理的、構造的、流体的に正しい表現を行うことで、さまざまな産業に役立てる

今回の SIGGRAPH Asia 2021 でとても注目し、体験もさせていただいた展示にサイバーエージェントの「デジタルツインレーベル」があります。これは「現実を模倣する」に当てはまる分野であると言えます。「デジタルツインレーベル」は著名人の高精細な3DCGモデルをデジタルの代役として制作し、広告やCGキャラクタとしての展開に利用するというプロジェクトです。SIGGRAPH Asia 2021 では「デジタルツインレーベル」の施策の一つである出張型3DCGスキャンカー ”THE AVATAR TRUCK” が展示会場に乗り入れ、トラック1台に全ての機材を搭載し、日本中このトラックが行けるところであればどこへでも撮影に行ける機材一式でサンプルデータの取得をデモンストレーションしていました。

DigitalTwinLabel – Ai Tominaga /Cyberagent
動画:https://www.youtube.com/watch?v=khcC8naQpk0
プレスリリース:https://www.cyberagent.co.jp/news/detail/id=26503

幸運にも私もスキャンをお願いすることができました。髪型のリファレンスの撮影、さまざまな照明での顔の質感撮影、しかめっ面や、笑い顔、怒り顔など、いくつかの表情を、約10分ほどで大変スムーズに撮影することができました。スキャントラックには1台レンズ込みで40万円ほどのソニー α7R IIIが55台、ESPER LightCage というフォトスキャン専用のドーム型LEDストロボが搭載されています。

トラック内部のドーム型リグの中
顔の位置を合わせている様子
さまざまな表情での撮影
頭の位置をトラッキングするためのマーカーつきヘッドバンド
全方向からのスキャンデータ

ここで自分の顔の3Dデータが収録できたからといって、すぐに自分の代わりに何かしてくれるとか、代役としてCMに出るといったことはありません。けれども今後エンターテインメント分野以外にもビジネス用途や学習用途でVR空間でのコミュニケーションが広がりつつある現在、今後自分の3Dスキャンはポートレート写真撮影のように一般的になっていくかもしれません。

次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダのバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱(テグ)で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、2022年初めの時点では、どのような形態で開催されるのかは未定です。

SIGGRAPH 2022:https://s2022.siggraph.org/
SIGGRAPH ASIA 2022:https://sa2022.siggraph.org/en/

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉

Vol.33:AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32:Adobe Sneaks より進化の方向性を知る

 Vol.31:人工知能が考える「顔」と、人が考える「顔」

Vol.30:SIGGRAPH2021レポート「ディープフェイクとの戦い」

Vol.29:AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より

Vol.28:定番手法の他分野応用、自然言語処理AI由来の画像処理AI

Vol.27:眼に追いつけ追い越せ? カメラは機械学習により進化

Vol.26:アートを加速させるAIの役割 #GTC2021 レポート

Vol.25:変幻自在の顔も実は人工知能

Vol.24:自然現象もすべて人工知能で再現する時代

Vol.23:AIで人の眼に進化するカメラ

Vol.22:言葉から画像を生成、DALL-Eはクリエイティブなのか?

≫≫すべてのバックナンバーはこちらから

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

2020.9.29アート

CGへの扉 Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍...

AIによる監視資本主義の先にある希望を探求する体験型アート 『アンラーニング・ランゲージ』

2023.1.10アート

AIによる監視資本主義の先にある希望を探求する体験型アート 『アンラーニング・ラ...

CGへの扉 Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

2019.10.16アート

CGへの扉 Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

RANKING注目の記事はこちら