モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉安藤幸央機械学習ディープラーニング月刊エンタメAIニュース河合律子GANOpenAI音楽NVIDIA吉本幸記ニューラルネットワーク強化学習Google生成系AI三宅陽一郎QA人工知能学会GPT-3Stable Diffusion自然言語処理グーグルDeepMindFacebook森川幸人シナリオ大内孝子マイクロソフトChatGPT敵対的生成ネットワークルールベースアート映画キャラクターAIスクウェア・エニックスモリカトロンAIラボインタビューAIと倫理SIGGRAPHゲームプレイAI大規模言語モデル倫理デバッグNFTDALL-E2StyleGANプロシージャル遺伝的アルゴリズムモリカトロン著作権画像生成自動生成テストプレイメタAI画像生成AINPCテキスト画像生成ロボット深層学習ファッションCEDEC2019ディープフェイクVFXMidjourneyデジタルツインボードゲームDALL-ECLIPビヘイビア・ツリーCEDEC2021LLMCEDEC2020ゲームAIメタバース不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークGDC 2021マンガJSAI2022AdobeNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022AIアート小説Stability AI懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツCNNBERT作曲MicrosoftUnityMinecraftアニメーションOmniverseメタJSAI2023鴫原盛之HTN階層型タスクネットワークソニー栗原聡手塚治虫汎用人工知能JSAI2020GTC2023TensorFlowインタビューバーチャルヒューマンイベントレポート対話型エージェントAmazonロボティクスDQNMeta水野勇太アバター3DCGUbisoftGenvid TechnologiesガイスターStyleGAN2デジタルヒューマンGTC2022教育音楽生成AIJSAI2021研究シムピープルMCS-AI動的連携モデルモーションキャプチャーElectronic ArtsNeRFマーケティングメタデータGDC SummerブロックチェーンCMMicrosoft Azureアストロノーカキャリア模倣学習eスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアートeSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットAWS徳井直生斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!理化学研究所SIGGRAPH ASIASFNetflix東京大学はこだて未来大学現代アートエージェントDARPAドローンシムシティImagenZorkバイアスプロンプトGPT-4ASBSアドベンチャーゲームTEZUKA2020CEDEC2023AI美空ひばりテキスト生成マルチモーダルバンダイナムコ研究所スパーシャルAI3DLEFT 4 DEADイーロン・マスク通しプレイOpenAI FiveStable Diffusion XL本間翔太CygamesAudio2Faceピクサープラチナエッグイーサリアムボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPT類家利直PyTorchChatGPT4眞鍋和子バンダイナムコスタジオ大澤博隆SFプロトタイピング齊藤陽介マインクラフトお知らせMagic Leap OneTencentバスケットボールサルでもわかる人工知能text-to-3DVAEDreamFusionブラック・ジャックリップシンキングUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンIGDA秋期GTC2022市場分析どうぶつしょうぎEpic GamesRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子マシンラーニング5GMuZeroRival Peakpixivクラウド対話エンジン3Dスキャンリトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画ARMicrosoft DesignerイラストシミュレーションSoul Machines柿沼太一完全情報ゲームELSI坂本洋典釜屋憲彦ウェイポイントパス検索対談藤澤仁生物学GTC 2022画像認識GPT-3.5ハリウッドSiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSGen-1TextWorldEarth-2BingMagenta音声生成AIELYZA PencilScenarioSIGGRAPH2023テキスト画像生成AI松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAIQVE ONEデータマイニングNetHackBardキャラクターモーションControlNetNBAフェイクニュースRPG法律SIGGRAPH 2022世界モデルレベルデザインAIボイスアクターNVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonぱいどん手塚眞不気味の谷ナビゲーションメッシュインディーゲーム高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトNEDOELYZA DIGEST建築音声合成広告西成活裕Apex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder Studioアップルタウン物語新型コロナ土木KELDIC周済涛BIMメロディ言語清田陽司インフラゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockタイムラプスEgo4DAI哲学マップバスキア星新一X.AI日経イノベーション・ラボStyleGAN-XLX Corp.敵対的強化学習StyleGAN3Twitter階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagi竹内将SenpAI.GGProjected GANMobalyticsSelf-Distilled StyleGANSDXL馬淵浩希ニューラルレンダリングRTFKT岡島学AWS SagemakerPLATONIKE映像セリア・ホデント形態素解析frame.ioClone XUXAWS LambdaFoodly村上隆誤字検出森山和道認知科学中川友紀子Digital MarkゲームデザインSentencePieceアールティSnapchatLUMINOUS ENGINEクリエイターコミュニティLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo Serviceちょまどマーク・ザッカーバーグヴァネッサ・ローザGOAPWACULVanessa A RosaAdobe MAX 2021陶芸自動翻訳Play.ht音声AIAIライティングLiDAROmniverse AvatarAIのべりすとPolycamFPSQuillBotdeforumマルコフ決定過程NVIDIA MegatronCopysmith動画生成AINVIDIA MerlinJasperハーベストNVIDIA MetropolisForGamesパラメータ設計ゲームマーケットバランス調整岡野翔太協調フィルタリング郡山喜彦人狼知能テキサス大学ジェフリー・ヒントンGoogle I/O 2023AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OエージェントシミュレーションOpenAI Codex武蔵野美術大学StarCraft IIHyperStyleBingAIFuture of Life InstituteRendering with StyleIntelDisneyFireflyLAIKADisneyリサーチヴィトゲンシュタインPhotoshopRotomationGauGAN論理哲学論考LightroomGauGAN2京都芸術大学Canvaドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXMitsuba2バンダイナムコネクサス虎の穴ソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaGTC2020CG衣装mimicとらのあなNVIDIA MAXINEVRファッションBaidu集英社淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+グリムノーツEponym古文書ComicCopilotゴティエ・ボエダ音声クローニング凸版印刷コミコパGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODTPRGOxia PalusGhostwriterバーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimクーガー田中章愛実況パワフルサッカースカイリム石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZ茂谷保伯池田利夫桃鉄ChatGPT_APIMZGDMC新刊案内パワサカダンジョンズ&ドラゴンズマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPG成沢理恵MITメディアラボMCU岩倉宏介深津貴之アベンジャーズPPOxVASynthマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVMagendaMasquerade2.0国立情報学研究所ノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFサッカーモリカトロン開発者インタビュースパコンAlibaba里井大輝Kaggle宮本茂則スーパーコンピュータVQRF山田暉松岡 聡nvdiffrecAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingSea of ThievesTSUBAME 2.0LERFGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳TikTok初音ミクOculusコード生成AISociety 5.0リアム・ギャラガー転移学習テストAlphaCode夏の電脳甲子園グライムスBaldur's Gate 3Codeforces座談会BoomyCandy Crush Saga自己増強型AItext-to-imageジョン・レジェンドSIGGRAPH ASIA 2020COLMAPザ・ウィークエンドADOPNVIDIA GET3DドレイクデバッギングBigGANGANverse3DTEZUKA2023MaterialGANRNNグランツーリスモSPORTAI絵師エッジワークスReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会GTソフィーPGCFCAVolvoFIAグランツーリスモチャンピオンシップVoiceboxNovelAIさくらインターネットRival PrakDGX A100NovelAI DiffusionVTuberぷよぷよユービーアイソフトWebcam VTuberモーションデータ立教大学星新一賞大阪公立大学北尾まどかHALOポーズ推定TCG将棋メタルギアソリッドVフォートナイトメッシュ生成KLabFSMメルセデス・ベンツQRコードMagic Leap囲碁ナップサック問題Live NationEpyllionデンソー汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブAIOpsムーアの法則原昌宏Spotifyスマートコントラクト日本機械学会Replica Studioロボティクス・メカトロニクス講演会amuseChitrakarQosmoAdobe MAX 2022トヨタ自動車巡回セールスマン問題Adobe MAXかんばん方式ジョルダン曲線メディアAdobe Research村井源政治Galacticaプロット生成クラウドゲーミングがんばれ森川君2号オムロン サイニックエックス和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガMILEsNightCafe東芝デジタルソリューションズ電気通信大学インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI稲葉通将インタラクティブ・メディアポケモン橋本敦史PFN 3D ScanElevenLabs東京工業大学HeyGenLudo博報堂After EffectsラップPFN 4D Scan絵本SIGGRAPH 2019ArtEmisZ世代DreamUp出版AIラッパーシステムDeviantArtAmmaar ReshiWaifu DiffusionStoriesGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBirdFAIRSTCNovel AIVersedチート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity SentisアップルRealFlowRinna Character PlatformUnity MuseiPhoneCALACaleb WardDeep Fluids宮田龍MeInGameAmelia清河幸子AIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和BCIGateboxアフォーダンス安野貴博Learning from VideoANIMAKPaLM-SayCan斧田小夜予期知能逢妻ヒカリ宮本道人セコムGitHub CopilotLLaMA 2ユクスキュルバーチャル警備システムCode as PoliciesLLaMAカント損保ジャパンCaPHugging FaceCM3leon上原利之Stable DoodleドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterPAIROCTOPATH TRAVELERxAI西木康智OCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]アルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所StyleRigAutodeskアンラーニング・ランゲージVoyager逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-Robinsonワールドシミュレーターローレン・リー・マッカーシーColossal Cave Adventure奥村エルネスト純いただきストリートH100鎖国[Walled Garden]プロジェクトAdventureGPT齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソン高橋智隆DGX H100VToonifyBabyAGIロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリングロボコレ2019Instant NeRFフォトグラメトリウィンブルドンartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定意思決定モデル脱出ゲームDeepLIoTHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXウロチョロスSuper PhoenixWatsonxProject MalmoオンラインゲームAthletica気候変動コーチングProject Paidiaシンギュラリティ北見工業大学Project Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析気象モデルRunway ResearchじりつくんLEFT ALIVE気象シミュレーションMake-A-VideoNTT Sportict長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBEロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3ソフトバンクYouTubeダフト・パンクメモリスタAIスマートコーチGlenn MarshallThe Age of A.I.Story2Hallucination音声変換LatitudeレコメンデーションJukeboxDreamboothVeap Japanヤン・ルカンEAPneoAIPerfusionSIFT福井千春DreamIconニューラル物理学DCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar HandyAndreessen Horowitz中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox Studio詩ソニーマーケティングPromethean AIサイレント映画もじぱnote音源分離環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI Newsユニバーサルミュージック粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob OperaWeb3大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRゲームエンジンDreamerV3ライゾマティクスSporeUnreal Engineクリティックネットワーク真鍋大度デノイズ南カリフォルニア大学Unity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIRed RamゼビウスSIGGRAPH 2021ペットマーダーミステリーストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINゲーム背景Actors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AGIAI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners韻律射影MILIZEZaha Hadid Architects韻律転移三菱UFJ信託銀行
CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020
SIGGRAPH ASIA 2020は、すべてオンラインで開催
SIGGRAPHはコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であり、毎年7月から8月にかけて北米で開催されています。今年は新型コロナウイルスの影響でオンライン開催されました。それにひき続き、毎年冬季に開催されるアジア版SIGGRAPHであるSIGGRAPH ASIA 2020も今年はすべてオンラインで開催されました。毎年アジアの各地で持ち回りで開催されていたSIGGRAPH ASIA、今年は、韓国の大邱(テグ)にて11月に開催予定でした。
・CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用(昨年の SIGGRAPH ASIA 2019 紹介記事)
録画済みのセッションは2020年12月4日よりオンライン視聴開始、参加気分が盛り上がりつつあるなか、12月10日(木)〜13日(日)の4日間ライブセッションが配信されます。韓国は日本との時差がないためSIGGRPAH 2020とは異なり、夜中に起きてきて眠い目をこすりながらライブ配信を観るといった苦労もありません。録画済みセッションは終了後3か月間オンラインで視聴可能とのことです。
いち早く、誰でも登録なしかつ無料で見られるコンテンツとして、Facebook Liveで公開された Papers Fast Forward があります。これは今年の全論文の紹介を1本あたり数十秒という短い時間で観るダイジェストで、今年の傾向やCG研究の流行りを把握することができます。
90分も観ていられない!という方には、主要論文をさらに短く紹介した予告編がオススメです。
全論文のリンク集は、公式のものもありますが、有志がまとめたものが大変充実しており無料で見られます。
本記事では、SIGGRAPH ASIA 2020 の論文発表より、人工知能によってCG研究が促進されたもの、人工知能がそのCG研究の根幹をなすもの、新しい取り組みに人工知能を活用しているCG研究などをご紹介します。
SIGGRAPH ASIA 2020 で発表された AIが関連したCG研究論文
今年は305本投稿された論文のなかから109本の論文が採択され、論文集からの採択4本と合わせた合計113本の論文が発表されました。最近は大学の研究者と Adobe Research、NVIDIA、Google Research との共同論文も多く、現場のニーズに即した実用的な研究が好まれるとともに、研究成果が実用化される期間も早まっていることが見て取れます。また論文に名前がなくともこれらの企業がハードウェアやソフトウェアを無償提供している研究も多く、SIGGRAPH発の多数の研究に自社の未来の種を見つけようとしていることが伺えます。
01:Differentiable Vector Graphics Rasterization for Editing and Learning
コンピュータ内ではベクターと呼ばれる、解像度に依存しない画像情報を持っています。けれども画面に表示する際や印刷の際にはラスタライズと呼ばれる工程により、ラスター形式のある解像度を持ったピクセルデータの集合に変換されてしまいます。本研究では画像内の物体の特徴はそのままで、サイズだけを変更するシームカービングの技術他、さまざまな事例でベクトル画像とラスター画像を柔軟に扱っています。ベクトル画像をラスター画像にする際、またその逆の変換の際には必ず情報が失われますが、それらを機械学習によってできるだけ復元しようというアプローチです。
情報を圧縮して圧縮した情報から元の情報に戻す手法であるVAE(Variational Auto Encoder)とGAN(Generative Adversarial Network:敵対的生成ネットワーク)が活用され、さまざまな応用例が紹介されています。
02: Monster Mash: A Single-View Approach to Casual 3D Modeling and Animation
本研究は、手書きスケッチだけで三次元形状とその形状のアニメーションを手軽に設定できるツールです。線画の形状スケッチを描く際に順序を指定することで奥行きや左右の手足といった情報を反映した自然な形状が作られます。その後アニメーション設定のための制御点を指定し、動かすだけで自然な動きが導き出されます。
通常であれば、オブジェクト同士で衝突したり貫通したりといった状況も自然と調整されつつ滑らかなアニメーションが生成されるのです。二次元のスケッチだけでは三次元形状のすべてを描ききれないため、隠れている部分を類推するためにディープラーニングが活用されています。デモサイトでは、マウスで適当に描いた図柄が瞬時に立体的になり動き出すのを見ることができます。
このタイプの、描いたものを手軽に3DCG化するというアプローチはSIGGRAPH 1999の「Teddy」という論文発表に始まり、ここ数年の流行りでもあります。
03:タイトル Lifting Freehand Concept Sketches into 3D
本研究はプロダクトデザイン用のスケッチから三次元形状を自動的に生成するためのアルゴリズム研究です。通常、プロダクトデザインのためのスケッチは、細かい箇所が不正確だったり、迷いながら描かれた何本もの線や作業用の補助線などが描かれているため、そのまますぐに三次元形状に自動変換するのはとても困難な取り組みとなります。まず補助線をガイドにしながら形状を類推し、補助線は補助線として扱うことで、物体が描かれた二次元のスケッチをどの方向からも見られる三次元形状のスケッチとして取り扱えるようになります。
また複雑なスケッチ画から、アーティストが意図した優先すべき線を読み取ることで正確な形状を形成します。ディープラーニングによって、大量のスケッチ画と、そこから専門家によって手作業で変換された三次元形状モデルの対比を
学習データとして扱いました。それによって描かれてはいないけれども実際には存在すべき隠れた線への対応や、どういった線が補助線なのか、同じ箇所に何本も線が描かれている場合は、どれが最終的に選ぶべき線なのかといった、さまざまな線を見分けられるようになるそうです。
04: Scene Mover: Automatic Move Planning for Scene Arrangement by Deep Reinforcement Learning
論文:https://github.com/HanqingWangAI/SceneMover/blob/master/assets/mover.pdf
サンプルコード:https://github.com/HanqingWangAI/SceneMover
本研究は広さに制限のある部屋の中で家具の配置を変更する際、どういった順番で移動させると衝突や手間が少なくて済むかどうかを自動解析するオブジェクトレイアウト専用の手法です。この狭い空間の中をパズルのように物を動かしていくという論文を見て、昔からあるゲーム「倉庫番」 を思い出した人もいるのではないでしょうか? 解析と解析結果の表示にはTensorFlowとTensorFlow専用の可視化ツールキットのPython版TensorBoardXが使われています。
05:Neural Crossbreed: Neural Based Image Metamorphosis
本研究は事前に学習された画像生成モデルを活用することで、ある画像とある画像を混ぜて新しい中庸な画像を変形、生成することのできる手法です。サンプルでは、ある犬と違う品種の犬の顔を掛け合わせることでモーフィングと呼ばれる二つの画像の要素を混ぜ合わせて変形した画像を見ることができます。従来型のモーフィングであれば手作業で目の位置、口の位置などをそれぞれ設定し、細かな調整をした上でやっと滑らかな変化が見られますが、本研究の手法ではディープラーニングを活用した推論により、細かな手作業なしで自然な変化のモーフィングが見られます。これらニューラルベースの画像変形には、DeepMind社が無償で提供している「BigGAN」が使われています。
06:SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis
論文:https://www.cs.tau.ac.il/~noafish/sketchpatch/
サンプルコード:公開間近
本研究は雑多なスケッチをデジタル化したベクターデータとして扱い、模様で置き換えるための手法です。凸版版画風の画像に変換したり、毛糸細工で描いた画像などを生成することができます。従来から手書きのスケッチなどをベクター画像に変換して模様化する手法は存在しましたが、スケッチの状況や品質によって意図しないギザギザやノイズ、背景が混ざるなどの現象が発生することがありました。またMulti-Content GANなどを利用した変換例もありますが、それだけではなかなか人の目で見た品質をクリアできない部分を、本研究ではSIGGRAPH 2013で発表された「RealBrush」という研究と「CycleGAN」の活用で解決しています。
07: MaterialGAN: Reflectance Capture using a Generative SVBRDF Model
論文:https://shuangz.com/projects/materialgan-sa20/
サンプルコード:公開間近
本研究はGANをコンピュータグラフィックで扱う質感表現に応用した事例です。コンピュータグラフィックスで見栄えのよいフェイクではなく、表面の輝きや拡散光など物理的に正しい質感を表現する手法のひとつとしてSVBRDF(Spatially Varying Bidirectional Reflectance Distribution Function : 空間可変双方向反射率分布関数)があります。
従来であればある物体のSVBRDFを解析する場合、ありとあらゆる方向から物体を大量に撮影する必要がありました。
本研究MaterialGANでは数枚の撮影画像からSVBRDFを類推し再構成することができます。解析にはNVIDIAのStyleGAN2 が使われています。このMaterialGANでは、スマートフォンでフラッシュを焚いて撮影するだけでマテリアル情報を再構成することができます。
MaterialGAN: Reflectance Capture using a Generative SVBRDF Model from Shuang Zhao on Vimeo.
08:SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images
論文:https://kevinkaixu.net/projects/symmetrynet.html
サンプルコード:https://github.com/GodZarathustra/SymmetryNet
本研究は最新のスマートフォンなどに搭載されている深度センサー付きのカメラによるRGB-Dの撮影データをもとに撮影できていない部分もふくめて物体の対称性を見い出し、三次元形状を類推するための手法です。本研究では、こういった事例にディープラーニングを応用すると、ある特定の事象にのみ最適化されてしまうというオーバーフィットの課題を回避するアプローチが取られています。サンプル実装にはPyTorchが使われています。
09:ShapeAssembly: Learning to Generate Programs for 3D Shape Structure Synthesis
動画:https://rkjones4.github.io/shapeAssembly.html(GIF動画)
論文:https://arxiv.org/pdf/2009.08026.pdf
サンプルコード:https://github.com/rkjones4/shapeAssembly
三次元形状をゼロから手作業で制作するのはとても手間のかかる作業です。コンピュータグラフィックスの世界ではプロシージャルとよばれる、「手順」を定義することで細かい作業なしに最終目的の形状や質感を生成する手法が最近注目を浴び、映像制作の現場でも普通に使われるようになってきています。このプロシージャルという手順を定義する方法は、平易に最終形を生成できる一方、修正や変更などといった編集作業が大変難しくなります。
本研究ではShapeAssemblyと呼ばれる形状のためのプログラミング言語(アセンブリ言語)を策定し、それによって生成も編集も容易に行えるというアプローチです。例えば、4本足で背もたれがある「椅子」という形状を、平易に定義し微調整することができます。これを応用することで不正確で大量に存在する点群データの形状にプロシージャルな形状をフィッティングさせ本来の形状を類推することができます。サンプル実装にはPyTorchが使われています。
10: TAP-Net: Transport-and-Pack using Reinforcement Learning
動画:http://vcc.szu.edu.cn/file/upload_file//image/research/att202009031455/TAP-Net.mp4
論文:https://vcc.tech/research/2020/TAP
サンプルコード:https://github.com/Juzhan/TAP-Net
本研究は現実世界の運送業には切っても切り離せない、輸送・梱包問題(TAP問題)を人工知能によって解決しようとするアプローチです。複数の回答が導き出される中、導き足した回答に効率や安定といったパラメータで評価することで、最適解を導きだします。ネットワーク分析のためにnetworkxを利用し、RNN(回帰型ニューラルネットワーク)を効果的に活用することで実現しています。このアルゴリズムがあれば、落ちゲーの代表格であるテトリスもあっという間にクリアされてしまうかもしれません。サンプル実装にはPyTorchが使われています。本研究の実装はMITライセンスで公開されているため、このアルゴリズムを商用プロダクトなどに組み込んで利用することも可能です。
人工知能を活用したCGや画像解析のコース、チュートリアルも充実
SIGGRAPHの本分は学会であり、論文発表やCG映像の発表が中心ですが、「コース」とよばれる初学者向けまたは専門家向けのチュートリアルも充実しています。例年であれば、丸一日または半日間、時にはハンズオンも交えながらじっくりと教わる機会もあります。今年はコースの内容は全てオンライン配信となっています。CGのアルゴリズム等を学ぶものから、ディープラーニングを活用したCGや画像解析などのコースが充実しています。
・eXplaiable AI(90分のコース)
従来から人工知能が導き出した結果は、その結果となった理由が分からないから安心して受け入れられないといった事柄が課題となっていたため「eXplainable AI (XAI) 説明可能なAI」という考えが広がっています。このコースでは自身の人工知能プロジェクトに「説明可能な」要素を取り入れるための実践的な知見を提供するものです。最初はXAIの入門レベルの内容ですが、機械学習の専門家にも、機械学習の将来を心配する人にとっても有益な内容のコースで、「説明可能なAI」について広く理解できるようになります。
・PyTorch3D (3時間のコース)
SIGGRAPHの機械学習系の論文でも多数利用され、人工知能研究の定番プラットフォームとも言えるPyTorchの、三次元拡張版であるPyTorch3Dのチュートリアルコース。PyTorch3Dはロボット工学やバーチャルリアリティなど、二次元の画像解析にとどまらない三次元空間での応用に役立つ環境です。二次元の画像解析分野での人工知能応用は広がっているものの、三次元データの扱いやツール、ノウハウはまだまだ不十分です。本コースは3Dデータの取り扱いに特化した使い方や、利用事例を詳しく紹介するものです。
余談ですが、海外の英語カンファレンスのヒアリングには Otter.ai というAI文字おこしアプリと、DeepLというAI翻訳が大変重宝します。時差だけはテクノロジーではどうしようもありませんが、言語の壁はAIによって少しずつ取り払われているように感じる今日この頃です。
今回紹介したSIGGRAPH ASIA 2020のアーカイブ配信は会期終了後も続きます。オンラインカンファレンスは開催地現地での盛り上がりや人と会う楽しさには欠けますが、大量のコンテンツをじっくりと時間をかけて視聴するには良い環境です。新型コロナウィルスの状況により、SIGGRAPHは当分の間、オンラインでの開催が続くものと思われます。今後予定されているSIGGRAPHは下記のとおりです。オンライン開催か否か、開催会期がいつになるのかについても現在のところは未定です。
- SIGGRAPH 2021 米国ロサンジェルス 8/1〜5(未定)
- SIGGRAPH ASIA 2021 東京 12/14〜17(東京国際フォーラム予定・未定)
- SIGGRAPH 2022 カナダバンクーバー 8/7〜11(未定)
本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
CGへの扉:
Vol.1:CG/VFXにおける人工知能の可能性と、その限界
Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目
Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす
Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所
Vol.5:SIGGRAPH 2019に見るCG研究と機械学習
Vol.6:Facebookが取り組むVRとAIのアプローチ
Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”
Vol.8:一流オークションハウスも注目するアートとAIの関係性
Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019
Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に
Vol.17:描画を進化させるTensorFlow Graphicsの真価
Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能
Contributor:安藤幸央