モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGANNVIDIA音楽Google三宅陽一郎強化学習ニューラルネットワークStable DiffusionChatGPTグーグル森川幸人シナリオDeepMindQA人工知能学会GPT-3自然言語処理マイクロソフト大規模言語モデルFacebook大内孝子映画著作権AIと倫理キャラクターAI敵対的生成ネットワークルールベースアート倫理SIGGRAPHモリカトロンゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成LLMNPCNFTプロシージャルMidjourneyデバッグMinecraftDALL-E2StyleGAN遺伝的アルゴリズム画像生成AIロボット自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインメタバースVRボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツエージェントプロンプト栗原聡手塚治虫CNNNeRFDALL-E 3バーチャルヒューマンBERTロボティクスUnityOmniverseJSAI2023鴫原盛之HTN階層型タスクネットワークソニーGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルRed RamモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成インディーゲームElectronic Arts音声合成マーケティングメタデータGDC SummerStable Diffusion XLCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞バンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオAI Frog Interactive新清士大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェント人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

2020.12.14アート

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

SIGGRAPH ASIA 2020は、すべてオンラインで開催

SIGGRAPHはコンピュータグラフィックスとインタラクティブ技術に関する学会・展示会であり、毎年7月から8月にかけて北米で開催されています。今年は新型コロナウイルスの影響でオンライン開催されました。それにひき続き、毎年冬季に開催されるアジア版SIGGRAPHであるSIGGRAPH ASIA 2020も今年はすべてオンラインで開催されました。毎年アジアの各地で持ち回りで開催されていたSIGGRAPH ASIA、今年は、韓国の大邱(テグ)にて11月に開催予定でした。

SIGGRAPH ASIA 2020 開催概要

CGへの扉 Vol.9:現実の課題を解決するCGとAIの相互作用(昨年の SIGGRAPH ASIA 2019 紹介記事)

録画済みのセッションは2020年12月4日よりオンライン視聴開始、参加気分が盛り上がりつつあるなか、12月10日(木)〜13日(日)の4日間ライブセッションが配信されます。韓国は日本との時差がないためSIGGRPAH 2020とは異なり、夜中に起きてきて眠い目をこすりながらライブ配信を観るといった苦労もありません。録画済みセッションは終了後3か月間オンラインで視聴可能とのことです。

いち早く、誰でも登録なしかつ無料で見られるコンテンツとして、Facebook Liveで公開された Papers Fast Forward があります。これは今年の全論文の紹介を1本あたり数十秒という短い時間で観るダイジェストで、今年の傾向やCG研究の流行りを把握することができます。

SIGGRAPH Asia 2020 – Technical Papers Fast Forward(約90分)

90分も観ていられない!という方には、主要論文をさらに短く紹介した予告編がオススメです。

SIGGRAPH Asia 2020 – Technical Papers Trailer(約4分)

全論文のリンク集は、公式のものもありますが、有志がまとめたものが大変充実しており無料で見られます。

https://kesen.realtimerendering.com/siga2020Papers.htm

本記事では、SIGGRAPH ASIA 2020 の論文発表より、人工知能によってCG研究が促進されたもの、人工知能がそのCG研究の根幹をなすもの、新しい取り組みに人工知能を活用しているCG研究などをご紹介します。

SIGGRAPH ASIA 2020 で発表された AIが関連したCG研究論文

今年は305本投稿された論文のなかから109本の論文が採択され、論文集からの採択4本と合わせた合計113本の論文が発表されました。最近は大学の研究者と Adobe Research、NVIDIA、Google Research との共同論文も多く、現場のニーズに即した実用的な研究が好まれるとともに、研究成果が実用化される期間も早まっていることが見て取れます。また論文に名前がなくともこれらの企業がハードウェアやソフトウェアを無償提供している研究も多く、SIGGRAPH発の多数の研究に自社の未来の種を見つけようとしていることが伺えます。

01:Differentiable Vector Graphics Rasterization for Editing and Learning

 

論文:https://people.csail.mit.edu/tzumao/diffvg/
サンプルコード:https://github.com/BachiLi/diffvg

コンピュータ内ではベクターと呼ばれる、解像度に依存しない画像情報を持っています。けれども画面に表示する際や印刷の際にはラスタライズと呼ばれる工程により、ラスター形式のある解像度を持ったピクセルデータの集合に変換されてしまいます。本研究では画像内の物体の特徴はそのままで、サイズだけを変更するシームカービングの技術他、さまざまな事例でベクトル画像とラスター画像を柔軟に扱っています。ベクトル画像をラスター画像にする際、またその逆の変換の際には必ず情報が失われますが、それらを機械学習によってできるだけ復元しようというアプローチです。

情報を圧縮して圧縮した情報から元の情報に戻す手法であるVAE(Variational Auto Encoder)とGAN(Generative Adversarial Network:敵対的生成ネットワーク)が活用され、さまざまな応用例が紹介されています。

02: Monster Mash: A Single-View Approach to Casual 3D Modeling and Animation

 

 

論文:https://dcgi.fel.cvut.cz/home/sykorad/monster_mash
デモサイト:http://monstermash.zone/

本研究は、手書きスケッチだけで三次元形状とその形状のアニメーションを手軽に設定できるツールです。線画の形状スケッチを描く際に順序を指定することで奥行きや左右の手足といった情報を反映した自然な形状が作られます。その後アニメーション設定のための制御点を指定し、動かすだけで自然な動きが導き出されます。

通常であれば、オブジェクト同士で衝突したり貫通したりといった状況も自然と調整されつつ滑らかなアニメーションが生成されるのです。二次元のスケッチだけでは三次元形状のすべてを描ききれないため、隠れている部分を類推するためにディープラーニングが活用されています。デモサイトでは、マウスで適当に描いた図柄が瞬時に立体的になり動き出すのを見ることができます。

このタイプの、描いたものを手軽に3DCG化するというアプローチはSIGGRAPH 1999の「Teddy」という論文発表に始まり、ここ数年の流行りでもあります。

03:タイトル Lifting Freehand Concept Sketches into 3D

 

論文:https://ns.inria.fr/d3/Lift3D/
サンプルコード:https://github.com/ygryadit/LiftConceptSketches3D

本研究はプロダクトデザイン用のスケッチから三次元形状を自動的に生成するためのアルゴリズム研究です。通常、プロダクトデザインのためのスケッチは、細かい箇所が不正確だったり、迷いながら描かれた何本もの線や作業用の補助線などが描かれているため、そのまますぐに三次元形状に自動変換するのはとても困難な取り組みとなります。まず補助線をガイドにしながら形状を類推し、補助線は補助線として扱うことで、物体が描かれた二次元のスケッチをどの方向からも見られる三次元形状のスケッチとして取り扱えるようになります。

また複雑なスケッチ画から、アーティストが意図した優先すべき線を読み取ることで正確な形状を形成します。ディープラーニングによって、大量のスケッチ画と、そこから専門家によって手作業で変換された三次元形状モデルの対比を
学習データとして扱いました。それによって描かれてはいないけれども実際には存在すべき隠れた線への対応や、どういった線が補助線なのか、同じ箇所に何本も線が描かれている場合は、どれが最終的に選ぶべき線なのかといった、さまざまな線を見分けられるようになるそうです。

04: Scene Mover: Automatic Move Planning for Scene Arrangement by Deep Reinforcement Learning

論文:https://github.com/HanqingWangAI/SceneMover/blob/master/assets/mover.pdf
サンプルコード:https://github.com/HanqingWangAI/SceneMover

本研究は広さに制限のある部屋の中で家具の配置を変更する際、どういった順番で移動させると衝突や手間が少なくて済むかどうかを自動解析するオブジェクトレイアウト専用の手法です。この狭い空間の中をパズルのように物を動かしていくという論文を見て、昔からあるゲーム「倉庫番」 を思い出した人もいるのではないでしょうか? 解析と解析結果の表示にはTensorFlowとTensorFlow専用の可視化ツールキットのPython版TensorBoardXが使われています。

05:Neural Crossbreed: Neural Based Image Metamorphosis

論文:https://arxiv.org/pdf/2009.00905.pdf
サンプルコード:https://github.com/sanghunpark/neural_crossbreed

本研究は事前に学習された画像生成モデルを活用することで、ある画像とある画像を混ぜて新しい中庸な画像を変形、生成することのできる手法です。サンプルでは、ある犬と違う品種の犬の顔を掛け合わせることでモーフィングと呼ばれる二つの画像の要素を混ぜ合わせて変形した画像を見ることができます。従来型のモーフィングであれば手作業で目の位置、口の位置などをそれぞれ設定し、細かな調整をした上でやっと滑らかな変化が見られますが、本研究の手法ではディープラーニングを活用した推論により、細かな手作業なしで自然な変化のモーフィングが見られます。これらニューラルベースの画像変形には、DeepMind社が無償で提供している「BigGAN」が使われています。

06:SketchPatch: Sketch Stylization via Seamless Patch-level Synthesis

論文:https://www.cs.tau.ac.il/~noafish/sketchpatch/
サンプルコード:公開間近

本研究は雑多なスケッチをデジタル化したベクターデータとして扱い、模様で置き換えるための手法です。凸版版画風の画像に変換したり、毛糸細工で描いた画像などを生成することができます。従来から手書きのスケッチなどをベクター画像に変換して模様化する手法は存在しましたが、スケッチの状況や品質によって意図しないギザギザやノイズ、背景が混ざるなどの現象が発生することがありました。またMulti-Content GANなどを利用した変換例もありますが、それだけではなかなか人の目で見た品質をクリアできない部分を、本研究ではSIGGRAPH 2013で発表された「RealBrush」という研究と「CycleGAN」の活用で解決しています。

07: MaterialGAN: Reflectance Capture using a Generative SVBRDF Model

論文:https://shuangz.com/projects/materialgan-sa20/
サンプルコード:公開間近

本研究はGANをコンピュータグラフィックで扱う質感表現に応用した事例です。コンピュータグラフィックスで見栄えのよいフェイクではなく、表面の輝きや拡散光など物理的に正しい質感を表現する手法のひとつとしてSVBRDF(Spatially Varying Bidirectional Reflectance Distribution Function : 空間可変双方向反射率分布関数)があります。

従来であればある物体のSVBRDFを解析する場合、ありとあらゆる方向から物体を大量に撮影する必要がありました。
本研究MaterialGANでは数枚の撮影画像からSVBRDFを類推し再構成することができます。解析にはNVIDIAのStyleGAN2 が使われています。このMaterialGANでは、スマートフォンでフラッシュを焚いて撮影するだけでマテリアル情報を再構成することができます。

MaterialGAN: Reflectance Capture using a Generative SVBRDF Model from Shuang Zhao on Vimeo.

08:SymmetryNet: Learning to Predict Reflectional and Rotational Symmetries of 3D Shapes from Single-View RGB-D Images

論文:https://kevinkaixu.net/projects/symmetrynet.html
サンプルコード:https://github.com/GodZarathustra/SymmetryNet

本研究は最新のスマートフォンなどに搭載されている深度センサー付きのカメラによるRGB-Dの撮影データをもとに撮影できていない部分もふくめて物体の対称性を見い出し、三次元形状を類推するための手法です。本研究では、こういった事例にディープラーニングを応用すると、ある特定の事象にのみ最適化されてしまうというオーバーフィットの課題を回避するアプローチが取られています。サンプル実装にはPyTorchが使われています。

09:ShapeAssembly: Learning to Generate Programs for 3D Shape Structure Synthesis

動画:https://rkjones4.github.io/shapeAssembly.html(GIF動画)
論文:https://arxiv.org/pdf/2009.08026.pdf
サンプルコード:https://github.com/rkjones4/shapeAssembly

三次元形状をゼロから手作業で制作するのはとても手間のかかる作業です。コンピュータグラフィックスの世界ではプロシージャルとよばれる、「手順」を定義することで細かい作業なしに最終目的の形状や質感を生成する手法が最近注目を浴び、映像制作の現場でも普通に使われるようになってきています。このプロシージャルという手順を定義する方法は、平易に最終形を生成できる一方、修正や変更などといった編集作業が大変難しくなります。

本研究ではShapeAssemblyと呼ばれる形状のためのプログラミング言語(アセンブリ言語)を策定し、それによって生成も編集も容易に行えるというアプローチです。例えば、4本足で背もたれがある「椅子」という形状を、平易に定義し微調整することができます。これを応用することで不正確で大量に存在する点群データの形状にプロシージャルな形状をフィッティングさせ本来の形状を類推することができます。サンプル実装にはPyTorchが使われています。

10: TAP-Net: Transport-and-Pack using Reinforcement Learning

動画:http://vcc.szu.edu.cn/file/upload_file//image/research/att202009031455/TAP-Net.mp4
論文:https://vcc.tech/research/2020/TAP
サンプルコード:https://github.com/Juzhan/TAP-Net

本研究は現実世界の運送業には切っても切り離せない、輸送・梱包問題(TAP問題)を人工知能によって解決しようとするアプローチです。複数の回答が導き出される中、導き足した回答に効率や安定といったパラメータで評価することで、最適解を導きだします。ネットワーク分析のためにnetworkxを利用し、RNN(回帰型ニューラルネットワーク)を効果的に活用することで実現しています。このアルゴリズムがあれば、落ちゲーの代表格であるテトリスもあっという間にクリアされてしまうかもしれません。サンプル実装にはPyTorchが使われています。本研究の実装はMITライセンスで公開されているため、このアルゴリズムを商用プロダクトなどに組み込んで利用することも可能です。

人工知能を活用したCGや画像解析のコース、チュートリアルも充実

SIGGRAPHの本分は学会であり、論文発表やCG映像の発表が中心ですが、「コース」とよばれる初学者向けまたは専門家向けのチュートリアルも充実しています。例年であれば、丸一日または半日間、時にはハンズオンも交えながらじっくりと教わる機会もあります。今年はコースの内容は全てオンライン配信となっています。CGのアルゴリズム等を学ぶものから、ディープラーニングを活用したCGや画像解析などのコースが充実しています。

eXplaiable AI(90分のコース)

従来から人工知能が導き出した結果は、その結果となった理由が分からないから安心して受け入れられないといった事柄が課題となっていたため「eXplainable AI (XAI) 説明可能なAI」という考えが広がっています。このコースでは自身の人工知能プロジェクトに「説明可能な」要素を取り入れるための実践的な知見を提供するものです。最初はXAIの入門レベルの内容ですが、機械学習の専門家にも、機械学習の将来を心配する人にとっても有益な内容のコースで、「説明可能なAI」について広く理解できるようになります。

PyTorch3D (3時間のコース)

SIGGRAPHの機械学習系の論文でも多数利用され、人工知能研究の定番プラットフォームとも言えるPyTorchの、三次元拡張版であるPyTorch3Dのチュートリアルコース。PyTorch3Dはロボット工学やバーチャルリアリティなど、二次元の画像解析にとどまらない三次元空間での応用に役立つ環境です。二次元の画像解析分野での人工知能応用は広がっているものの、三次元データの扱いやツール、ノウハウはまだまだ不十分です。本コースは3Dデータの取り扱いに特化した使い方や、利用事例を詳しく紹介するものです。

余談ですが、海外の英語カンファレンスのヒアリングには Otter.ai というAI文字おこしアプリと、DeepLというAI翻訳が大変重宝します。時差だけはテクノロジーではどうしようもありませんが、言語の壁はAIによって少しずつ取り払われているように感じる今日この頃です。

今回紹介したSIGGRAPH ASIA 2020のアーカイブ配信は会期終了後も続きます。オンラインカンファレンスは開催地現地での盛り上がりや人と会う楽しさには欠けますが、大量のコンテンツをじっくりと時間をかけて視聴するには良い環境です。新型コロナウィルスの状況により、SIGGRAPHは当分の間、オンラインでの開催が続くものと思われます。今後予定されているSIGGRAPHは下記のとおりです。オンライン開催か否か、開催会期がいつになるのかについても現在のところは未定です。

  1. SIGGRAPH 2021 米国ロサンジェルス 8/1〜5(未定)
  2. SIGGRAPH ASIA 2021 東京 12/14〜17(東京国際フォーラム予定・未定)
  3. SIGGRAPH 2022 カナダバンクーバー 8/7〜11(未定)

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10:老齢とは無縁、De-Aging技術の台頭

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.14:AIが生み出す顔と人間の表情

Vol.15:撮影に革新をもたらすAIによる照明

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

Vol.20:Adobeと人工知能の将来を見極める #AdobeMAX2020

Contributor:安藤幸央

RELATED ARTICLE関連記事

一貫性のある動画や電子透かし付き画像を生成。Googleが発表した最新生成AI解説

2024.2.21アート

一貫性のある動画や電子透かし付き画像を生成。Googleが発表した最新生成AI解...

【JSAI2020】AI美空ひばりとAI手塚治虫が社会へ投げかけた未来像

2020.6.30アート

【JSAI2020】AI美空ひばりとAI手塚治虫が社会へ投げかけた未来像

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品まとめ

2021.6.30アート

テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品...

RANKING注目の記事はこちら