モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。
- TAG LIST
- CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGAN音楽NVIDIAGoogle強化学習三宅陽一郎ChatGPTニューラルネットワークStable Diffusionグーグル森川幸人シナリオDeepMindQA大規模言語モデル人工知能学会GPT-3自然言語処理マイクロソフトFacebook大内孝子AIと倫理映画著作権アート倫理モリカトロンキャラクターAI敵対的生成ネットワークルールベースLLMSIGGRAPHゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成NPCNFTプロシージャルMidjourneyデバッグMinecraftDALL-E2StyleGAN遺伝的アルゴリズム画像生成AIロボットファッション音楽生成AI自動生成VFXAdobeテストプレイメタAIアニメーションテキスト画像生成深層学習CEDEC2019ディープフェイクデジタルツインメタバースVR小説ボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAI不完全情報ゲームナビゲーションAI畳み込みニューラルネットワークtoioGDC 2021JSAI2022バーチャルヒューマン作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタデジタルヒューマン懐ゲーから辿るゲームAI技術史ジェネレーティブAIスポーツエージェントプロンプト栗原聡手塚治虫汎用人工知能CNNNeRFDALL-E 3BERTロボティクスUnityOmniverseJSAI2023鴫原盛之教育HTN階層型タスクネットワークソニーGPT-4マルチモーダルJSAI2020GTC20233DTensorFlowインタビューブロックチェーンイベントレポート対話型エージェントAmazonメディアアートDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022SIGGRAPH ASIANetflixJSAI2021東京大学はこだて未来大学Bard研究シムピープルMCS-AI動的連携モデルRed RamモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成インディーゲームElectronic Arts音声合成マーケティングメタデータGDC Summerイーロン・マスクStable Diffusion XLCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAIロボ「迷キュー」に挑戦AWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SoraSFテキスト画像生成AI松尾豊データマイニング現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばりAGI手塚眞バンダイナムコ研究所スパーシャルAIELYZANEDOFSM-DNNLEFT 4 DEAD通しプレイ論文OpenAI Five本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILENVIDIA ACEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオヒストリアAI Frog Interactive新清士SIE大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMIT野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画Open AI3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲームバーチャルキャラクター坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022xAIApple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック：ザ・ギャザリングAI Dungeonゲーム背景アパレル不気味の谷ナビゲーションメッシュデザイン高橋ミレイ深層強化学習松原仁松井俊浩武田英明フルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AIAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ＋Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスター画像判定Inowrld AIJulius鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ～キミと繋がる想い～元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェース西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELER西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター［YCAM］AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国［Walled Garden］プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ＝ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreambooth行動ロジック生成AIVeap Japanヤン・ルカンConvaiEAPneoAIPerfusionNTTドコモSIFT福井千春DreamIconニューラル物理学EmemeDCGAN医療mign毛髪GenieMOBADANNCEメンタルケアstudiffuse荒牧英治汎用AIエージェント人事ハーバード大学Edgar Handy中ザワヒデキAIファッションウィーク研修デューク大学大屋雄裕インフルエンサーQA Tech Night中川裕志Grok-1mynet.aiローグライクゲーム松木晋祐Adreeseen HorowitzMixture-of-Experts東京理科大学下田純也NVIDIA Avatar Cloud EngineMoE人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosClaude 3リザバーコンピューティングSmart NPCsClaude 3 Haikuプレイ動画ヒップホップ対話型AIモデルRoblox StudioClaude 3 Sonnet詩ソニーマーケティングPromethean AIClaude 3 Opusサイレント映画もじぱnote森永乳業環境音暗号通貨note AIアシスタントMusiioC2PAFUZZLEKetchupEndelゲーミフィケーションAlterationAI NewsTomo Kihara粒子群最適化法Art SelfiePlayfool進化差分法オープンワールドArt TransferSonar遊び群知能下川大樹AIFAPet PortraitsSonar+Dtsukurunウィル・ライト高津芳希P2EBlob Opera地方創生大石真史クリムトDolby Atmos吉田直樹BEiTStyleGAN-NADASonar Music Festival素材DETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGato岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning（ICL）Eric Johnson汎用強化学習AIZMO.AILoRAMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク
CGへの扉 Vol.33：AIの必然性 #SIGGRAPHAsia2021 レポート
2021.12.24アート
SIGGRAPH ASIA 2021 オンラインと会場、ハイブリッド開催
コンピュータグラフィックスとインタラクティブ技術に関する学会、展示会であるSIGGRAPH ASIA 2021 が 2021年12月14日から17日の4日間、東京国際フォーラムで開催されるとともに、オンラインでも配信が行われました。今年のテーマは “LIVE（ライブ）”。このテーマは新型コロナウイルスが蔓延する前につけられたものですが、さまざまな意味で今年を象徴しているテーマになっています。
SIGGRPAH ASIA は毎年7月から8月にかけて北米で開催される学会 SIGGRAPH のアジア版であり、2018年の東京開催に続き、オーストラリアで開催された2019年、新型コロナウイルスの影響により全面的にオンラインで開催した2020年に続き、再び東京国際フォーラムに帰ってきました。
会場で行われたセッションや展示は限定的ながらも、見たり触ったり体験を重視した展示や、会場でしか聞けない最新の話題など、ソーシャルディスタンシングと体温測定の徹底などの厳戒態勢、コロナ対策の上で開催されました。今回のハイブリッド形式の実施形態では発表の内容は、オンラインでも同等のものが配信されますが、会わないと得られないこと、体験しないと実感が得られないことも多く、物理的なイベントと、自由度の高いオンラインのイベントの両方の良いところが感じられる SIGGRAPH ASIA 2021 でした。
それでは本筋はコンピュータグラフィックスの学会である SIGGRAPH ASIA 2021 より、人工知能を活用した製品や研究、展示、発表などをかいつまんでご紹介していきましょう。
プログラミング可能なハードウェア・機械学習済みアルゴリズム搭載のカメラ FORXAI
FORXAI コニカミノルタ：https://forxai.konicaminolta.com/
コニカミノルタ社製の FORXAI（フォーサイ）というカメラデバイスは、カメラ本体にFPGA（Field Programmable Gate Array：書き換え可能な演算ハードウェア）が搭載されており、パソコン等への接続なしで、カメラ単独で利用することが可能です。こういったカメラ側に機能を持たせるエッジコンピューティング用カメラは珍しくありませんが、FORXAIではさらにそのFPGAには機械学習済みのアルゴリズム、さまざまなアルゴリズムを載せ換えることで、単独で映像処理も合わせて可能とする、進化するハードウェアとして利用できます。
現在FORXAIは一般販売が行われておらず、企業パートナーのサービスや研究開発向け、ハッカソン等のイベントでの利用に限定して提供しているそうで、興味のある方は、FORXAIパートナープログラムへの参加をお願いしているとのこと。利用方法としては、行動分析、製品の外観検査、数の計測、姿勢推定によるスポーツでの活用、顔認証、異常検知、予防保全などですでに多方面で活用されています。
監視カメラでのAI活用は、クラウド側に演算処理を任せる場合もあります。一方FORXAIではエッジコンピューティングと呼ばれるカメラ側で大量のデータを低消費電力で処理することによるメリットが考えられています。あらかじめ機械学習モデルを生成しておき、それらをFORXAI上のFPGAで動作する形式に最適化実装し、量産が難しい特殊な用途にも自由に機能を変化させられるAIカメラとしてFORXAIが活用できるのです。
Xilinx や Microchip Technologyといった機械学習を活用したエッジコンピューティングハードウェアを展開する企業も増えてきており、大量のコンピューティングリソースを消費する機械学習も学習済みのアルゴリズムをカメラやモバイルデバイスに搭載して利用する用途が広がってきています。
アートギャラリーでもGANを活用した作品に注目
今年の SIGGRAPH ASIA 2021 アートギャラリーのテーマは “The Future of Ritual and Resonance”,日本語にすると「未来の儀式と共鳴」というタイトルです。これらのテーマに合致したテクノロジーを活用したアート作品、メディアアート作品、VR映像作品、バイオアートなど多岐に渡った招待作品と公募作品のテクノロジーアートが展示されました。
From our deceased bodies flowers will grow, we are in them and that is eternity.
Wade Marynowsky氏による SIGGRAPH ASIA 2021 アートギャラリーの作品は、GAN（敵対的生成ネットワーク）を最大限に活用した映像作品です。タイトルの「From our deceased bodies flowers will grow, we are in them and that is eternity.」の抄訳は「埋葬された私たちの体から花が咲き、花の中に人を見出すことができ、それが永遠を表している」です。作者は地元の花の写真を集め、その花の写真を、あえて顔画像を扱うPortrait AIに入力し、花の写真から顔っぽい部分を探すように促しています。作品の意図としては、人が身の回りの世界に顔を見出すこと、人の顔っぽく見える・見えないといった人が感じる顔に対する閾値を混乱させているとのこと。確かにこの作品を見た直後は、何もかもが「顔」に見えてくるような変な気分になりました。
NHKの番組制作における、ディープフェイクの（正しい）活用事例
2021年4月から放映されたNHKのドラマ「きれいのくに」では、遺伝子操作によりほとんどの人間が同じ顔をした不思議な近未来が描かれています。このドラマの特殊効果を担当したNHKアートでは物語の主軸ともなっている「同じ顔」を表現するためにAIを用いた顔の入れ替え、いわゆるディープフェイクを活用しました。プロデューサー、監督からNHKアートに持ち込まれた相談は「ほとんど同じ顔なの、VFXでどうにかならないか」というものでした。
ちょっとデモを試してみたり、SNS用に嘘の映像を作ったりする分には、十分な精度を持つディープフェイクの技術も、ドラマ用に「顔を差し替えた映像を制作する」という難しくもポジティブな目的で使用する際には、その精度や違和感への挑戦の連続だったとのこと。
顔の差し替えに用いられたのは DeepFaceLab、ただし単に「顔が差し替えられた」と監督や視聴者が求めるレベルと、それをあたかも実在する人物のように「顔が差し替えられた」状態に持っていくことの間には大きな乗り越えなければいけない技術的な壁がありました。例えば、差し替えるための元の映像に顔全体が写っていなかったり、鮮明に写っていなかったり、複雑な照明や強すぎる照明になると思ったような差し替え映像が得られず、違和感のある映像の歪みが生じたりするため、試用や試験を繰り返しました。
機械学習のためのソースは2万枚、ドラマ本編用には60万枚学習した結果が用いられました。ドラマで使える解像度としては、それでも256ピクセル四方から、512ピクセル四方、素直に1フレーム1フレーム画像処理を行うと、高性能なコンピュータを用いても3日間から6.5日間ほどかかり、そこで、ドラマ制作の短い期間でさまざまな状況に合わせるのは難しいと考え、別の方法が考えられました。
顔の差し替えではできるだけ条件の良い元素材に対して、色味が統一された状況で行い、その後、ドラマのシーンにあった色味の調整は、コンポジット作業（合成や色調整の作業）の段階で行う作業フローに変更したことで、やり直しが減ったそう。顔の入れかえが行われたのはドラマ全編で総数 136カット、151の顔、最終的には顔をそっくり入れ替えるというアプローチを止め、差し替える前の俳優でもなく、差し替える素材の俳優でもない、AIによって作られた新たな魅力的なキャラクターが生成できたことで、納得のいくドラマになったそうです。
挑戦的なAI活用での感想としては「AI活用は、効率が良いわけでも手間がかからないわけでもない」とのこと。今後は、倫理的な課題等にも配慮しながら、テクノロジーの応用を進めていきたいというコメントもふくめ、映像制作への挑戦、苦労と達成感を垣間見ることのできたセッションでありました。
セッションは取材も含めて全面的に撮影禁止だったため、映像や画像などの詳細はNHKのWebページをご覧ください。
俳優の年齢をも乗り越える。マーベル作品「シャン・チー／テン・リングスの伝説」での機械学習応用
※この後の記事では、直接映画のネタバレはしませんが、ストーリーやメイキングに関係する話題に触れられています。未見の方は了解の上でご覧ください。
初のアジア系マーベルヒーローが活躍する「シャン・チー／テン・リングスの伝説」の中でもさりげなく機械学習が活用されています。シャン・チーの父親役であるトニー・レオンは香港を活動の中心とする俳優で、今年で59歳になります。メイキングを見るとトニー・レオン自身がワイヤーアクションなど、たいそうなアクションシーンをこなしている部分は多いものの、危険なシーンではアクション専門のスタント俳優にダブル（ボディダブル）と呼ばれる代役を任せている箇所もあります。
ひと昔前の代役であれば、同じ衣装と同じ髪型で、よくよく見ると俳優本人ではないことがバレていましたが、本作シャン・チーではデジタルヘッドと呼ばれる方法で、最初から顔を差し替える前提で代役の顔を目印となるマーカー入りで撮影し、機械学習によって、完全に顔を差し替える作業を行なっています。過去の記事「CGへの扉 Vol.10：老齢とは無縁、De-Aging技術の台頭」でも紹介していますが、著名俳優の場合、さまざまな撮影条件で撮られた大量の顔映像が入手しやすいため、機械学習の素材とすることができます。
また本作シャン・チーではデジタルダブルと呼ばれる完全にCGで作られたキャラクターも登場しており、顔の差し替えだけでは違和感が生じる顔の演技を細部までCGで作りこむことで、より俳優本人に近づけることができたそうです。こういった、どこまでが本人でどこまでが代役、どこまでがCGで表現するかといった用途について、俳優または俳優が所属する事務所、俳優協会などの規定によって左右される場合もあります。デジタルダブルの利用を完全に拒否している俳優もいますが、現代の映像作品ではCG無しでの映像制作は考えられなくなっているため、そういった状況も緩和されつつあるようです。
トニー・レオンの顔の差し替えは俳優本人の年齢的なことや、アクションシーンの予定から顔のリプレイスが行われることは映画制作の初期段階から予想されていたとのこと。実際にはどういう課題があるかわからなかったものの、顔のリプレイスメントシーンは思ったより多く、製作中にも多くの素材を用意し機会学習モデルをアップデートしていくことで、最終的にはかなり良い結果になったそうです。
オンラインとオフラインの両方の良さ
SIGGRAPH ASIA 2021 は会場での開催は無事終了しました。残念ながら参加登録はもう締め切られていますが、オンライン配信は 2022年3月まで続きます。また SIGGRAPH ASIA 2021 参加登録者でなくとも、SIGGRAPH ASIA で開催されたコースノートを見ることができます。SIGGRAPH のコースは、ある特定の分野に関して専門家がレクチャーする大学の授業のようなチュートリアル、セミナーです。人工知能関係のものとしては次の2コースが公開されています。
・An Introduction to Deep Learning on Meshes シカゴ大学、トロント大学によるコース
・Differentiable simulation NVIDIA社による摩擦や接触などの現象を機械学習フレームワークで活用するための講座
東京で開催される SIGGRAPH ASIA の場合、参加者は発表者の半分は海外からの参加者です。今回は予定していた多くの海外からの参加者も直前になって急遽参加をキャンセルせざるを得ない状況でした。そういった状況下でもオンラインで議論や発表に参加でき、遠隔地の発表者と会場の参加者との間で質疑応答や交流が持てたのは今の時代ならではの環境かもしれません。これがもし10年前くらい、ツールもネットも整っていない状況であれば、イベントそのものが成立しなかったかもしれません。
会期後にゆっくりじっくり発表を観られるというオンラインの良さも享受できるハイブリッド形式のイベントは、コロナ禍の中、今後も大規模イベントのひとつの形として浸透していくことが予想されます。
次に開催される予定の第50回 SIGGRAPH 2022 は8月8日から11日にかけてカナダバンクーバー、SIGGRAPH ASIA 2022 は 12月6日から9日、韓国の大邱（テグ）で予定されています。カナダも韓国も新型コロナウイルスの感染者が増加している今現在、どのような形態で開催されるのかは未定です。
SIGGRAPH 2022：https://s2022.siggraph.org/
SIGGRAPH ASIA 2022：https://sa2022.siggraph.org/en/
今回の SIGGRAPH ASIA でも、ロケ撮影が難しい中、Google Street View を活用して、世界中の撮影スポットを探し、数百人にも及ぶメンバーがほぼ全員リモートワークで作業分担してハリウッド映画作品を制作するなど、多くの苦労とそれらを乗り越える世界中のクリエイティブな努力を知ることができました。多くの発表者が口にしていたのは「新型コロナウイルスの影響で大変なこともいろいろあったけれど、一緒に映像制作しているメンバーたちとの絆が深まったり、いつもより時間をかけて作業することができたり、平常時ではありえない遠隔のメンバーとコラボレーションしたり、良いこともいろいろあった」とのこと。いつの日か、マスクなしで気軽に海外へ渡航できる世の中が戻ってくるかもしれませんが、今はまだ知恵と工夫で乗り越える時期が続きそうです。ハイブリッド形式の SIGGRAPH ASIA 2021はそのひとつの形を見せてくれた素晴らしいイベントでした。
本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。
Vol.32：Adobe Sneaks より進化の方向性を知る
Vol.30：SIGGRAPH2021レポート「ディープフェイクとの戦い」
Vol.29：AIの恩恵を受けるCG研究の世界。#SIGGRAPH2021 論文より
Vol.28：定番手法の他分野応用、自然言語処理AI由来の画像処理AI
Vol.27：眼に追いつけ追い越せ？ カメラは機械学習により進化
Vol.26：アートを加速させるAIの役割 #GTC2021 レポート
Vol.22：言葉から画像を生成、DALL-Eはクリエイティブなのか？
Contributor：安藤幸央
RANKING
