モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CGCGへの扉安藤幸央機械学習月刊エンタメAIニュースディープラーニング河合律子生成AI吉本幸記OpenAIGAN音楽NVIDIAGoogle三宅陽一郎強化学習ニューラルネットワークグーグルStable DiffusionChatGPTシナリオQA森川幸人DeepMind人工知能学会GPT-3自然言語処理マイクロソフトFacebook大内孝子大規模言語モデル映画AIと倫理キャラクターAI著作権敵対的生成ネットワークルールベースアート倫理SIGGRAPHゲームプレイAIスクウェア・エニックスモリカトロンAIラボインタビュー画像生成モリカトロンNFTプロシージャルLLMデバッグMinecraftNPCDALL-E2StyleGANMidjourney遺伝的アルゴリズム画像生成AI自動生成VFXAdobeテストプレイメタAIテキスト画像生成ロボット深層学習ファッションCEDEC2019音楽生成AIディープフェイクデジタルツインVRアニメーションボードゲームDALL-ECLIPビヘイビア・ツリーマンガCEDEC2021CEDEC2020ゲームAIメタバース不完全情報ゲームナビゲーションAI小説畳み込みニューラルネットワークGDC 2021JSAI2022作曲MicrosoftNVIDIA OmniverseGDC 2019マルチエージェントCEDEC2022MetaマインクラフトAIアート3DCGStability AIメタ懐ゲーから辿るゲームAI技術史toioジェネレーティブAIスポーツ栗原聡手塚治虫CNNNeRFバーチャルヒューマンBERTUnityOmniverseJSAI2023デジタルヒューマン鴫原盛之HTN階層型タスクネットワークソニーGPT-4マルチモーダル汎用人工知能JSAI2020GTC20233DTensorFlowDALL-E 3インタビューブロックチェーンイベントレポート対話型エージェントAmazonロボティクスDQN水野勇太アバターUbisoftGenvid TechnologiesガイスターStyleGAN2ARELSIGTC2022教育SIGGRAPH ASIANetflixJSAI2021はこだて未来大学Bard研究エージェントシムピープルMCS-AI動的連携モデルプロンプトモーションキャプチャーTEZUKA2020CEDEC2023テキスト生成Electronic Arts音声合成マーケティングメタデータGDC SummerCMMicrosoft Azureアストロノーカキャリア模倣学習動画生成AIeスポーツスタンフォード大学アーケードゲームテニスサイバーエージェントトレーディングカード音声認識メディアアート類家利直eSportsBLUE PROTOCOLシーマンaibo合成音声チャットボットブラック・ジャックEpic GamesAWS徳井直生クラウド斎藤由多加AlphaZeroTransformerGPT-2rinnaAIりんなカメラ環世界中島秀之PaLM哲学ベリサーブPlayable!GPT-3.5ハリウッド理化学研究所Gen-1SFテキスト画像生成AIデータマイニング東京大学現代アートDARPAドローンシムシティゲームエンジンImagenZorkバイアスRed RamマーダーミステリーASBSぱいどんアドベンチャーゲームAI美空ひばり手塚眞インディーゲームバンダイナムコ研究所スパーシャルAINEDOFSM-DNNLEFT 4 DEADイーロン・マスク通しプレイ論文OpenAI FiveStable Diffusion XL本間翔太馬淵浩希Cygames森山和道Audio2Faceピクサープラチナエッグイーサリアム効果音ボエダ・ゴティエビッグデータ中嶋謙互Amadeus Codeデータ分析MILEナラティブNVIDIA RivaOmniverse ReplicatorWCCFレコメンドシステムNVIDIA DRIVE SimWORLD CLUB Champion FootballNVIDIA Isaac Simセガ柏田知大軍事田邊雅彦トレカMax CooperGPTDisneyFireflyPyTorchChatGPT4眞鍋和子バンダイナムコスタジオ大澤博隆SFプロトタイピング齊藤陽介お知らせMagic Leap OneTencentモリカトロン開発者インタビュー宮本茂則バスケットボールGeminiTikToktext-to-imageサルでもわかる人工知能text-to-3DVAEDreamFusionTEZUKA2023リップシンキングRNNUbisoft La Forge自動運転車ワークショップ知識表現ウォッチドッグス レギオンVTuberIGDA立教大学秋期GTC2022市場分析フォートナイトどうぶつしょうぎRobloxジェイ・コウガミ音楽ストリーミングMITAIロボ「迷キュー」に挑戦野々下裕子Adobe MAXマシンラーニング村井源5GMuZeroRival Peakpixivオムロン サイニックエックスGPTs電気通信大学対話エンジン稲葉通将ポケモン3Dスキャン橋本敦史リトル・コンピュータ・ピープルCodexシーマン人工知能研究所コンピューティショナル・フォトグラフィーPreferred Networksゴブレット・ゴブラーズ絵画3D Gaussian SplattingMicrosoft DesignerアップルイラストシミュレーションSoul Machines柿沼太一完全情報ゲーム坂本洋典釜屋憲彦GitHub CopilotウェイポイントLLaMAパス検索対談藤澤仁生物学GTC 2022Apple Vision Pro画像認識SiemensストライキStyleCLIPDeNA長谷洋平クラウドコンピューティングmasumi toyotaIBM宮路洋一OpenSeaGDC 2022SNSTextWorldEarth-2BingMagentaYouTube音声生成AIELYZA PencilScenarioSIGGRAPH2023松尾豊AIピカソGTC2021AI素材.comCycleGANテンセントAndreessen HorowitzAIQVE ONENetHackキャラクターモーションControlNet音源分離NBAフェイクニュースユニバーサルミュージックRPG法律Web3SIGGRAPH 2022世界モデルレベルデザインDreamerV3AIボイスアクターUnreal Engine南カリフォルニア大学NVIDIA CanvasGPUALife人工生命オルタナティヴ・マシンサウンドスケープLaMDATRPGマジック:ザ・ギャザリングAI Dungeonゲーム背景AGI不気味の谷ナビゲーションメッシュ高橋ミレイ深層強化学習松原仁松井俊浩武田英明ELYZAフルコトELYZA DIGEST建築広告西成活裕ハイブリッドアーキテクチャApex LegendsELIZA群衆マネジメントライブポートレイトNinjaコンピュータRPGライブビジネスWonder StudioAdobe Max 2023アップルタウン物語新型コロナ土木MindAgentKELDIC周済涛BIMBing Chatメロディ言語清田陽司インフラBing Image CreatorゲームTENTUPLAYサイバネティックスMARVEL Future FightAstro人工知能史Amazon BedrockAssistant with BardタイムラプスEgo4DAI哲学マップThe Arcadeバスキア星新一X.AISearch Generative Experience日経イノベーション・ラボStyleGAN-XLX Corp.Dynalang敵対的強化学習StyleGAN3TwitterVLE-CE階層型強化学習GOSU Data LabGANimatorXホールディングスWANNGOSU Voice AssistantVoLux-GANMagiAI Act竹内将SenpAI.GGProjected GANEUMobalyticsSelf-Distilled StyleGANSDXLArs ElectronicaニューラルレンダリングRTFKTAI規制岡島学AWS SagemakerPLATONIKE欧州委員会映像セリア・ホデント形態素解析frame.ioClone X欧州議会UXAWS LambdaFoodly村上隆欧州理事会誤字検出MusicLM認知科学中川友紀子Digital MarkAudioLMゲームデザインSentencePieceアールティSnapchatMusicCapsLUMINOUS ENGINEクリエイターコミュニティAudioCraftLuminous ProductionsBlenderBot 3バーチャルペットパターン・ランゲージ竹村也哉Meta AINVIDIA NeMo ServiceMubertちょまどマーク・ザッカーバーグヴァネッサ・ローザMubert RenderGOAPWACULVanessa A RosaGen-2Adobe MAX 2021陶芸Runway AI Film Festival自動翻訳Play.htPreViz音声AINVIDIA ACEAIライティングLiDARCharacter-LLMOmniverse AvatarAIのべりすとPolycam復旦大学FPSQuillBotdeforumChat-Haruhi-Suzumiyaマルコフ決定過程NVIDIA MegatronCopysmith涼宮ハルヒNVIDIA MerlinJasperハーベストEmu VideoNVIDIA MetropolisForGamesNianticパラメータ設計ゲームマーケットペリドットバランス調整岡野翔太Dream Track協調フィルタリング郡山喜彦Music AI Tools人狼知能テキサス大学ジェフリー・ヒントンLyriaGoogle I/O 2023Yahoo!知恵袋AlphaDogfight TrialsAI Messenger VoicebotGoogle I/OインタラクティブプロンプトAIエージェントシミュレーションOpenAI Codex武蔵野美術大学慶應義塾大学StarCraft IIHyperStyleBingAI石渡正人Future of Life InstituteRendering with Style手塚プロダクションIntel林海象LAIKADisneyリサーチヴィトゲンシュタインPhotoshop古川善規RotomationGauGAN論理哲学論考Lightroom大規模再構成モデルGauGAN2京都芸術大学CanvaLRMドラゴンクエストライバルズ画像言語表現モデルObjaverse不確定ゲームSIGGRAPH ASIA 2021PromptBaseBOOTHMVImgNetDota 2モンテカルロ木探索ディズニーリサーチpixivFANBOXOne-2-3-45Mitsuba2バンダイナムコネクサス虎の穴3DガウシアンスプラッティングソーシャルゲームEmbeddingワイツマン科学研究所ユーザーレビューFantiaワンショット3D生成技術GTC2020CG衣装mimicとらのあな高橋力斗NVIDIA MAXINEVRファッションBaidu集英社FGDC淡路滋ビデオ会議ArtflowERNIE-ViLG少年ジャンプ+Future Game Development ConferenceグリムノーツEponym古文書ComicCopilot佐々木瞬ゴティエ・ボエダ音声クローニング凸版印刷コミコパヒストリアGautier Boeda階層的クラスタリングGopherAI-OCRゲームマスターAI Frog Interactive画像判定Inowrld AI新清士JuliusSIE鑑定ラベル付けMODAniqueTPRGOxia PalusGhostwriter中村太一バーチャル・ヒューマン・エージェントtoio SDK for UnityArt RecognitionSkyrimエグゼリオクーガー田中章愛実況パワフルサッカースカイリムCopilot石井敦銭起揚NHC 2021桃太郎電鉄RPGツクールMZComfyUI茂谷保伯池田利夫桃鉄ChatGPT_APIMZserial experiments lainGDMC新刊案内パワサカダンジョンズ&ドラゴンズAI lainマーベル・シネマティック・ユニバースコナミデジタルエンタテインメントOracle RPGPCG成沢理恵MITメディアラボMCU岩倉宏介深津貴之PCGRLアベンジャーズPPOxVASynthDungeons&Dragonsマジック・リープDigital DomainMachine Learning Project CanvasLaser-NVビートルズMagendaMasquerade2.0国立情報学研究所ザ・ビートルズ: Get BackノンファンジブルトークンDDSPフェイシャルキャプチャー石川冬樹MERFDemucsサッカースパコンAlibaba音楽編集ソフト里井大輝KaggleスーパーコンピュータVQRFAdobe Audition山田暉松岡 聡nvdiffreciZotopeAssassin’s Creed OriginsAI会話ジェネレーターTSUBAME 1.0NeRFMeshingRX10Sea of ThievesTSUBAME 2.0LERFMoisesGEMS COMPANYmonoAI technologyLSTMABCIマスタリングモリカトロンAIソリューション富岳レベルファイブ初音ミクOculusコード生成AISociety 5.0リアム・ギャラガーSuno AI転移学習テストAlphaCode夏の電脳甲子園グライムスKaKa CreationBaldur's Gate 3Codeforces座談会BoomyVOICEVOXCandy Crush Saga自己増強型AIジョン・レジェンドGenie AISIGGRAPH ASIA 2020COLMAPザ・ウィークエンドSIGGRAPH Asia 2023ADOPNVIDIA GET3DドレイクC·ASEデバッギングBigGANGANverse3DFLAREMaterialGANダンスグランツーリスモSPORTAI絵師エッジワークスMagicAnimateReBeLグランツーリスモ・ソフィーUGC日本音楽作家団体協議会Animate AnyoneGTソフィーPGCFCAインテリジェントコンピュータ研究所VolvoFIAグランツーリスモチャンピオンシップVoiceboxアリババNovelAIさくらインターネットDreaMovingRival PrakDGX A100NovelAI DiffusionVISCUITぷよぷよScratchユービーアイソフトWebcam VTuberモーションデータスクラッチ星新一賞大阪公立大学ビスケット北尾まどかHALOポーズ推定TCGプログラミング教育将棋メタルギアソリッドVメッシュ生成KLabFSMメルセデス・ベンツQRコードVALL-EMagic Leap囲碁Deepdub.aiナップサック問題Live NationEpyllionデンソーAUDIOGEN汎用言語モデルWeb3.0マシュー・ボールデンソーウェーブEvoke MusicAIOpsムーアの法則原昌宏AutoFoleySpotifyスマートコントラクト日本機械学会Colourlab.AiReplica Studioロボティクス・メカトロニクス講演会ディズニーamuseChitrakarQosmoAdobe MAX 2022トヨタ自動車Largo.ai巡回セールスマン問題かんばん方式Cinelyticジョルダン曲線メディアAdobe ResearchTaskade政治Galacticaプロット生成Pika.artクラウドゲーミングがんばれ森川君2号AI Filmmaking Assistant和田洋一リアリティ番組映像解析FastGANStadiaジョンソン裕子セキュリティ4コママンガAI ScreenwriterMILEsNightCafe東芝デジタルソリューションズ芥川賞インタラクティブ・ストリーミングLuis RuizSATLYS 映像解析AI文学インタラクティブ・メディア恋愛PFN 3D ScanElevenLabsタップル東京工業大学HeyGenAbema TVLudo博報堂After EffectsNECラップPFN 4D Scan絵本木村屋SIGGRAPH 2019ArtEmisZ世代DreamUp出版GPT StoreAIラッパーシステムDeviantArtAmmaar Reshi生成AIチェッカーWaifu DiffusionStoriesユーザーローカルGROVERプラスリンクス ~キミと繋がる想い~元素法典StoryBird九段理江FAIRSTCNovel AIVersed東京都同情塔チート検出Style Transfer ConversationOpen AIProlificDreamerオンラインカジノRCPUnity Sentis4Dオブジェクト生成モデルRealFlowRinna Character PlatformUnity MuseAlign Your GaussiansiPhoneCALACaleb WardAYGDeep Fluids宮田龍MAV3DMeInGameAmelia清河幸子ファーウェイAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクター西中美和4D Gaussian SplattingBCIGateboxアフォーダンス安野貴博4D-GSLearning from VideoANIMAKPaLM-SayCan斧田小夜Glaze予期知能逢妻ヒカリ宮本道人WebGlazeセコムLLaMA 2NightShadeユクスキュルバーチャル警備システムCode as PoliciesSpawningカント損保ジャパンCaPHugging FaceHave I Been Trained?CM3leonFortnite上原利之Stable DoodleUnreal Editor For FortniteドラゴンクエストエージェントアーキテクチャアッパーグラウンドコリジョンチェックT2I-AdapterXRPAIROCTOPATH TRAVELERxAI西木康智VolumetricsOCTOPATH TRAVELER 大陸の覇者山口情報芸術センター[YCAM]AIワールドジェネレーターアルスエレクトロニカ2019品質保証YCAM日本マネジメント総合研究所Rosebud AI GamemakerStyleRigAutodeskアンラーニング・ランゲージVoyagerLayer逆転オセロニアBentley Systemsカイル・マクドナルドLily Hughes-RobinsonCharisma.aiワールドシミュレーターローレン・リー・マッカーシーColossal Cave AdventureGDC 2024奥村エルネスト純いただきストリートH100鎖国[Walled Garden]​​プロジェクトAdventureGPT調査齋藤精一大森田不可止COBOLSIGGRAPH ASIA 2022リリー・ヒューズ=ロビンソンMeta Quest高橋智隆DGX H100VToonifyBabyAGIIPロボユニザナックDGX SuperPODControlVAEGPT-3.5 Turbo泉幸典仁井谷正充変分オートエンコーダーカーリング強いAIロボコレ2019Instant NeRFフォトグラメトリウィンブルドン弱いAIartonomous回帰型ニューラルネットワークbitGANsDeepJoin戦術分析ぎゅわんぶらあ自己中心派Azure Machine LearningAzure OpenAI Serviceパフォーマンス測定Lumiere意思決定モデル脱出ゲームDeepLIoTUNetHybrid Reward Architectureコミュニティ管理DeepL WriteProFitXImageFXウロチョロスSuper PhoenixWatsonxMusicFXProject MalmoオンラインゲームAthleticaTextFX気候変動コーチングSoraProject Paidiaシンギュラリティ北見工業大学KeyframerProject Lookoutマックス・プランク気象研究所レイ・カーツワイル北見カーリングホールAppleWatch Forビョルン・スティーブンスヴァーナー・ヴィンジ画像解析Gemini 1.5気象モデルRunway ResearchじりつくんAI StudioLEFT ALIVE気象シミュレーションMake-A-VideoNTT SportictVertex AI長谷川誠ジミ・ヘンドリックス環境問題PhenakiAIカメラChat with RTXBaby Xカート・コバーンエコロジーDreamixSTADIUM TUBESlackロバート・ダウニー・Jr.エイミー・ワインハウスSDGsText-to-ImageモデルPixelllot S3Slack AIソフトバンクPokémon Battle Scopeダフト・パンクメモリスタAIスマートコーチポケットモンスターGlenn MarshallkanaeruThe Age of A.I.Story2Hallucination音声変換Latitude占いレコメンデーションJukeboxDreamboothVeap Japanヤン・ルカンEAPneoAIPerfusionSIFT福井千春DreamIconニューラル物理学DCGAN医療mign毛髪MOBADANNCEメンタルケアstudiffuse荒牧英治人事ハーバード大学Edgar Handy中ザワヒデキ研修デューク大学大屋雄裕QA Tech Night中川裕志mynet.aiローグライクゲーム松木晋祐Adreeseen Horowitz東京理科大学下田純也NVIDIA Avatar Cloud Engine人工音声NeurIPS 2021産業技術総合研究所桑野範久Replica StudiosリザバーコンピューティングSmart NPCsプレイ動画ヒップホップ対話型AIモデルRoblox StudioソニーマーケティングPromethean AIサイレント映画もじぱnote環境音暗号通貨note AIアシスタントMusiioFUZZLEKetchupEndelAlterationAI News粒子群最適化法Art Selfie進化差分法オープンワールドArt TransferSonar群知能下川大樹AIFAPet PortraitsSonar+Dウィル・ライト高津芳希P2EBlob Opera大石真史クリムトDolby AtmosBEiTStyleGAN-NADASonar Music FestivalDETRライゾマティクスSporeクリティックネットワーク真鍋大度デノイズUnity for Industryアクターネットワーク花井裕也画像処理DMLabRitchie HawtinSentropyGLIDEControl SuiteErica SynthCPUDiscordAvatarCLIPAtari 100kUfuk Barış MutluSynthetic DataAtari 200MJapanese InstructBLIP AlphaCALMYann LeCun日本新聞協会プログラミングサム・アルトマン鈴木雅大AIいらすとやソースコード生成コンセプトアートAI PicassoGMAIシチズンデベロッパーSonanticColie WertzEmposyGitHubCohereリドリー・スコットAIタレントウィザードリィMCN-AI連携モデル絵コンテAIタレントエージェンシーUrzas.aiストーリーボードmodi.ai介護大阪大学BitSummit西川善司並木幸介KikiBlenderBitSummit Let’s Go!!サムライスピリッツ森寅嘉Zoetic AIゼビウスSIGGRAPH 2021ペットストリートファイター半導体Digital Dream LabsPaLM APIデジタルレプリカTopaz Video Enhance AICozmoMakerSuiteGOT7DLSSタカラトミーSkebsynthesia山野辺一記NetEaseLOVOTDreambooth-Stable-DiffusionHumanRF大里飛鳥DynamixyzMOFLINActors-HQRomiGoogle EarthSAG-AFTRAU-NetミクシィGEPPETTO AIWGA13フェイズ構造ユニロボットStable Diffusion web UIチャーリー・ブルッカーADVユニボPoint-EXLandGatoアパレル岡野原大輔AI model自己教師あり学習DEATH STRANDINGAI ModelsIn-Context Learning(ICL)Eric Johnson汎用強化学習AIZMO.AILoRAデザインMOBBY’SファインチューニングOculus Questコジマプロダクションロンドン芸術大学モビーディックグランツーリスモ生体情報デシマエンジンGoogle Brainダイビング量子コンピュータSound Controlアウトドアqubit写真SYNTH SUPERAIスキャニングIBM Quantum System 2照明Maxim PeterKarl Sims自動採寸北野宏明Joshua RomoffArtnome3DLOOKダリオ・ヒルハイパースケープICONATESizerジェン・スン・フアン山崎陽斗ワコールHuggingFace立木創太スニーカーStable Audio浜中雅俊UNSTREET宗教ミライ小町Newelse仏教テスラ福井健策CheckGoodsコカ・コーラGameGAN二次流通食品パックマンTesla Bot中古市場Coca‑Cola Y3000 Zero SugarTesla AI DayWikipediaDupe KillerCopilot Copyright Commitmentソサエティ5.0Sphere偽ブランドテラバースSIGGRAPH 2020バズグラフXaver 1000配信京都大学ニュースタンテキ養蜂立福寛東芝Beewiseソニー・ピクチャーズ アニメーション音声解析DIB-R倉田宜典フィンテック感情分析投資Fosters+Partners周 済涛韻律射影MILIZEZaha Hadid Architectsステートマシン韻律転移三菱UFJ信託銀行ディープニューラルネットワーク

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

2019.6.14アート

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

人間の想像力の限界とは

2019年2月に公開された、ヘネシー(フランス酒造メーカー)の CM が最近話題になりました。コニャック(ブランデー)で有名なヘネシーX.Oを基軸に場所と時代の異なる7つの世界を描いたもので、ヘネシーというブランドの世界観が映像で描かれている深みと歴史を感じる約4分の映像です。

CM本編の公開と同時に Behind the Scenes(いわゆるメイキング)の動画や監督のインタビュー動画が公開されています。このメイキング映像を見て驚くのは、撮影前の段階、つまりはリドリー・スコット監督が描いた絵コンテ(欧米ではストーリーボードと呼ばれる)の段階で、すべての映像が描かれ、何が登場して背景が何で、何をどう撮影するのか設計し尽くされていることです。

一流のスタッフを集め、映画並みの予算をかけたであろうCM撮影も、その紙に描かれた「絵コンテ」の具現化でしかありません。その具現化を支えるのは、メイキングの撮影現場で次々と判明する最新のCG/VFX技術、人の動きをデータ化するモーションキャプチャ技術、映像合成の技術から、衣装やメイクまで細部にわたります。

「絵コンテ」の段階で想像した映像がどこまでその「絵コンテ」に近づけられるのか、つまりは、監督が頭の中で想像した映像に、限られた予算と時間でどこまで現実の撮影(とCG/VFX)が追いつけるのか? といったことが勝負になるのです。

リドリー・スコット監督は、映画『エイリアン』(1979年)、映画『ブレードランナー』(1982年)といった凝った映像美で知られる監督です。もともと美術を学び、イギリスのテレビ局でキャリアをスタートし、映画監督デビュー前に数多くのCMに携わりました。現在までにCMの監督としても2,000本近くのCM映像制作に関わっています。

映画業界やCM業界の場合、絵コンテを描くことが専門のデザイナー職を使う場合もありますが、リドリー・スコット監督は自身で絵コンテを描く監督としても知られています。そのアーティスティックなバンドデシネのようなドローイングはマニア垂涎の代物でもあります。ご関心のある方は、画像共有サイト Pinterest で “Ridley Scott storyboard” と検索してみるのをおすすめします。

例えば映画『エイリアン』で監督が描いた絵コンテは、イギリスのファッションブランドポール・スミスの
Paul Smith ストーリーズ Ridley Scott」の絵柄としても使われているほどアート性の高いドローイングです。

via.Cinephilia & Beyond, Films and Filmmaking

当時インテルのCTOだったJustin Rattner 氏が 2012年の Intel Developer Forum で語った言葉があります。

 “Science and technology have progressed
 to the point where what  
 we build is only constrained
 by the limits of our own imaginations.”

“科学技術はすでに進歩を達成しており、唯一の制約は、想像力の限界である”

今までは映像の撮影技術や映像機材の限界で実現が不可能だった映像も、CG/VFXを使うことでさまざまなことが実現可能になってきました。それに加え、人工知能をベースとした技術や機械学習によって多くの可能性が広がりつつあります。映像制作の世界においても、唯一の制約は「想像力の限界」であることを
ヘネシーCMの Behind the Scenes を見ることで、まざまざと思い知らされたのではないでしょうか。

CG/VFX + AI のおかげで、今までは無理筋だったこと、人間が膨大な手間と時間をかけなければできなかったことが変わろうとしているのです。ここではそんなテクノロジーをいくつか紹介しましょう。

従来できなかったこと、できるようになったこと

1枚の顔画像からアニメーション作成

Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

論文:https://arxiv.org/abs/1905.08233

2、3枚といった少ない顔画像から顔アニメーションを生成する技術。数枚の顔画像をもとに、人が喋っている動画から眉・目・鼻・口・顎の成分を抽出し、それらの動きに顔画像を当てはめる技術です。同様の研究は多数ありますが、従来型であれば大量の参照データが必要となるところ、本研究では最少1枚の画像からでも限られた時間で顔アニメーションの生成が可能です。

アプローチとして、機械学習の学習方法を事前に学習しておくメタラーニングと呼ばれる方法が取られています。そのため1枚の画像からでも現実的な時間でアニメーションが生成できるそうです。この技術はサムスンのAIセンターとスコルコヴォ科学技術大学の共同研究によるもので、近い将来、1枚のセルフィー(自撮り)から表情豊かな動画が生成されるようになるかもしれません(その一方、フェイク動画への課題も浮上してきています)。

低解像度動画を高解像度に

Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

論文:https://arxiv.org/abs/1811.09393

ソースコード:https://github.com/thunil/TecoGAN

動画映像が動いていることを活用しディテールを補完することで、もともとの動画の解像度を高精細にする技術です。従来から低解像度の画像を高解像度化させるツールは存在しましたが、本研究はフレームごとに動きのある動画を考慮し、欠けていた情報を補完する新しいモデルTecoGAN (TEmporally COherent Generative Adversarial Network) をサンプル実装したものです。

フィルムで撮影された映像素材は、リマスタリングによってある程度高解像度のデジタルコンテンツに変換可能ですが、ハイビジョン解像度でデジタル撮影された素材は、4K、8K コンテンツとしてそのまま流用することが難しいため、アップコンバートの技術が求められています。従来型のアップコンバートは人の手間や調整が膨大に必要であったことから、TecoGANのアプローチは大変期待されています。

広い視野映像に補完

Video Extrapolation using Neighboring Frames
論文:https://vml.kaist.ac.kr/main/international/individual/157

既存の動画から映画やワイドディスプレイ用の視野角の広い動画を生成する手法です。従来であれば、複数台のカメラを用意するか、超高解像度のカメラまたは超広角のレンズを搭載したカメラを用意する必要がありました。または映像の上下を削って低解像度のワイド動画として扱わざるを得ませんでした。本研究では複数視点を移動しながら撮影された映像素材をもとに、撮影されている場所や人物を3D空間上に再構成し、ワイド映像として復元します。SFM(Structure from Motion : 多視点画像からの3次元形状復元) の好例と言えるでしょう。

映像の自動スイッチング

Pixellot
URL:https://www.pixellot.tv/

動きの激しいスポーツ中継は多数の定点カメラ、レールやワイヤーに乗ったカメラや手持ちのカメラなど
複数台のカメラからの入力を切り替えながら、観客の見る映像を制作します。イスラエル発のPixellot は、習熟したスポーツ中継の放送クルーが制作するようなカメラの切り替えを人工知能を活用したテクノロジーで提供するものです。

人間の想像力の進化と、これからの映像制作

CG/VFXでは、現実世界にそっくりな映像を作ろうというよりも、すべて演出された、思い描いた想像どうりに映像を作ろうという傾向にあります。それは未来を描いたSF映画だけではなく、現代を描いた映像でも同じです。CG/VFXでは、衣服についたボタン一個一個の輝き、目の輝きの瞬間まで映像制作者、つまりは監督の配下に置いてしまいたいのです。

従来、人間が絵を描いたり、アニメーションを描いたりするために現実や実写を参考にしてきました。さらにその先に印象派や、シュルレアリスムなど、現実を正確に写し取るだけでなく、頭の中にある映像を具現化する流れもできました。

これからは「人ならでは」「人でないと」という事柄も、次々とテクノロジーで代替でき、再現できてしまうことが多くなっていくことでしょう。

Amazon CEOのジェフ・ベゾス氏は日頃から「10年後に何が変わるのか」よりも「10年後に何が変わらないのか」の方が重要だと述べています。10年後も変わらないもの、変わらず価値を持ち続けていること、10年後も変わらず重要視されている事柄こそが本質であり、そこがテクノロジーやビジネスの根幹となるという考えです。

10年前は音声認識や画像認識が今のように人間とほぼ同等か、または状況によっては人間以上の性能で認識が可能になるとは、SF映画と漫画以外では考えが及ばなかったかもしれません。ところが現在では、音声認識や画像認識はごくごく当たり前に生活に溶け込みはじめています。

そう考えると10年後は人工知能に任せられること、10年後も人工知能に任せられないこと、映像制作で人間の想像性が発揮されるところ、アートや映像制作で人間しかできない表現とは何なのだろうかと考えつつ、テクノロジーを活用していく流れが今後も強まることが必須となるのではないでしょうか。

本連載の今後の予定:「CGへの扉」は、まだ始まったばかりの連載ですが、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進ツール、これからの可能性を感じさせるような話題、テクノロジーなどの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Contributor:安藤幸央

RELATED ARTICLE関連記事

アルスエレクトロニカ2019に見る、AIとデジタル革命のミドルクライシス

2019.10.21アート

アルスエレクトロニカ2019に見る、AIとデジタル革命のミドルクライシス

CGへの扉 Vol.45:大規模言語モデルChatGPTは仲間?ライバル?

2022.12.21アート

CGへの扉 Vol.45:大規模言語モデルChatGPTは仲間?ライバル?

CGへの扉 Vol.49:AI時代の勝者NVIDIA #GTC2023 レポート

2023.4.18アート

CGへの扉 Vol.49:AI時代の勝者NVIDIA #GTC2023 レポート

RANKING注目の記事はこちら