モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
CG機械学習ディープラーニングCGへの扉安藤幸央GAN月刊エンタメAIニュースニューラルネットワーク河合律子NVIDIA強化学習三宅陽一郎OpenAI音楽FacebookQAスクウェア・エニックスモリカトロンAIラボインタビュー敵対的生成ネットワーク森川幸人ルールベースDeepMindキャラクターAIシナリオNFTGPT-3デバッグCEDEC2019StyleGANプロシージャル自動生成人工知能学会映画遺伝的アルゴリズムメタAI自然言語処理深層学習マイクロソフトビヘイビア・ツリー吉本幸記GoogleCEDEC2021CEDEC2020ゲームAISIGGRAPH不完全情報ゲームVRナビゲーションAI畳み込みニューラルネットワークAIと倫理アートグーグルディープフェイクGDC 2021大内孝子VFXメタバースGDC 2019マルチエージェントゲームプレイAIボードゲームNPCDALL-ECLIPロボットCNNデジタルツインモリカトロンUnityファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイAIアート水野勇太小説アニメーションガイスターStyleGAN2懐ゲーから辿るゲームAI技術史toioJSAI2021スポーツ研究シムピープル汎用人工知能GDC Summerバーチャルヒューマンブロックチェーン倫理AdobeアストロノーカNVIDIA Omniverseeスポーツ対話型エージェントAmazoneSportsBLUE PROTOCOLシーマンUbisoftAlphaZeroTransformerGPT-2カメラ環世界中島秀之鴫原盛之ソニーDARPAドローンシムシティAI美空ひばり手塚治虫Electronic ArtsメタデータLEFT 4 DEAD通しプレイOpenAI Five本間翔太CMピクサーBERTプラチナエッグイーサリアム作曲ビッグデータ中嶋謙互Amadeus CodeMicrosoft AzureキャリアナラティブOmniverse ReplicatorレコメンドシステムNVIDIA DRIVE SimNVIDIA Isaac Simサイバーエージェント音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオMinecraft齊藤陽介マインクラフトお知らせチャットボットアバターサルでもわかる人工知能VAEOmniverseUbisoft La Forge自動運転車ワークショップGenvid Technologiesメタ知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎEpic Gamesジェイ・コウガミ音楽ストリーミングマシンラーニング画像生成テキスト画像生成クラウド対話エンジン斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーゴブレット・ゴブラーズ絵画AIりんなシミュレーション完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学GTC 2022画像認識GTC2022StyleCLIPDeNA長谷洋平masumi toyota宮路洋一OpenSeaGDC 2022教育TextWorldSIGGRAPH ASIADALL-E2GTC2021CycleGANNetHackフェイクニュースエージェントAIボイスアクターNVIDIA CanvasGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガモーションキャプチャーぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩バンダイナムコ研究所スパーシャルAIELYZAELYZA DIGEST3D音声合成マーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYMARVEL Future FightAstroタイムラプスEgo4Dインタビューバスキア日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学ゲームデザインSentencePieceLUMINOUS ENGINELuminous Productionsパターン・ランゲージ竹村也哉ちょまどボエダ・ゴティエGOAPAdobe MAX 2021模倣学習Omniverse AvatarFPSNVIDIA Rivaマルコフ決定過程NVIDIA MegatronNVIDIA Merlinスタンフォード大学NVIDIA Metropolisパラメータ設計テニスバランス調整協調フィルタリング人狼知能テキサス大学軍事AlphaDogfight TrialsAI Messenger VoicebotエージェントシミュレーションOpenAI CodexStarCraft IIHyperStyleFuture of Life InstituteRendering with StyleIntelDisneyLAIKADisneyリサーチRotomationGauGANGauGAN2ドラゴンクエストライバルズ画像言語表現モデル不確定ゲームSIGGRAPH ASIA 2021Dota 2モンテカルロ木探索ディズニーリサーチMitsuba2ソーシャルゲームEmbeddingワイツマン科学研究所GTC2020CG衣装NVIDIA MAXINEVRファッション淡路滋ビデオ会議ArtflowグリムノーツEponymゴティエ・ボエダ音声クローニングGautier Boeda階層的クラスタリングGopheraibo合成音声JuliusSIE鑑定TPRGOxia Palusバーチャル・ヒューマン・エージェントtoio SDK for UnityArt Recognitionクーガー田中章愛Meta石井敦銭起揚NHC 2021茂谷保伯池田利夫GDMC新刊案内マーベル・シネマティック・ユニバース成沢理恵MITメディアラボMCU著作権アベンジャーズマジック・リープDigital DomainMagic Leap OneMagendaMasquerade2.0ノンファンジブルトークンDDSPフェイシャルキャプチャーサッカーモリカトロン開発者インタビュー里井大輝Kaggle宮本茂則バスケットボール山田暉Assassin’s Creed OriginsAI会話ジェネレーターSea of ThievesGEMS COMPANYmonoAI technologyLSTMモリカトロンAIソリューション初音ミクOculusコード生成AI転移学習テストAlphaCodeBaldur's Gate 3CodeforcesCandy Crush Saga自己増強型AISIGGRAPH ASIA 2020COLMAPADOPデバッギングBigGANGANverse3DMaterialGANリップシンキングRNNグランツーリスモSPORTReBeLグランツーリスモ・ソフィーGTソフィーVolvoFIAグランツーリスモチャンピオンシップRival PrakDGX A100VTuberユービーアイソフトWebcam VTuber星新一賞北尾まどかHALO市場分析将棋メタルギアソリッドVフォートナイトFSMRobloxナップサック問題Live Nation汎用言語モデルWeb3.0AIOpsSpotifyMITスマートコントラクトReplica StudioAWSamuseChitrakarQosmo巡回セールスマン問題徳井直生ジョルダン曲線メディア5GMuZero政治クラウドゲーミングRival Peakがんばれ森川君2号和田洋一リアリティ番組Stadiaジョンソン裕子MILEsNightCafeインタラクティブ・ストリーミングLuis Ruizインタラクティブ・メディアポケモンCodexシーマン人工知能研究所東京工業大学Ludo博報堂ラップSIGGRAPH 2019ArtEmisZ世代AIラッパーシステムARrinnaGROVERプラスリンクス ~キミと繋がる想い~FAIRSTCチート検出Style Transfer ConversationオンラインカジノRCPアップルRealFlowRinna Character PlatformiPhoneデジタルヒューマンDeep FluidsSoul MachinesMeInGameAmeliaAIGraphブレイン・コンピュータ・インタフェースバーチャルキャラクターBCIGateboxLearning from VideoANIMAK予期知能逢妻ヒカリセコムユクスキュルバーチャル警備システムカント損保ジャパン哲学対談上原利之ドラゴンクエストエージェントアーキテクチャアッパーグラウンドPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者Siemensアルスエレクトロニカ2019品質保証StyleRigAutodesk逆転オセロニアBentley Systemsワールドシミュレーター奥村エルネスト純いただきストリートH100齋藤精一大森田不可止COBOL高橋智隆DGX H100ロボユニザナックDGX SuperPOD泉幸典仁井谷正充クラウドコンピューティングロボコレ2019Instant NeRFartonomousbitGANsぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward Architectureコミュニティ管理ウロチョロスSuper PhoenixSNS理化学研究所Project Malmoオンラインゲーム気候変動Project PaidiaEarth-2Project Lookoutマックス・プランク気象研究所Watch Forビョルン・スティーブンスBing気象モデルLEFT ALIVE気象シミュレーション長谷川誠ジミ・ヘンドリックス環境問題Baby Xカート・コバーンエコロジーロバート・ダウニー・Jr.エイミー・ワインハウスSDGsMagentaYouTubeダフト・パンクメモリスタSFGlenn MarshallELYZA PencilThe Age of A.I.Story2Hallucination音声変換レコメンデーションJukebox松尾豊Veap JapanEAPテンセントSIFT福井千春DCGAN医療MOBADANNCEメンタルケア人事ハーバード大学Edgar Handy研修デューク大学Netflixデータマイニングmynet.aiローグライクゲーム東京大学東京理科大学人工音声NeurIPS 2021産業技術総合研究所はこだて未来大学リザバーコンピューティングプレイ動画ヒップホップキャラクターモーションソニーマーケティングサイレント映画もじぱNBA環境音暗号通貨現代アートFUZZLEAlteration粒子群最適化法RPG進化差分法オープンワールド群知能下川大樹AIFAウィル・ライト高津芳希P2E大石真史SIGGRAPH 2022BEiTStyleGAN-NADAレベルデザインDETRゲームエンジンSporeUnreal Engineデノイズ南カリフォルニア大学Unity for Industry画像処理SentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太ミライ小町テスラGameGANパックマンTesla BotTesla AI Dayソサエティ5.0SIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典韻律射影広告韻律転移

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

2019.6.14アート

CGへの扉 Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

人間の想像力の限界とは

2019年2月に公開された、ヘネシー(フランス酒造メーカー)の CM が最近話題になりました。コニャック(ブランデー)で有名なヘネシーX.Oを基軸に場所と時代の異なる7つの世界を描いたもので、ヘネシーというブランドの世界観が映像で描かれている深みと歴史を感じる約4分の映像です。

CM本編の公開と同時に Behind the Scenes(いわゆるメイキング)の動画や監督のインタビュー動画が公開されています。このメイキング映像を見て驚くのは、撮影前の段階、つまりはリドリー・スコット監督が描いた絵コンテ(欧米ではストーリーボードと呼ばれる)の段階で、すべての映像が描かれ、何が登場して背景が何で、何をどう撮影するのか設計し尽くされていることです。

一流のスタッフを集め、映画並みの予算をかけたであろうCM撮影も、その紙に描かれた「絵コンテ」の具現化でしかありません。その具現化を支えるのは、メイキングの撮影現場で次々と判明する最新のCG/VFX技術、人の動きをデータ化するモーションキャプチャ技術、映像合成の技術から、衣装やメイクまで細部にわたります。

「絵コンテ」の段階で想像した映像がどこまでその「絵コンテ」に近づけられるのか、つまりは、監督が頭の中で想像した映像に、限られた予算と時間でどこまで現実の撮影(とCG/VFX)が追いつけるのか? といったことが勝負になるのです。

リドリー・スコット監督は、映画『エイリアン』(1979年)、映画『ブレードランナー』(1982年)といった凝った映像美で知られる監督です。もともと美術を学び、イギリスのテレビ局でキャリアをスタートし、映画監督デビュー前に数多くのCMに携わりました。現在までにCMの監督としても2,000本近くのCM映像制作に関わっています。

映画業界やCM業界の場合、絵コンテを描くことが専門のデザイナー職を使う場合もありますが、リドリー・スコット監督は自身で絵コンテを描く監督としても知られています。そのアーティスティックなバンドデシネのようなドローイングはマニア垂涎の代物でもあります。ご関心のある方は、画像共有サイト Pinterest で “Ridley Scott storyboard” と検索してみるのをおすすめします。

例えば映画『エイリアン』で監督が描いた絵コンテは、イギリスのファッションブランドポール・スミスの
Paul Smith ストーリーズ Ridley Scott」の絵柄としても使われているほどアート性の高いドローイングです。

via.Cinephilia & Beyond, Films and Filmmaking

当時インテルのCTOだったJustin Rattner 氏が 2012年の Intel Developer Forum で語った言葉があります。

 “Science and technology have progressed
 to the point where what  
 we build is only constrained
 by the limits of our own imaginations.”

“科学技術はすでに進歩を達成しており、唯一の制約は、想像力の限界である”

今までは映像の撮影技術や映像機材の限界で実現が不可能だった映像も、CG/VFXを使うことでさまざまなことが実現可能になってきました。それに加え、人工知能をベースとした技術や機械学習によって多くの可能性が広がりつつあります。映像制作の世界においても、唯一の制約は「想像力の限界」であることを
ヘネシーCMの Behind the Scenes を見ることで、まざまざと思い知らされたのではないでしょうか。

CG/VFX + AI のおかげで、今までは無理筋だったこと、人間が膨大な手間と時間をかけなければできなかったことが変わろうとしているのです。ここではそんなテクノロジーをいくつか紹介しましょう。

従来できなかったこと、できるようになったこと

1枚の顔画像からアニメーション作成

Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

論文:https://arxiv.org/abs/1905.08233

2、3枚といった少ない顔画像から顔アニメーションを生成する技術。数枚の顔画像をもとに、人が喋っている動画から眉・目・鼻・口・顎の成分を抽出し、それらの動きに顔画像を当てはめる技術です。同様の研究は多数ありますが、従来型であれば大量の参照データが必要となるところ、本研究では最少1枚の画像からでも限られた時間で顔アニメーションの生成が可能です。

アプローチとして、機械学習の学習方法を事前に学習しておくメタラーニングと呼ばれる方法が取られています。そのため1枚の画像からでも現実的な時間でアニメーションが生成できるそうです。この技術はサムスンのAIセンターとスコルコヴォ科学技術大学の共同研究によるもので、近い将来、1枚のセルフィー(自撮り)から表情豊かな動画が生成されるようになるかもしれません(その一方、フェイク動画への課題も浮上してきています)。

低解像度動画を高解像度に

Temporally Coherent GANs for Video Super-Resolution (TecoGAN)

論文:https://arxiv.org/abs/1811.09393

ソースコード:https://github.com/thunil/TecoGAN

動画映像が動いていることを活用しディテールを補完することで、もともとの動画の解像度を高精細にする技術です。従来から低解像度の画像を高解像度化させるツールは存在しましたが、本研究はフレームごとに動きのある動画を考慮し、欠けていた情報を補完する新しいモデルTecoGAN (TEmporally COherent Generative Adversarial Network) をサンプル実装したものです。

フィルムで撮影された映像素材は、リマスタリングによってある程度高解像度のデジタルコンテンツに変換可能ですが、ハイビジョン解像度でデジタル撮影された素材は、4K、8K コンテンツとしてそのまま流用することが難しいため、アップコンバートの技術が求められています。従来型のアップコンバートは人の手間や調整が膨大に必要であったことから、TecoGANのアプローチは大変期待されています。

広い視野映像に補完

Video Extrapolation using Neighboring Frames
論文:https://vml.kaist.ac.kr/main/international/individual/157

既存の動画から映画やワイドディスプレイ用の視野角の広い動画を生成する手法です。従来であれば、複数台のカメラを用意するか、超高解像度のカメラまたは超広角のレンズを搭載したカメラを用意する必要がありました。または映像の上下を削って低解像度のワイド動画として扱わざるを得ませんでした。本研究では複数視点を移動しながら撮影された映像素材をもとに、撮影されている場所や人物を3D空間上に再構成し、ワイド映像として復元します。SFM(Structure from Motion : 多視点画像からの3次元形状復元) の好例と言えるでしょう。

映像の自動スイッチング

Pixellot
URL:https://www.pixellot.tv/

動きの激しいスポーツ中継は多数の定点カメラ、レールやワイヤーに乗ったカメラや手持ちのカメラなど
複数台のカメラからの入力を切り替えながら、観客の見る映像を制作します。イスラエル発のPixellot は、習熟したスポーツ中継の放送クルーが制作するようなカメラの切り替えを人工知能を活用したテクノロジーで提供するものです。

人間の想像力の進化と、これからの映像制作

CG/VFXでは、現実世界にそっくりな映像を作ろうというよりも、すべて演出された、思い描いた想像どうりに映像を作ろうという傾向にあります。それは未来を描いたSF映画だけではなく、現代を描いた映像でも同じです。CG/VFXでは、衣服についたボタン一個一個の輝き、目の輝きの瞬間まで映像制作者、つまりは監督の配下に置いてしまいたいのです。

従来、人間が絵を描いたり、アニメーションを描いたりするために現実や実写を参考にしてきました。さらにその先に印象派や、シュルレアリスムなど、現実を正確に写し取るだけでなく、頭の中にある映像を具現化する流れもできました。

これからは「人ならでは」「人でないと」という事柄も、次々とテクノロジーで代替でき、再現できてしまうことが多くなっていくことでしょう。

Amazon CEOのジェフ・ベゾス氏は日頃から「10年後に何が変わるのか」よりも「10年後に何が変わらないのか」の方が重要だと述べています。10年後も変わらないもの、変わらず価値を持ち続けていること、10年後も変わらず重要視されている事柄こそが本質であり、そこがテクノロジーやビジネスの根幹となるという考えです。

10年前は音声認識や画像認識が今のように人間とほぼ同等か、または状況によっては人間以上の性能で認識が可能になるとは、SF映画と漫画以外では考えが及ばなかったかもしれません。ところが現在では、音声認識や画像認識はごくごく当たり前に生活に溶け込みはじめています。

そう考えると10年後は人工知能に任せられること、10年後も人工知能に任せられないこと、映像制作で人間の想像性が発揮されるところ、アートや映像制作で人間しかできない表現とは何なのだろうかと考えつつ、テクノロジーを活用していく流れが今後も強まることが必須となるのではないでしょうか。

本連載の今後の予定:「CGへの扉」は、まだ始まったばかりの連載ですが、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進ツール、これからの可能性を感じさせるような話題、テクノロジーなどの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAX...

歴史的絵画の鑑定や復元に活躍。美術界にも進出するアート実務系AI事例

2022.1.27アート

歴史的絵画の鑑定や復元に活躍。美術界にも進出するアート実務系AI事例

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

2022.1.17アート

CGへの扉 Vol.34:注目論文よりCGの祭典 #SIGGRAPHAsia20...

RANKING注目の記事はこちら