モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
機械学習ディープラーニングCGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース強化学習三宅陽一郎モリカトロンAIラボインタビュー音楽OpenAI敵対的生成ネットワークQAシナリオCEDEC2019NVIDIA人工知能学会Facebookデバッグスクウェア・エニックスDeepMindCEDEC2020ゲームAI映画遺伝的アルゴリズム不完全情報ゲームキャラクターAI深層学習マイクロソフトルールベースAIと倫理ビヘイビア・ツリーGoogleSIGGRAPHGDC 2019VRメタAIボードゲーム畳み込みニューラルネットワークロボットグーグルプロシージャルVFXマルチエージェントナビゲーションAIファッション河合律子StyleGAN自動生成JSAI2020CNNMicrosoftイベントレポートモリカトロンゲームプレイAI森川幸人水野勇太ガイスターCLIP自然言語処理アートtoioHTN階層型タスクネットワークJSAI2021スポーツGPT-3TensorFlowGDC SummereSportsBLUE PROTOCOL小説DALL-EAlphaZeroカメラ環世界中島秀之懐ゲーから辿るゲームAI技術史研究ディープフェイクDARPAドローンAI美空ひばり手塚治虫汎用人工知能メタデータ通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft Azureキャリアテストプレイeスポーツ音声認識PyTorchDQN眞鍋和子バンダイナムコスタジオシーマンUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEアニメーションワークショップGenvid Technologies知識表現IGDANPCどうぶつしょうぎジェイ・コウガミ音楽ストリーミングStyleGAN2マシンラーニングクラウドコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦藤澤仁生物学画像認識NFT長谷洋平鴫原盛之masumi toyota宮路洋一SIGGRAPH ASIA吉本幸記ソニーフェイクニュースシムピープルGPUALife人工生命オルタナティヴ・マシンサウンドスケープASBSマンガぱいどんTEZUKA2020松井俊浩スパーシャルAIElectronic ArtsマーケティングApex LegendsNinjaゲームTENTUPLAYMARVEL Future Fightタイムラプスバスキアブロックチェーン階層型強化学習WANN竹内将馬淵浩希岡島学映像セリア・ホデントUX認知科学ゲームデザインLUMINOUS ENGINELuminous Productionsパターン・ランゲージちょまどビッグデータアストロノーカ模倣学習ナラティブFPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム対話型エージェント協調フィルタリング人狼知能Amazon軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelロボティクスLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNUbisoftReBeLUbisoft La Forge自動運転車VolvoRival Prakウォッチドッグス レギオンユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミング斎藤由多加インタラクティブ・メディアリトル・コンピュータ・ピープルシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ウェイポイントユクスキュルパス検索カント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPDeNAStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育TextWorldProject PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021CycleGANテンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希シムシティ大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordZorkCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI DungeonMCS-AI動的連携モデル西川善司サムライスピリッツゼビウスストリートファイター栗原聡山野辺一記大里飛鳥13フェイズ構造手塚眞不気味の谷Oculus Quest生体情報写真照明山崎陽斗立木創太GameGANパックマンソサエティ5.0SIGGRAPH 2020DIB-R3D広告

CGへの扉 Vol.1:CG/VFXにおける人工知能の可能性と、その限界

2019.4.17アート

CGへの扉 Vol.1:CG/VFXにおける人工知能の可能性と、その限界

今日、これほどのコンピュータの進化がなければ、今のようなCG(コンピュータグラフィックス)や、VFX(特殊効果、視覚効果技術)の繁栄は考えられなかったでしょう。CGの本格的活用で話題になった映画、『ジュラシック・パーク』は1993年の作品です。シリーズの最新作『ジュラシック・ワールド/炎の王国』は2018年に公開されました。最初の作品から、シリーズ第五作目の作品まで25年の時を経ています。

CG/VFX技術、コンピュータの性能は格段に進歩していますが、今までに無かった映像を描き出す、現実には無いものを描き出すといったCG/VFXの目的には変わりありません。フルCG映画を数多く輩出するCGプロダクション、ピクサーの最初の長編映画作品は 1995年の『トイ・ストーリー』でした。ピクサーでは映画を発表するしばらく前、1980年代から長編作品の構想がありつつも、実際に長編を作れるほどのコンピューティングパワーが手に入るまで数年待つ必要があったそうです。

ピクサーのエド・キャトマル氏と『Toy Story 1』当時のレンダリングファーム(CG映像制作のための計算専用のマシンを集めた、
いわゆるコンピュータの農場)。エド・キャトマル氏は現在はピクサーのCEOを引退し、アドバイザーとして関わる。

当時最新鋭の100MHzのCPUを搭載した Sun SPARCstation がかき集められました。この写真に写っているマシン全部を集めても現代の最新版スマートフォンの半分くらいのコンピューティングパワーにも及びません。コンピューティングパワーの進化の指標としてよく取り上げられる「半導体の集積密度は18カ月ごとに倍増する」という「ムーアの法則」があります。それを皮肉った名言としてピクサーのエド・キャトマル氏が言ったといわれている「CGアーティストは(どんなにコンピュータが速くなったとしても)コンピュータの計算時間の限界まで作品を作り込んでしまう」という言葉があります。その言葉が物語っているように、1995年当時と比べて格段のコンピューティングパワーを手に入れた今日でも、より豊かでより複雑な表現を追い求め、映像制作のためにコンピューティングパワーが消費されています。

ピクサーのエド・キャトマル氏らが素晴らしかったのは、その当時1988年に初めて一般にリリースされたRenderManというCG映像制作のためのソフトウエアを遠い将来のことを考えて作ったことです。その当時の(今で考えるととても貧弱な)コンピュータの性能に依存することなく、将来得られるであろう、超高性能のコンピュータ、高解像度の表示装置を想定して仕様を考えていたことです。そのおかげで、RenderManはアルゴリズムや描ける画像の性質、品質こそ変わりましたが、リリースから30年以上経った今も、CG映像制作の第一線で使われ続けています。

さらに今日、いわゆるAI(人工知能)、ディープラーニングなどのテクニックが映像制作にまつわる所々の作業に新たな可能性を広げつつあるのが現代の CG/VFXの世界であり、さらに大規模なコンピューティングパワーによって、さまざまな可能性が広がってきています。

PAIR (People + AI Research):AIと人間との協業という考え

「人工知能に仕事が奪われるの?」という話題がよく議論されますが、仕事は増える一方、それも人間にしかできない仕事がより重要になってくるとも考えられています。そこで人間の能力をより拡張し、人工知能の助けを借りつつ、人間と人工知能の関係性を研究、再構築し人工知能だけではなく人間の力とともに推し進めていこうという PAIR (People + AI Research) という考え方が、グーグルを中心に広がってきています。

このプロジェクトでは、エンジニアや研究者にとっての人工知能と人との関係性、専門職にとっての人工知能の支援、専門性をより高めるための検討、また一般ユーザーにとって人工知能にとってどんな恩恵が受けられるのか?といった話題が展開されています。映像制作の現場でも単に何かの作業をコンピュータに任せたり、コンピュータに依存した仕事をするのではなく、人が活躍する分野とコンピュータが活躍する分野の相乗効果でより素晴らしい映像を作っていこうという流れが主流です。

研究と実業の距離感の近さ

人工知能のブームは過去にも何度か来ていましたが、昨今の盛り上がりの大きな要因のひとつは、研究と実業の両面で盛り上がっていることです。他の業界、他の研究分野に比べ、人工知能の世界は研究と実業が良い関係性を持った近い位置にあり、研究成果の実用化のスピードが速く、また人材の交流も盛んです。

CG/VFXの世界も同様です。研究がすぐに実用化され、人材の交流の盛んな業界のひとつです。CGのトップカンファレンスと呼ばれる北米で開催される学会 SIGGRAPHでは、最新の論文発表の成果が翌年にリリースされたAdobeの最新ツールの新機能として組み込まれていたり、大学であるCG研究していた人が卒業後すぐにCGツールの開発やCGプロダクションで働くということもごくごく一般的です。

SSS(Semantic Soft Segmentation)は、SIGGRAPH 2018 で Adobeの研究者によって発表されたCNN(convolutional neural network:畳み込みニューラルネットワーク)を活用した背景分離の手法です。MIT CSAIL、チューリッヒ工科大学、Adobeリサーチ、マイクロソフトの複合チームによる研究で、1枚の静止画に写っている物体を認識し、前景と背景を自動的に分離し、背景を差し替えて利用できる手法です。静止画から訓練済みのCNNによって何が写っているのかを判別し、それを手がかりに前景を抜き出します。一般的には分離が困難な犬の毛並みや女性のカールした髪の毛なども正確に分離できます。現在はハイパワーなコンピュータでも数分かかる作業のため、実用に向けてはスピードの課題もあります。

CG/VFXの世界における人工知能の可能性と現在の限界

CG/VFXの世界でもコンピューティングパワーと人工知能活用で、人間の手作業で時間を食われていた雑務を安価で高速になったコンピュータに任せ、人間はよりクリエイティブな作業に時間を費やせるようになるとの考え方が浸透してきています。さまざまなアプローチが取り組み始められていますが、実際のところその便利さと、その限界の間でせめぎあっているのが現状のようです。

例えば、ものすごいコストと手間をかけて機械学習させ、CGで人物の動きや顔のアニメーションを制作するよりも、動きや表現力豊かな俳優の動きの取り込んでデータ化した方が手っ取り早く正確だったりします。多くの顔つきのサンプルを学習させて、新しいキャラクタの顔を自動生成できるようにしても、あまりにも一般的な顔になってしまい、ゲームや映画の中で活躍するクセのあるキャラクタの顔としては向かなかったり、演出や加工が必要な状況も出てきます。

つまり適材適所でツールはツールでしかないということです。現在進化しつつある人工知能をどう現場で活用するのかといった点でも模索中なのが現状です。いくつか事例を紹介しましょう。

人工知能活用のCM制作:レクサスの事例とバーガーキングの事例

高級車レクサスESのCMの脚本は、人工知能だけでなく映像制作の専門家が深く関わることで作られました。Visual Voice が開発した IBM Watson の画像認識技術をベースとしたシステムが使われ、広告を中心とするクリエイティブのアワード、カンヌライオンズで賞を獲得した車のCMや高級ブランドのCMを15年分学習させて作られています。

もちろん最初から完璧なCMの台本を人工知能が作れるわけではなく、人工知能が過去のCMから導き出した最適なストーリーを台本とし、撮影は編集は人間が行い最終的な映像を構築したもの(ただしこの映像は実際にTVCMとしては流されていないそうです)。

その一方、米国バーガーキングが挑戦したのは、すべて人工知能を使ってCM映像を作り上げるというもの。Agency of Record (広告主指名代理店)を皮肉った Agency of Robot(広告代理店ロボット)と呼ばれたプロジェクトが作り上げたCMは、ハンバーガーショップのCMっぽい映像ながらラップ調の変な言葉が続くものです。ネット上で話題にはなりましたが、誰の目から見ても奇妙なCMです。

顔の自動生成に機械学習を活用した事例と、CG/VFX業界でのデジタルダブル(俳優の複製)

ハリウッド映画の世界では、すでに亡くなった俳優をCG/VFX技術で復活させたり、デジタルダブルと呼ばれるデジタルの代役が多く使われるようになってきました。従来は危険なスタントの際、主演俳優に背格好がよく似たスタントマンに代役を務めてもらうようなことが行われていました。最近では俳優本人を全身スキャンしてCGで俳優そっくりのモデルを再構築して動かすことができます。

もちろん手間とコストはかかりますが、ほとんど本人と見分けがつかないほどのクオリティで再現でき、各所で使われるようになってきています。そこにはハリウッドを中心とする映画俳優組合との取り決めなどで、デジタルダブルの利用量が規定されていたり、死後のデジタルダブル制作を拒否している俳優などがいるのも現状です。グラフィックスハードウェア分野で成長の目覚ましいNVIDIA社はGAN(Generative Adversarial Network:敵対的生成ネットワーク) を活用して存在しない人物の顔を自動生成していく試みを発表しました。

【論文】A Style-Based Generator Architecture for Generative Adversarial Networks

8台のNVIDIA Tesla GPU搭載のハイエンドパソコンで1週間かけて1万人の顔を学習させ、顔を作る人工知能と、そのできた顔を評価する人工知能が延々と評価を繰り返して作られました。そのような工程を経て、生成される顔の精度を現実の顔写真のレベルまで高めっていったそう。同様の人工知能による顔の生成に関する研究は2014年ころからなされていますが、今回の人工知能が生み出した顔は格段に現実感を帯び、知人の顔写真だと言われても、まったく違和感のないほどの仕上がりです。この仕組みを拡張し、偽の顔をカスタマイズ、顔の特徴を加えていくことさえ可能となっており、倫理面での課題もあると話題になっています。

***

本連載の今後の予定:CG/VFXの世界においても単に人工知能に仕事を奪われて仕事が無くなってしまうということではなく、クリエイティビティを加速させるテクノロジーとしてコンピュータや人工知能が活躍していくことは誰もが否定できない事柄だと思われます。今後も人間のクリエイティビティを加速させ、その幅を広げていくようなコンピュータ技術や、人工知能の活用などについて話題を紹介していきたいと考えています。次回以降も CG/VFX の世界における人工知能の具体例、研究例、ツールや制作事例紹介などにご期待ください。

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.26:アートを加速させるAIの役割」#GTC2021 レポート

2021.5.14アート

CGへの扉 Vol.26:アートを加速させるAIの役割」#GTC2021 レポー...

「AI美空ひばり」はなぜ炎上したのか?:栗原聡氏×山野辺一記氏インタビュー(後編)

2020.4.20アート

「AI美空ひばり」はなぜ炎上したのか?:栗原聡氏×山野辺一記氏インタビュー(後編...

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAX...

RANKING注目の記事はこちら