CGへの扉 Vol.58：生成AIによる映画産業の業務の置き換えはどこまで可能か？

映像制作のすべての工程に影響を及ぼす生成AIの広がり

新作映画の広告に「構想10年、ついに映像化！」などと書かれることがあります。そんな長い間考えていたのか…と思いつつも、中には構想30年、40年、50年といった映画もあり、映画づくりの壮大な過程に驚く次第です。

もちろんその年月は、脚本家や監督の頭の中にアイデアが湧き上がってから、その構想を具体的に商業として成り立つ映像にするまでの長い時間を示しています。企画や脚本を練る時間、仲間集めや資金集めの時間、配役の決定や手配など、さまざまな時間が積み重なっていることでしょう。

映画のエンドロールを見ると、大作映画であればあるほど、膨大な制作スタッフの名前が列挙されています。数十年といった構想期間があるのに比べ、映画はいったん撮影が始まってしまうと、余程のことが無い限り、最後まで作られ公開されます。中には主演俳優が亡くなっても完成にこぎつけた作品さえあります。Wikipediaには「未完成の映画」というページがありますが、そこに記載されている作品は数えるほどしかありません。

一旦撮影が開始されれば、何かトラブルなどがあったとしても意地でも完成までこぎつけるのがほとんどの映画です。なかにはロケ撮影に手間取り、世界中のさまざまな場所で撮影4年以上かけて制作された映画もあります。さらに1999年に公開されたスタンリーキューブリック監督の『アイズ ワイド シャット』は短期の休日こそあれ、休止期間無しで撮影が続けられた結果、撮影期間が46週（約400日間）となり「撮影期間最長の映画」としてギネスブックに掲載されています。

映画をはじめとする映像作品づくりでは多くの工程が順に進められていきます。プリプロダクションと呼ばれる撮影に入る前に行う準備から始まり、脚本（スクリプト）、予算管理、撮影場所の検討をするロケーションハンティング、適切な配役を選ぶキャスティング、効果音、音楽、映像編集、上映や配信にむけて映像の雰囲気や世界観に大きな影響を及ぼすカラーグレーディング（色調調整）、ポストプロダクションと呼ばれる仕上げ作業、そして声優や俳優による多言語吹き替え等々です。実は、現在これらほぼすべての工程で、生成AIの活用が検討されています。

2023年11月、ストリーミングサービスの二次使用料で争っていた全米映画俳優組合と、全米映画テレビ製作者協会（AMPTP）との話し合いが、いったん決着がつきました。その話し合いの内容にはAIの活用にまつわるものもふくまれていました。

1. エキストラ俳優たちの顔や体、動きなどをスキャンしたデータをAIで用いて、勝手に再利用しないこと
2. 脚本家が脚本を書く際、映画制作スタジオの合意があればAIの活用が可能だが、スタジオ側がAIの利用を強要することはできない
3. 映画制作スタジオが脚本家に資料を提供する際に、その資料がAI生成である場合、そのことを明らかにすること
4. 脚本家が自身の脚本を、生成AIの学習元データとして使われることを拒否でき、勝手に使われた場合は訴訟できること

【関連記事】CGへの扉 Vol.56：ハリウッド映画の自動生成も間近か？ AI動画の可能性

一方、2024年1月には全米映画俳優組合と米国テレビラジオ芸術家連盟（SAG-AFTRA）との間で、組合に所属している俳優のAI合成音声を正式なライセンスの下で提供し、主にゲーム内の音声として利用可能になる協定が締結されました。ただし、続編やスピンアウト作品での再利用は拒否することも可能だそうで、微妙なバランスの協定とも言えます。

【プレスリリース】SAG-AFTRA and Replica Studios Introduce Groundbreaking AI Voice Agreement at CES

生成AIによる脚本、物語づくりの可能性

ChatGPTが登場したばかりの頃、色々とチャットを試している時に、興味深い体験をしました。SF小説のプロットを考えてもらえるよう、少し変わったプロンプトでChatGPTに指示したところ、たくさんのSF小説を読んできた自分でさえも、今までに読んだことがないような物語をChatGPTが提示してきたのです。頭の中に人物像が浮かび上がるかのような登場人物の設定、意外とも思える物語の起承転結、興味深い小道具などをどんどん提示してきて、なんだか新しい作家のSF小説を読んだような、不思議な気分を味わいました。

まだまだ一流の小説家や脚本家が描く物語を、そう簡単にChatGPTが超えるとは思いませんが、プロフェッショナルの仕事をChatGPTがサポートするだけでも、より緻密で豊かな表現の可能性が考えられます。映画に限らず、ドラマなどもふくめ、映像作品の脚本は、登場人物のセリフだけではなく、その場の環境や状況を説明した文章や、演出に関する記述、小道具などの指示も書かれています。また場合によっては一つの脚本に対して、複数の脚本家が手を入れたり、修正、更新することもあるでしょう。

Squibler

Squiblerが提供するAI Screenwriterといった脚本家向けのツールでは、脚本執筆、場面設定、キャラクタ設定などを支援してくれます。ライセンスによっては複数人での脚本執筆にも対応しています。設定の辻褄を合わせたり、設定間違いを避けたり、最初の発想や必要な要素をAIに支援してもらうことで、細かなことに気を使わずに、本来の脚本執筆に集中できるのが良いところでしょう。

AI Filmmaking Assistant

ChatGPTをカスタマイズして特定用途向けのChatとして構築したGPTsの一つである「AI Filmmaking Assistant」では、映画のアイデア作成のサポート、映画のストーリーの一貫性の維持、ショットリストと呼ばれる場面の候補、さらにコンセプトアートの作成支援が行えます。例えば、好みの映画やキャラクターを数件伝えると、それらの映画やキャラクタの特徴から、大まかなストーリー、テーマ、映像スタイルといったコンセプトを提示し、それらをAIと対話しながらアイデアを広げていくことができます。

登場キャラクタのアイデアをお願いすると、キャラクタの背景（由来）、個性、見た目といった要素を細かく提示してくれます。ツールに頼りすぎると、どこかで観たことのあるようなストーリー、登場人物になってしまいそうですが、そもそも多くの映画は、王道のストーリーと、定番の魅力ある登場人物で構成されているともいえます。例えば「ゲームの世界で人工知能が活躍するようなストーリー」を考えてもらうと、映像のコンセプト、おすすめの映像スタイル、撮影カメラの雰囲気、映像の色使いや雰囲気、コンセプトアートの例を提示してくれます。これだけで映像は完成しませんが、発想の起点としては便利な相談役となってくれることでしょう。

生成AIによる撮影環境、映像制作

Pika.art

短めのプロンプトで指示するだけで、映画風の数秒分の１シーンを生成することができます。アニメやSF映画風の壮大な作風、実写ではあり得ないVFXを駆使したような映像も、とても自然な雰囲気で生成されます。

Taskade

映像制作の現場では、コールシートと呼ばれる作業計画書が毎日作られます。これはキャストとクルーの配置、役割分担、スケジュール計画、その日に撮影するシーンの詳細などが記載されています。これらのコールシートは従来、現場で信頼された熟練の担当者が多くの時間を使って慎重に作られていました。こういった属人的な作業をAIが肩代わりしたり、サポートしてくれることは大いに制作者のストレスを軽減することでしょう。このタスクを支援してくれるAI「Taskade」ではそのほかにも映画制作の予算の積み上げ、作業分担の割り振り、衣装担当者の支援などを行う、さまざまな個別タスク専用AIが用意されています。

生成AIによるロケーションハンティングの可能性

ロケーション専門のエージェンシーであれば、こういったシーンではここで撮影するのが良いといった情報を数多く持っています。また、撮影許可の取りやすいところ、撮影クルーが移動しやすい箇所、借用コストなどさまざまな条件で撮影場所を探します。そういった経験と勘に基づいた作業でも、ChatGPTを活用し始めている専門家もいるそうです。例えば「東京都内で魔女の森風の撮影をする際の候補地」とChatGPTに問うと、三鷹の国立天文台の敷地、秋川渓谷の森林、浜離宮恩賜庭園といった、なるほど！そこは良いロケ地！と思わせるような候補地を提示してくれます。

生成AIによるキャスティング、演出の可能性

ストーリーや映像の雰囲気にあった俳優を選び出すキャスティングの工程にもAIが活躍し始めるとともに、配役の募集の際に必要事項を漏れなく列挙する用途にも活用されています。あるキャスティング専門会社では、俳優のオーディション映像・音声から、適切な配役を予測する取り組みも始まっています。また予算が限られた映画では、脚本にあった俳優、かつ予算の範囲内の俳優を探し出すのにAIが活用されることもあるそうです。また、俳優が発声やセリフの言い回しをコーチングしてもらったり、感情表現や発声のトレーニング、配役によって演技を調整する際などの参考にする可能性も広がってきました。例えば、昔の偉人を演じるような役では、できるだけ本人に近づく演技を考えるためにも役立つでしょう。

生成AIによる吹き替え、声優の可能性

国際線の飛行機の中で航空機内でのみ配信される洋画の日本語吹き替えの映画を観ると、俳優と日本語吹き替え声優との不一致を感じることがあります。これは俳優の元々の声を知っている場合、また配役や骨格、体格などから声色を想像し、その声と吹き替え声優の声とか異なっていた際にどうしても起こる違和感です。映画『ミッション:インポッシブル3』で、敵役が60語ほどのサンプル文を無理やり読まされて、声色をコピーしたテクノロジーを覚えているでしょうか。現在の最新技術、MicrosoftのテクノロジーVALL-Eを使えば、音質はまだまだ向上の余地がありますが、3秒のサンプルがあれば、
本人の声色で多言語での音声合成が可能になります。実用的なもとしては ElevenLabsは1分のサンプル音声から29か国語の発話を生成できます。

また Deepdub.aiといった多言語吹き替えサービスも対等してきており、俳優本人が話せる言語、映画で収録された言語が限られていたとしても、本人の声色で多言語吹き替えが可能になっています。吹き替えの発話に合わせて口の動きを違和感なくつなぎ合わせる技術も使われ始めているのです。

生成AIによる効果音、音楽

映画、映像における重要な要素の一つに、音楽や効果音があります。音楽は物語の展開を盛り上げたり、感動のきっかけとなるとても大きな要素です。また適切な効果音によって圧倒的な臨場感や没入感が得られます。

AUDIOGENでは、プロンプトを入力すると、その文言で表現された効果音が数パターン生成され、その中からイメージに近いものを選べます。爆発、大爆発、巨大な爆弾が爆発、といった言葉の違いだけで、音も適切に変化します。従来のように膨大なサウンドライブラリーから探したり、シンセサイザーで効果音を作成したり、物理的に何かの音を収録して効果音を用意するのに比べ、圧倒的なスピード、演出等のイメージを伝えるのに役立つでしょう。
映像の雰囲気に合わせた音楽を求める場合は Evoke Musicが生成AIで作られた豊富な音楽ライブラリを揃えています。

また、まだまだ研究中のテクノロジーですがAutoFoleyでは、映像に映っているものに応じた効果音をつけてくれます。馬が走っている映像であれば、パッカパッカという蹄の音、ピアノを弾いている人の映像に合わせて、それっぽい音楽といった生成音が得られます。

生成AIによるカラーグレーディング

映像制作の最終工程に近づくと、映像の色味、彩度といった色合い微調整し、映像を上映する媒体やデバイスに合わせて映像シーンの雰囲気や表現を整えるカラーグレーディング（色調調整）の作業が行われます。この工程も生成AIの活躍の場であり「◯◯風の色合い、雰囲気をもった映像」が容易に調整可能となるのです。Colourlab.Aiはすでに Netflix やディズニー、ワーナーブラザーズ、ゲーム会社のEAといった企業に使われています。Colourlab.Aiは一例でしかありませんが、なんでもできる生成AIよりも、ある特定要素に特化した高性能の生成AIの活躍が期待されます。

生成AIによる映像プロモーション、マーケティングの可能性

映画の制作途中、完成間際には試写会が行われ、ここでの評価によって物語のエンディングが変更されたり、マーケティング施策が変わったりします。Largo.aiでは、コンテンツ分析、財務予測、コンテンツのパッケージングなど、さまざまな要素に示唆を与えてくれます。映画配給会社ワーナーブラザーズでは、すでにAIを使ったCinelyticというツールを導入し、映画制作にゴーを出すかどうか、映像作品の買収、作品のリリーズ時期の提案などの支援に用い始めています。

今後予想される展開

映像アーティスト Paul Trillo さんは、最初のストーリー展開と絵コンテ以外は生成AIを最大限活用するという実験をし『Absolve（無実であると認める/罪のゆるしを言い渡す）』という短い映像作品を作り上げました。映像そのものは、合成素材として実写映像も使われておりCG/VFXとの合成や映画フィルム風に見える加工など、生成AIでボタン一つで作成したというわけではなく、従来の映像制作の工程どおり進めつつ、生成AIを最大限活用する流れで作られました。

Absolve 本編

Jacques – “Absolve” from Paul Trillo on Vimeo.

Absolve メイキング

“Absolve” VFX Breakdown from Paul Trillo on Vimeo.

今後、映像そのものの楽しみ方も変わってくることが考えられます。映像づくりそのものを楽しむ映像制作の民主化、マルチエンディングなど視聴者個別の映像を楽しむ過程も出てくるかもしれません。現在は大規模な予算をかけて映画を制作し、世界中に広く配給されています。また映画館での収入のみならず、オンライン配信などをふくめた巨額の宣伝費や制作費が動くビジネスモデルですが、今後は一人または数人の才能ある作家、もしくは才能がなかったとしてもAIを使いこなせる人であれば、ハリウッド映画並みの映像制作が作れるのでしょうか？ もしくは、結局は今までと同じ制作工程、制作スタイルが、AIによって加速されるだけなのでしょうか。

以前の記事で、映画監督ウェス・アンダーソン風の生成AI映像を紹介しました。AWA（Accidentally Wes Anderson）というウェス・アンダーソン監督が撮影したような写真を楽しむ、ムーブメントがあり、写真集が出版されたり、大人気の展示会が開催されたりしました。

つまりはフェイクと知りながら、その世界観を楽しむオーダーメイドの自分一人だけの世界観を楽しむ、自分もその一員となって楽しまれているのです。フェイクだからといって隠したり避けたりするのではなく、フェイクだと認識した上で楽しむこともあるかもしれません。

【関連記事】CGへの扉 Vol.52：制作の現場に進出しつつあるAI

ここまで紹介したような生成AIによって、映像制作過程がより早く、高品質になるとともに、従来ではできなかったような挑戦や試作なども可能になってくることでしょう。これこそが生成AIがもたらす恩恵ではないかと考えています。長い期間の下積みが必要だった業種、スキルや経験の取得が重要な職種においても、AIの助けによって可能性が広がる部分がでてくる一方で、どうしても達人の域には到達できない領域もあることでしょう。今後も愛着をもって何度も見返したくなる映画、思ってもみなかったような映画、圧倒されるようなストーリー展開の映画を楽しみたいものです。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.57：AIを活用したCG論文紹介 #SIGGRAPHAsia2023 より

Vol.56：ハリウッド映画の自動生成も間近か？ AI動画の可能性

Vol.55：AdobeMAX2023開催。生成系AI全盛のSneaks

Vol.54：SIGGRAPH 2023基調講演における注目のAIトピック

Vol.53：CGの祭典SIGGRAPH50周年にみるAIの台頭

Vol.52：制作の現場に進出しつつあるAI

Vol.51：広告産業の事例が教えてくれる創造性を加速させるAIの活用法

Vol.50：脅威論がある一方で公式化する動きも。生成系AIに対する各界の反応

Vol.49：AI時代の勝者NVIDIA #GTC2023 レポート

Vol.48：頭の中を映像化

Vol.47：Gen-1登場。映像が映像を作る時代に

Vol.46：AIを活用したCG論文紹介 #SIGGRAPHAsia2022 より

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央