CGへの扉 Vol.52：制作の現場に進出しつつあるAI

AIで作られたオープニング映像に騒然

2023年6月からDisney+で配信が始まったMARVELのドラマ作品「シークレット・インベーション」では、オープニング映像の制作にAIが使われています。制作を担当したのはアメリカのCGプロダクションMethod Studiosです。音楽とともに「シークレット・インベーション」の不気味で不穏な雰囲気にとても合致した映像ですが、見る人が見ると、明らかにAIが生成したものだと分かる、独特の混沌とした奇妙な映像が続きます。

実際の映像制作はAIにすべて任せたわけではなく、従来型の制作作業の中で、映像制作のひとつのツールとしてAIが活用されただけであり、現場の制作スタッフの仕事が奪われたり、AIによって手を抜いたり、コストダウンをしたりといった話ではないようです。

ところが、このオープニング映像は、映像制作業界の内外で論争を巻き起こしました。この出来事はひとつの事例にすぎませんが、映像制作業界全体で、AIの利用に関してルール化の是非が問われ始めてきます。

2023年5月から全米映画テレビ製作者協会（AMPTP）に対して、脚本家組合に所属する脚本家がストライキを始めました。続いて2023年7月からは俳優らが全米映画俳優組合（SAG-AFTRA）に対してストライキをはじめました。7月に入ってから残念ながら、新作映画のプレミアイベントに大物俳優の来日が見送られたのもこれが理由です。ここでの論争の中心は、動画配信サービスにおける再放送料への不満ですが、脚本家や俳優の仕事をAIから保護するようルールを制定するよう求める提言も交渉内容に含まれています。現在、映画テレビ業界はAIの利用を禁止はしていません。けれども映画やドラマといった映像制作にAIを利用する際には「俳優や脚本家の許可を得る必要がある」といったある種の規制が存在するべきだという提言がなされています。

どこかで見たことがあるような映像

モーションデザイナーのCaleb Ward氏が制作したウェスアンダーソン監督風のスターウォーズ映像と、ロードオブザリング映像がSNSを中心に話題になりました。ウェスアンダーソン監督は独特の色使いと、左右対象の構図、特徴的なカット割りで知られる、映画監督で、日本にも多くのファンがいます。2015年の「グランド・ブダペスト・ホテル」の息の長い人気や「ウェス・アンダーソンの風景」という書籍や関連する展覧会が開かれるほど、不思議な世界観が一部のファンから強烈な支持を受けています。

ここで紹介する「ウェス・アンダーソン風の○○」の制作者は、映像ツールのチュートリアル作成を仕事とするCaleb Ward氏です。彼がAIを活用した架空の予告編を作り始めたきっかけは、AIアーティストのDemonflyingfoxが制作した、スペインのラグジュアリーブランド「バレンシアガ」風のハリーポッター登場人物の映像でした。

Caleb Ward氏は、ChatGPTにストーリーを書かせ、最新バージョンのMidjourneyで画像を生成し、その画像に少しだけ動きをつけたとのこと。もともとあまり映像に動きの無いウェス・アンダーソンの作風に、現状の生成AIが得意とする部分がちょうど合致したのが良かったそうです。一つひとつの作業は便利なAIツールや映像制作ツールがすでに存在しますが、それらをパイプラインとして一連の流れを構築するのが難しかったようです。

Caleb Ward氏の制作したウェスアンダーソン風の映像が話題になり、同じ手法でさまざまな予告編風映像が作られるようになりました。これらの制作には、ストーリーや画像生成用のプロンプトの生成にChatGPT、画像生成AIとしてMidjourney、音声生成AIにはElevenLabs、人物やキャラクターの動き作成するためのAIとしてHeyGenが使われています。これらに加えてAfter Effectsなどの一般的な動画編集ツールも利用されています。

物議を醸す、AI絵本の販売

2022年末、アメリカのIT企業でデザイナーとして働くAmmaar Reshi氏は、ChatGPTとMidjourneyを利用して短い絵本を作成し、Amazonでの販売を始めました。日本からもKindle電子書籍として購入可能で、米国Amazon.comではオンデマンド印刷の紙の書籍としても購入することができます。Ammaar Reshi氏は、絵本をAIで制作したことを明らかにしており、なんら悪気は無いのですが、出版業界や絵本作家たちからの議論を巻き起こしました。

そもそも一般に使えるMidjourneyの現在のライセンスでは商用利用を認めていないため、Amazonで絵本として有料販売すること自体が規約に抵触しているという現実的な批判から、「素晴らしい試み！」という評価や「AIに感動する絵本なんて作れるはずがない」といった感情的な批判まで、賛否両論となり、良い意味でも悪い意味でも話題になりました。Ammaar Reshiさんのツイートから、どのように試行錯誤して制作していったのか、その様子や手順を詳しくみることができます。

Then, I took those ideas to MidJourney and gave it prompt after prompt till I could get a somewhat consistent style. This took a few hours but it was such a fun process playing with all the different styles! pic.twitter.com/AwCQeaN7pt

— Ammaar Reshi (@ammaar) December 9, 2022

最近、ChatGPTのプラグインで「Stories」という絵本制作専用のツールがリリースされました。このプラグインは、もともとAI絵本制作サービスとして展開していたStoryBirdをChatGPTから簡単に使えるようにしたものです。絵本の概要を文章で表現し、プロンプトとして入力すると、数十秒待つだけで可愛らしい絵柄と読みやすい文書が掲載された絵本データが出力され、試作品を読むことできます。

ここでは例として「A story about children using their knowledge and imagination to develop a game.（子どもたちが知識と想像力を駆使してゲームを開発する物語）」というプロンプトで制作してみたAI絵本の、とあるページを紹介しましょう。

将来的には、Amazonで紙の本としてオンデマンド出版ができる準備もされているらしく、自分が主人公の、他の絵本にはない変わったストーリのオリジナル絵本も簡単に作れるようになるのが魅力的です。

AIはゲームキャラクターの制作に使える？

画像生成AIの進化にともない、3Dキャラクタや、3D形状データを、文言（プロンプト）で制作できる技術の研究開発も進んできました。

AIを活用し自分用のロールプレイングゲームが構築できるVersedでは、絵が描けなくともAIでキャラクタを作成する仕組みが検討されています。現在、一般に知られる多くのゲームは大規模な開発チームや、巨額の開発予算で作られているものが多い中で、一人または数人のゲーム作家が文章でキャラクターを説明、描写するだけで、見栄えのよい魅力的なキャラクタデザインがAIで生成されるとなると、あらたなゲーム制作の可能性が広がります。

たまに楽器が演奏できない人が「○○ジャンルのバンドメンバー、全パート募集。当方ボーカル」などという募集広告を笑い飛ばすことが例え話で使われることがありますが、それがもうすでに現実となってきているのです。つまりは、キャラクターデザインや、3Dデザインができない人でも、AIに指示するための適切なプロンプトと魅力的なシナリオを文章で書くことができれば、「ボーカル」だけでもバンド演奏ができる、つまりは一人でゲームが作れてしまう可能性が広がります。

もちろんさまざまな作業を多数のプロフェッショナルで分担して制作したゲームにはかなわないかもしれませんが、シナリオを検証するためのミニゲームや、大作ゲームを開発する前段階の試作など、さまざまな場面で活用されることが予想されます。

ProlificDreamerを始めとする文章から三次元形状データを生成する Text-to-3D の研究も各所で進んでいます。Tafiでは、文章（プロンプト）だけで自由自在に3DCGキャラクタが制作することができます。まだまだ人間の姿を基本としており、ゲーム世界での表現や応用範囲には制限があります。しかし、従来制作の手間が大きい割にはゲームそのものへの影響は少なく、かといって手間をかけないとゲームの世界観が失われるため、いかに品質と制作コストのバランスを取るかが悩みどころであった「モブ」と呼ばれる脇役キャラクタの制作などにはAIで十分と判断するゲームもあるかもしれません。

制作の現場はAIに侵食されるのか？それとも便利なツールとして浸透するのか？

現在のAI活用の主流は、いかに今までの制作スタイルのまま、AIを活用するのかといったアプローチと、AIの奇妙さやスピード、生成物の特殊さに着目し、人間が制作するのが難しい制作物を生み出すアプローチと、両極端な流れがみられます。今後は、そういった両方のアプローチが歩み寄り、混在が予想されます。

大規模ゲームからインディーゲーム、VRコンテンツの制作まで広く使われるゲームエンジンUnityでは、Unity Sentisという制作したゲームにAIの要素を手軽に組み入れることができる仕組みと、Unity Museというテキストのプロンプトで、Unity上で制作するほぼすべてのものをAI支援のもとで作れる仕組みを提供しはじめました。

Unity Muse & Sentis：https://blog.unity.com/engine-platform/introducing-unity-muse-and-unity-sentis-ai

またCG研究の最先端では、ChatGPTのように、既存ツールのコントロールや演出の指示をプロンプトでできる研究が進んでいます。

言葉（プロンプト）で動きを指示することができる MotionGPT
MotionGPT: Finetuned LLMs are General-Purpose Motion Generators

今まで、制作の現場で、ディレクターや監督が、映像制作者に指示を出していたような事柄を、今後はAIが代替できてしまうことが示唆されています。人間にしかできないこと、人間にしか生み出せない作品は大切にされつつも、AIを活用することで無理なく豊富なバリエーションを制作したり、精細度や緻密さの向上、試行錯誤のスピードなど、AI活用の工夫が期待されます。

また、人間がやらなくても良い作業や制作なども浮き彫りになってきているのがAI過渡期ということかもしれません。ここ数年で劇的に進化したAIを取り巻く様々な事象の影響を受け、数年後の映像制作の現場がどう劇的に進化しているのか、またはそれほど進歩していないのかが気になるところです。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.51：広告産業の事例が教えてくれる創造性を加速させるAIの活用法

Vol.50：脅威論がある一方で公式化する動きも。生成系AIに対する各界の反応

Vol.49：AI時代の勝者NVIDIA #GTC2023 レポート

Vol.48：頭の中を映像化

Vol.47：Gen-1登場。映像が映像を作る時代に

Vol.46：AIを活用したCG論文紹介 #SIGGRAPHAsia2022 より

Vol.45：大規模言語モデルChatGPTは仲間？ライバル？

Vol.44：AdobeMAX2022開催。SneaksよりAI活用の方向性を知る

Vol.43：AI絵師は3DCGの領域へ

Vol.42：現代の呪文promptが生み出すAIとの新しい関係性

Vol.41：AIが促進させるCG研究。SIGGRAPH2022論文より

Vol.40：知見の宝庫。MITの機械学習オンラインコース

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央