CGへの扉 Vol.43：AI絵師は3DCGの領域へ

AIはどこへ向かう？

2022年も残るところ数か月、ここ数週間で、人工知能が描く画像（いわゆるAI絵師）の進展が驚くべき状況になりつつあります。また、テクノロジーの観点ばかりではなく、利用方法や著作権、絵描きの心情も含め、多くの意見が錯綜している段階です。側から見ると、短い期間で、ものすごい勢いでさまざまな人工知能が開発されているように見えますが、実は数年前から研究開発されてきたものが、このタイミングで一気に、先を争うようにお披露目されている印象があります。

技術論文登録サイトarXiv の統計によると、2020年から2022年にかけて、人工知能（とくに機械学習）関連の論文が指数的に増加していることが分かっています。日に数百本の勢いで増加する論文は、人工知能専門の研究者であってもすべての関連論文を読み解けないほどの量になっていることが指摘されています。

サーベイ論文：Predicting the Future of AI with AI:High-Quality link prediction in an exponentially growing knowledge network

人工知能が描く画像に関する話題が広がったひとつの契機は Stable Diffusion のオープンソースとしての公開でした。Stable Diffusion公開以前、OpenAIやGoogleが人工知能ソリューションを一般公開せずに一部の利用者に限定していたのも、さまざまな問題や課題が発生することが予想されたことや、世間的にどう受け止められるのかが分からないことがひとつの要因だったと考えられます。そういった懸念をものともせず、公開されたStable Diffusionにより、利用者とともに、Stable Diffusionを元としたサービスも数多く登場してきました。

その中では、機械学習の学習素材となっている画像群の出所が著作権上はっきりしないものであったり、
あまりにも学習元の画像にそっくりな画像が生成できてしまうなどといった、自分で絵を描く人からすると許容できない状況が問題になりました。

人工知能に画像を描かせるのは、あくまでツールであると考える人もいれば、自身の創作活動が阻害されたり侵食されると考える人、悪さを思いつく人、嫌悪感を抱く人もいて、さまざまな受け取られ方がされています。カメラの登場、コンピュータの登場など、過去にもさまざまなテクノロジーが、人間の創作活動を奪うと考えてきましたが、人間は一度便利さを手に入れると、元には戻れなくなるという習性があります。今回の人工知能を取り巻く一連の状況も同じ状況です。技術は一度生まれてしまったら、それがなかった時代には戻れないのです。

text-to-?? の広がり

text-to-image文字列から画像を生成する仕組みから、音声を生成するtext-to-speech、環境音などを生成するtext-to-sound、音楽を生成するtext-to-audio、三次元形状を生成するtext-to-3Dなど、文字列からさまざまなデータが生成できるソリューションが広がってきました。そこで使われるpromptと呼ばれる、生成を指示する文字列も、カメラや3DCGの業界用語が大きく影響を与えることが分かってきました。

【関連記事】CGへの扉 Vol.42：現代の呪文promptが生み出すAIとの新しい関係性

promptとして、画質向上のヒントとなるのは、3DCGツールの製品名や、画像生成（レンダリング）ツールの名前などです。

【promptに使用される単語の例】
3DCG関連：3D renders, 3D realism, unreal engine, octane render, vray, houdini render, cinema4d, arnold render, raytracing, cgi, lumen reflections, cgsociety, ultra realistic
カメラ関係：bokeh, depth of field (or dof), macro photography, polaroid, film photography, studio quality

以下の3つの画像は”Laboratory” と、上記キーワードを付与して生成したtext-to-image 画像です。3DCGツールで制作したかのような雰囲気の画像が生成されています。

text-to-?? は一種の発想実験でもあり、人工知能の活用の場を考えるヒントともなる事象です。例えば、text-to-AD（広告）、text-to-sourcecode、text-to-novel、text-to-game、text-to-scenario、text-to-movie などなど考え始めるとキリがありません。

文字列から三次元形状へ text-to-3D

text-to-image の二次元コンテンツから次の展開は三次元です。ここにきて text-to-3D 研究がいくつも話題になってきています。ただし、まだまだ万能なものではなく、得意不得意や向き不向きがあるといった状況です。

DreamFusion

DreamFusion: Text-to-3D using 2D Diffusion（Googleリサーチと、UCバークレイの共同研究）

人工知能が画像を生成するために、大量の画像とテキストの組み合わせを機械学習で実現していますが、残念ながら3D形状データに関しては、こういった大量データセットの存在や精度を高めるためのノイズ除去の手法が無い状況です。DreamFusionでは、ランダムに生成された3次元モデルを勾配降下法（訓練テストに対してコストが最小になるように、モデルパラメータを少しずつ操作し収束させる手法）により最適化し、ランダムな角度からの2次元レンダリングが低損失になるよう導いています。このアプローチによって事前学習によりさまざまな形状が生成可能になりました。内部的にはGoogleのImagenというtext-to-image技術が使われています。

NVIDIA GET3D

NVIDIA GET3D（NVIDIA社）
解説ブログ：https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/

NVIDIA GET3D (Generate Explicit Textured 3D meshes) は、2D画像のみの機械学習の結果から、高精細なテクスチャと複雑な3D形状を生成することができます。ここで生成される3Dオブジェクトは、一般的な3DCGソフトで使用されるのと同じフォーマットで作成されるため、すぐにCGツールに取り込んで活用することができます。とくにゲームの景観や建築設計、都市の設計などで、大量かつ現実世界におけるの3D形状モデルを平易に揃えたい場合には重宝するでしょう。

例えば、さまざまな車種の車の画像を学習させることで、車の3D形状データを手に入れたり、動物や家具といったさまざまな用途に使えます。さらにVR空間に必要な要素を自動的に大量に揃えるためにもこういった text-to-3D ツールは重宝することでしょう。

このtext-to-3Dソリューションが登場するまでは複数の二次元画像から3D形状を抽出したり、二次元画像からの類推で3D形状を生成していたため、精度や自由度に関して制限がありました。GET3Dでは、1台の最新GPU搭載PCを用いると、1秒間に約20の形状を次々に生成することができます。元となる機械学習の素材の数が多ければ多いほど、出力される3D形状も多種多様なものになっていきます。実際の利用には NVIDIA のStyleGAN-NADAとGET3D を組み合わせることで、テキスト入力から3D形状データを生成することになります。今後は、あらかじめ用意されたデータセットからの学習ではなく実世界の写真からの学習や、より多くの種別に対応していく予定とのこと。

創作活動の尊重と、AIはあくまでツールという考え方

人工知能による画像生成はルールや倫理、法律や著作権などではすべてコントロールできない状況が考えられます。こういったテクノロジーを嫌がる人もいれば、積極的に受け入れる人もいるのは当然です。

映画ダイハードなどで知られる俳優、ブルース・ウィリス氏が、自身の失語症を理由に2022年3月に俳優業を引退しました。その後、「ディープフェイクで生成した自分のキャラクタを映画や広告に出演させる権利」をエージェントに売却したのです。最新のハリウッド映画では、俳優のスタント映像や特殊効果のために体中のデータをスキャンし、デジタルツインと呼ばれるデータで3DCGのキャラクタに演技させることがあります。これを受け入れる俳優も、嫌がる俳優もいます。

ディープフェイクを用いれば、多言語対応できたり、年齢の壁を取り払った演技を可能になるというポジティブな可能性が広がります。ブルース・ウィリスの事例は、本人の置かれている状況が特殊（自身でこれ以上演技を続けられない）という事も影響していますが、今後テクノロジーを受け入れるタイプのクリエーターと、受け入れないタイプのクリエーターが共存していかなければいけない困難な状況が続くでしょう。

Lexicaや、Magic StudioのImagineでは、人工知能が生成した画像を次々と見ることができ、SNSやクリエーター作品投稿サイトとは、またちょっと違った雰囲気が感じられます。Imagineには “Ghibli” というタグが用意されています。このことを突き詰めると一悶着ありそうですが、どんな生成画像も、ジブリ風になるのが、驚きを超えてなにか不思議な感覚に没入していくようです。

一方、機械学習の素材として自身らの作品が使われることを懸念している作家も多く、自分の描いた画像が機械学習の素材として使われているのかどうかを調べるサイトHave I Been Trained?や、自分の作品を機械学習の素材として使って欲しく無いことを表明するサイトSpawningも登場しました。著作権や法律でコントロールできない部分、規定等が追いつかない部分は、倫理や配慮、業界ルールといった形で当分は対処していくことになるのかもしれません。

NovelAI Improvements on Stable Diffusion（NovelAIの改善状況の報告）

アルゴリズムの修正や内部の仕組みの開示により、クリエーター界隈に受け入れてもらえるよう、模索を進めているサービスもあり、一言で「良い」「悪い」と割り切れない事柄を、少しつづ改善し、良い状況に持っていこうと、世界中の研究者やアーティストが、ぶつかり合いながらも協力していく状況はしばらく続くのかもしれません。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。なにか取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.42：現代の呪文promptが生み出すAIとの新しい関係性

Vol.41：AIが促進させるCG研究。SIGGRAPH2022論文より

Vol.40：知見の宝庫。MITの機械学習オンラインコース

Vol.39：言葉から生み出されるアートとは？

Vol.38：AIで作りAIで届ける映像作品

Vol.37：NVIDIA GTC 2022 レポート／アートとAIの視点で

Vol.36：創るためのAI〜AIと人間の創造性の未来：徳井直生氏講演レポート

Vol.35：マーベル・シネマティック・ユニバースを支える機械学習

Vol.34：注目論文よりCGの祭典 #SIGGRAPHAsia2021 を振り返る

Vol.33：AIの必然性 #SIGGRAPHAsia2021 レポート

Vol.32：Adobe Sneaks より進化の方向性を知る

Vol.31：人工知能が考える「顔」と、人が考える「顔」

≫≫すべてのバックナンバーはこちらから

Contributor：安藤幸央