【春期GTC2023】AIを使ったフィジカルとデジタルがクロスオーバーするアート作品

2023.4.27アート

2023年3月21日から24日にかけてNVIDIAが主催する春期GTC 2023が開催されました。世界中の研究者と開発者、さらにはビジネスリーダーが一堂に会してAIとメタバースに関して交流する同イベントでは、「AIアバターでカスタムワールドを構築する：リトル火星人SFプロジェクト」と題されたセッションが行われました。本稿ではこのセッションを要約することで、AIを使ってフィジカルとデジタルを越境する創作活動事例を紹介します。

マーズ・カレッジ滞在中に着想

上記セッションを行ったヴァネッサ・ローザ（Vanessa A Rosa）氏はブラジル・リオデジャネイロ出身のアーティストで、故郷でストリート・アートを制作することから創作活動を始めました。その後、レーザーカッターを用いたステンシルを手がけたことをきっかけにして最先端テクノロジーをアートに応用する作品を制作するようになり、プロジェクションマッピングを用いた作品も発表しました。

今回のセッションで話した作品『リトル火星人（Little Martians）』を着想したのは、ローザ氏がマーズ・カレッジ（Mars Collage）という学際的プロジェクトに参加していた時でした。このプロジェクトはアメリカ・カリフォルニア州のソルトン湖周辺の砂漠に3か月滞在しながら、テクノロジーの新たな活用法を探求するというものです。キャンピングカーなどを住居にして太陽光発電で過ごす同プロジェクトは、あえて過酷な環境でテクノロジーを活用することで「火星でも文化的な生活を送れるか」という疑問について実験する目的があります。

アーティストととしてマーズ・カレッジに参加したローザ氏は、ほかの参加者がテクノロジーのことばかり話すことに反発を覚えて、原始的な創作活動を始めたいと思うようになりました。そして始めたのが、プロジェクト居住地周辺の土を使った陶芸でした。

ローザ氏が陶芸を始めた当初は、とくに制作意図を定めていませんでした。しかし、陶芸を続けるうちに「リトル火星人」というストーリーを思いつきました。このストーリーは、陶製の頭部に人類の記憶を刻むという一種のSFです。土という大地から得られるプリミティブな素材を使って、後世に人類の歴史をテクノロジーによって語り継ぐというアイデアがまとまった時、AIを駆使してこのアイデアを映像化することを決意しました。

参考動画：リトル火星人－その制作プロセス

陶製の頭部にAIで動きを吹き込む

以上のストーリーを実現するために、ローザ氏はテクノロジーを用いて陶製の頭部に人類史を語らせることにしました。具体的には陶製の頭部を3Dオブジェクトとしてデータ化したうえで、そのデータに音声AIと顔合成AIを適用しました。

リトル火星人プロジェクトでは、ローザ氏が陶製の頭部が話すテキストを執筆しました。音声AIにはさまざまなものがありますが、今回使用したのはリアルな音声で定評のあるPlay.htでした。

ちなみに現在はChatGPTを用いて会話できるようにする実験も行っています。ChatGPTを活用する場合、同AIが演じるキャラクター設定と応答するコンテクストを定義する必要があります。

陶製の頭部が話すテキストと話す音声AIが決まったら、話すビジュアルを制作する必要があります。こうしたビジュアル制作には、CGの顔に話す動作と表情を合成する顔合成AIがうってつけです。ローザ氏は、Omniverse Audio2Faceを活用しました。同AIは、音声データを入力するだけで表情豊かな顔のアニメーションを生成するというものです。

Audio2Faceの機能のうちでローザ氏がとくに気に入ったのは、顔の表情を設定できるEmotion Control（感情制御）です。この機能は、怒りや悲しみといった感情をスライダーで量的に設定して、その設定値に合致した顔の表情を生成するというものです。陶製の頭部のような人間の顔に似ているものであれば表情を合成できるので、リトル火星人プロジェクトでも活用できました。

AIでイメージを増殖

陶製の頭部が話せるようにした後、ローザ氏はその頭部が話すシーンを制作しました。このシーンの制作には、同氏が世界各地を旅した時にキャプチャーした建造物のデータが流用されました。建造物のキャプチャーには、iPhone 13 ProのLiDARを活用したアプリPolycamが使われました。もっとも同アプリでは解像度が高い3Dオブジェクトを生成できないので、同氏は高性能カメラと写真測量ソフトウェアRealityCaptureの組み合わせを推奨しています。

以上のように制作したシーンに多数の陶製の頭部を登場させるために、ローザ氏はこの頭部に関する画像を入力としてStable Diffusionで画像を生成しました。またGANの一種であるStyleGANを使った画像の生成も試みました。さらには動画生成AIのdeforumも使って、陶製頭部が動くアニメーションも制作しました。

ローザ氏は、陶製頭部の画像を生成するカスタム画像生成モデルも開発しました。このモデルの開発には、2,000枚以上の陶製頭部の画像を学習データとして活用しました。こうしたカスタム画像生成モデルに関して、アーティスト自身が創作活動で使ったり、モデルを一般公開して使用料を徴収したりできると同氏は大きな可能性を感じています。

アート作品としてのメタバース

今回のプロジェクトの最終出力は動画でしたが、ローザ氏は自身の作品を展示したメタバースを制作することにもチャレンジしています。現在はバーチャル展示スペースサービスのAriumで制作していますが、同氏はNVIDIA Omniverseの活用も検討しています。メタバースにアート作品を展示する利点は、重力や空間に関する制約を自由に変えられるところです。将来的にはメタバース展示空間に完全自律型AIアバターを常駐させたい、とも同氏は考えています。