セルフィーに似た名画発見からクリムトの名画の復元まで。Googleがてがけたアート系AI事例3選

2023.2.24アート

AIの応用範囲は医療や金融のようなさまざまな産業界に及んでいますが、アートにも使われています。アートはAIの応用分野としてはマイナーと見なされがちですが、AI研究をリードするGoogleはアート系AIの開発や支援に熱心なことで知られています。モリカトロンAIラボでは以前に同社のアート系AIの取り組みを紹介しましたが、本稿では2023年2月に公開された同社ブログ記事にもとづいて新たに3つの事例を紹介します。

参考記事：テーマはラップや映画、先住民文化も。Googleが制作支援した機械学習アート作品まとめ

セルフィ―に似た名画を見つける「Art Selfie」

Googleが開発したスマホアプリ「Art Selfie」（iOSおよびAndroidに対応）は、セルフィ―（自撮り）した画像を撮影すると、その画像とよく似た名画に描かれた肖像を表示します。セルフィ―と名画の肖像をマッチングするのに画像認識技術が使われています。マッチング候補となる名画は、世界中の美術館の協力を得て提供されたものです。

Art Selfieを使って起こった面白いエピソードが多数報告されており、有名なものとしては曾祖母の肖像画とセルフィ―がマッチングしたアメリカ人女性がいます。ほかには夫婦で同アプリを使ってみたら、マッチングしたのも夫婦の肖像画というエピソードもあります。

2018年にリリースされたArt Selfieは非常に好評だったので、Googleは類似するアート系アプリとして2020年には「Art Transfer」をリリースしました。このアプリは、任意の画像にゴッホのような過去のアーティストの画風を追加するというもの。同アプリを使えば、セルフィ―を印象的に渦巻くゴッホの肖像画風に変えられます。

参考GIF：https://storage.googleapis.com/gweb-uniblog-publish-prod/original_images/Art_Transfer_-_Cutting_Tool.gif

2021年には「Pet Portraits」もリリースされました。このアプリはペット版Art Selfieとでも言うべきもので、ペットの画像とマッチする名画に描かれた動物の画像を表示します。表示された名画をタップすると、その絵にまつわるストーリーを閲覧できる機能も実装されています。

参考GIF：https://storage.googleapis.com/gweb-uniblog-publish-prod/original_images/Pet_Portraits_hero_gif.gif

オペラ歌手の声を楽器にした「Blob Opera」

2020年12月にはAIを活用した楽曲「Blob Opera」が公開されました。この楽曲は絵本『バーバパパ』に登場するような丸みを帯びたフォルムをした4つのキャラクターが、身体を伸縮させながらオペラ調の合唱を行うものであり、YouTubeから視聴できます。

Blob Operaは、バスからソプラノまでの声域の異なる4人のオペラ歌手の歌声を素材にして作られました。具体的には4人の歌手から16時間分の歌声を収集したうえで、この歌声をAIに学習させました。学習済みAIは、指定した音程と（「a」や「e」といった）母音に合致する歌声を声域ごとに再現できます。つまり、Blob Operaとは4人のオペラ歌手の歌声を音符のように操作して作られた楽曲なのです。

Blob Operaを作るのに開発されたAIは、ウェブアプリとしても公開されています。同アプリのページにアクセスすると、楽曲動画に登場した４つのキャラクターを操作できます。これらのキャラクターを縦方向にドラッグすると音程が変わり、横方向にドラッグすると母音が変わります。任意のキャラクターをドラッグするとそのキャラクターの歌声が主旋律となり、主旋律担当キャラクターより声域の低いキャラクターは主旋律に合わせて合唱します。

GoogleはBlob Operaのほかにも音楽アプリを公開しており、例えばAssisted MelodyはAIが作曲を支援してくれます。同アプリを起動して画面に表示された五線譜に音符を並べた後、「HARMONIZE」ボタンを押下すると、音符に合わせてバッハ風やモーツァルト風の楽曲が生成されます。この楽曲生成には、Magenta Coconetモデルが活用されています。バッハやモーツァルトの楽曲を学習した同モデルは、任意のメロディが与えられると学習した楽曲を復元するように続きのメロディを生成します。同モデルは、2019年3月21日のバッハの誕生日を称えたDoodleでも活用されました。

クリムトの着彩を学習したAIを開発

2021年10月、Googleは「学部の絵」と呼ばれるクリムトの名画を復元するまでのプロセスを解説した動画を公開しました。この動画とともに公開された特集ページによると、『医学』『法学』『哲学』の3作品から構成されているこの絵画はウィーン大学大講堂に飾るために制作されたのですが、1900年に披露されるとその挑発的な内容から大学に飾るのは相応しくないという論争が起こったことで有名になりました。その後、同作品は第二次世界大戦末期に焼失し、現在では絵画の白黒写真と習作が残っているだけでした。

Google研究チームは、残された白黒写真と『学部の絵』に関する新聞記事などに書かれた色彩に関する記述を手がかりにして、同作品の色彩を再現するプロジェクトを立ち上げました。最初に行ったのは、同作品に関する記述からその色彩と類似したクリムトの作品を特定することでした。

次いで行ったのが、クリムトの着彩を学習したAIの開発でした。このAIの学習データとして、クリムトの諸作品から抽出した80枚の画像が用意されました。しかし、80枚の画像ではあまりにも学習データが不足しており、絵画の細かいニュアンスを再現できませんでした。そのため、さらに91,749点の芸術作品に関する画像を学習させました。その結果、絵画の構図や描かれた物体の境界線などを正確に認識できるAIが完成しました。こうして完成したAIを使って、すでに判明している『学部の絵』とクリムトの諸作品の類似点にもとづいて着彩することで復元が可能となりました。

以上に紹介したように、AIはアートの可能性を拡張できるものなのです。そして、昨年台頭した画像生成AIや現在研究段階にある動画生成AIや3Dオブジェクト生成AIは、アート作品やその制作を根底から変えようとしてしてます。それゆえ、アートこそが現在もっとも注目すべきAIの応用分野だと言えるかも知れません。

Writer：吉本幸記