2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ

2020.7.27ゲーム

Instagramが流行していることから分かるように、2D画像は世界に溢れています。というのも、スマホさえあれば2D画像は誰でも簡単に撮影できるからです。対して3D画像または3Dオブジェクトの撮影や生成は、誰でもできるというわけではありません。そんななか、敷居の高い3D画像・3Dオブジェクトの生成をAIによって自動化する研究が、近年次々と発表されています。この記事では、そうした研究事例を3つほど紹介します。

2D画像から3Dオブジェクトを生成するNVIDIAの「DIB-R」

GPU大手メーカーのNVIDIAは2019年12月、2D画像から3Dオブジェクトを生成するAIモデルを発表しました。「DIB-R」（Differentiable Interpolation-based Renderer：微分可能な補間ベースのレンダラーの略称）と名づけられたこのAIは、与えられた2D画像から3Dオブジェクトの形状、色、質感、さらには照明の位置を予測します。こうした同AIの処理は、人間がふたつの眼球から得られた2次元的情報を脳内で3次元情報に変換する認知活動に類似したものと言えます。

DIB-Rを開発するにあたっては、学習データとして200種の鳥の2D画像を集めた「CUB-200」が使われました。学習済みの同AIは、鳥だけではなくティラノサウルスやドードー鳥といった絶滅した動物の3Dオブジェクトを100ミリ秒未満で生成できるようになりました。

DIB-Rの応用には、自律型ロボットへの実装が考えられます。例えば、工場内で貨物を自律的に運搬するロボットには、周囲を3次元的に認識する能力が求められます。自律型運搬ロボットに同AIを実装すれば、単眼カメラで撮影した画像から周囲の状況を3次元的に認識できるようになるのです。

参考論文：Learning to Predict 3D Objects with an Interpolation-based Differentiable Renderer

単眼スマホカメラで撮影した2D画像の3D化に成功したFacebook

Facebook AI研究所は2020年2月、単眼スマホカメラで撮影してFacebookに投稿した2D画像を3D画像に変換できるようになったことを発表しました。実のところ、iPhone Xのようなデュアルカメラを実装したスマホで撮影した2D画像を3D画像に変換することはすでに実現していました。単眼スマホカメラにおいても3D化に成功したのは、AIによってデュアルカメラを使った深度測定と同等の処理が可能となったからです。

2D画像を3D画像に変換する際に必要となるのが深度マップです。深度マップとは、2D画像内の奥行を表したものです。カメラから等しい距離にある被写体は同じ深度となり、2D画像に写っている空間全体では異なった深度が等高線のように分布しています。こうした深度は、通常、ふたつのカメラを使って測定されます。同一の被写体をふたつのカメラで撮影した時のずれ（視差と呼ばれる）から奥行を算出するのです。人間がふたつの眼で奥行を知覚するのも、こうした視差によるものです。

Facebookの研究チームは、以上のような視差を使わずに深度を算出する方法を開発しました。その方法とは、AIによって深度を高精度に推論するというものでした。こうしたAIは、2D画像を入力、3D画像および深度マップを出力に設定して学習を重ねることによって実現しました。学習に際しては、どんな2D画像が与えられても正しく深度が推論できるように、多種多様な3D画像が大量に用意されました。

深度推論AIが完成しても、このAIを単眼カメラを実装しているようなミドルクラスのスマホで実行するには、克服しなければならない問題がありました。ミドルクラスのスマホの演算能力は高くないので、低い演算能力でAIを実行するようなアルゴリズムが必要となるのです。この問題は、CharmNetと名づけられたAIのアルゴリズムをスマホで実行できるように最適化する技術を開発することによって解決しました。

Facebookの研究チームは、動画の深度を推論するAI開発にも取り組んでいます。多数の静止画を並べたものと見なせる動画においては、深度推論を連続的かつ短時間で実行する必要があります。もっとも、隣接する静止画では同じような深度分布になるので、深度推論処理の効率化が開発のカギとなるでしょう。

DeepMindのPolyGenは3Dオブジェクトの画像からポリゴンを推論する

DeepMindは2020年2月、3Dオブジェクトの画像からポリゴンの構造を推論するモデル「PolyGen」を発表しました。このAIは、前述したDIB-Rや深度推論AIが3Dオブジェクトや3D画像を生成するのとは異なり、3Dオブジェクトの内部構造を推論するというものです。

3Dオブジェクトは、多数の三角形が立体的につながって複雑な形状を表現しています。形状を形成する三角形は、ポリゴンと呼ばれます。そして、ポリゴンで形成された多角形に面を貼り付けると、ボリュームのある3Dオブジェクトとなります。さらに、この3Dオブジェクトの表面に画像を貼り付け、光を当てて陰影を加えると、リアルな3D表現が実現します。

PolyGenは、任意の3Dオブジェクトの画像を入力として与えると、ポリゴンを構成する頂点の数と面の数をそれぞれ推論して、3Dオブジェクトの内部構造を出力します。同AIが革新的なのは、入力画像として与えられる3Dオブジェクトはひとつの側面からしか見えていないにもかかわらず、裏側の構造まで推論するところです。

PolyGenの学習にあたっては、ShapeNetと呼ばれる3Dオブジェクトのデータセットが使われました。完成した同AIは、頂点の数を約85%、面の数を約90%の精度で正しく推論することが確認されました。

参考論文：PolyGen: An Autoregressive Generative Model of 3D Meshes

以上のように、専門知識と経験が必要な3D画像や3Dオブジェクトの生成のAIによる自動化は、大手IT企業を中心にさかんに研究されています。そして、こうした研究は、ゲーム開発、カメラアプリの画像加工処理、さらには拡張現実に応用されることでしょう。

追記（2022年2月28日）：本稿で紹介する2Dto3D生成AIに関しては、2022年2月21日に公開した「リアルタイム生成も可能に。進化する2Dto3D生成AIの最新研究紹介」で最新動向をチェックできます。

Writer：吉本幸記