弱点を克服し、さまざまな画像処理と融合するNeRF最前線

2023.5.29アート

複数の2D画像から3Dシーンあるいは3Dオブジェクトを生成するNeRF（Neural Radiance Fieldsの略称）は、現在もっとも研究がさかんなAIグラフィック技術のひとつです。モリカトロンAIラボでは、この技術に関連した特集記事をすでに2本公開しました。本稿では、2023年時点での同技術の最前線を紹介します。

参考記事：2D画像だけで大丈夫。3D画像や3Dオブジェクトを自動生成するAIまとめ
 リアルタイム生成も可能に。進化する2Dto3D生成AIの最新研究紹介

複雑な3Dシーン生成やメモリ消費量削減を実現

NeRFは3Dシーンや3Dオブジェクトを高度なCGスキルがなくても制作できる便利な技術である反面、複雑な3Dシーンの生成が苦手だったり生成時のメモリ消費量が多かったりする弱点があります。こうした弱点を克服しようとする研究が、すでに多数発表されています。

DeepMindの研究チームが2023年1月13日に発表したLaser-NVは、NeRFが苦手としていた複雑な3Dシーンの生成を実現したモデルです。同モデルは2D画像だけでは生成できない3Dシーンの欠落箇所を、大規模言語モデルに活用されているAttention（注意）メカニズムによって推測します。その結果、都市景観のような込み入ったシーンも忠実に生成できるようになりました。

NeRFに関する学習データは屋内や小さなオブジェクトに関するものしか整備されていないなか、中国大手テック企業Tencentらの研究チームは2023年1月17日、都市景観のNeRF画像に特化したデータセットを発表しました。このデータセットは、YouTubeから抽出した画像や実際に都市を上空から撮影した画像を集めて作成しました。同データセットには照明条件やカメラ軌道といった情報も含まれています。

2023年3月に発表されたMERF（Memory-Efficient Radiance Field）は、3Dシーン生成時に消費するメモリ消費量を削減したモデルです。同モデルは3Dシーン生成前にシーンを2D平面に投影してからシーンの特徴を抽出後、その特徴を3Dシーンに反映させるというアルゴリズムを採用しています。こうしたアルゴリズムにより、メモリ消費量を実現しました。

中国の大手テック企業Alibabaの研究チームが2022年11月29日に発表したVQRF（Vector Quantized Radiance Fields）は、生成される3Dシーンのサイズを従来比最大100倍に圧縮することで計算量を大幅に削減することに成功しました。研究チームは3Dシーンの特徴に関係するボクセル（3D空間における単位立方体）が全体の10%に過ぎないという知見に着目して、レンダリング品質に寄与しないボクセルを刈り込むことでサイズ圧縮を実現しました。

NeRFの逆プロセスを実行してメッシュやテクスチャを得る

3Dオブジェクトを制作する場合、通常は頂点情報を司るメッシュと表面を覆うテクスチャを用意したうえで組み立てます。従来の3Dモデルリングと比較して、NeRFはメッシュとテクスチャの代わりに2D画像を使う点が画期的でした。ところで、従来の制作ステップとは逆に、3Dオブジェクトからメッシュとテクスチャを抽出することは可能なのでしょうか。

NVIDIAが春期GTC 2023のセッションで言及したnvdiffrecと呼ばれる技術は、3Dオブジェクトを多数の視点から撮影した画像からメッシュとテクスチャを生成するものです。同技術で生成されたメッシュとテクスチャは既存のゲームエンジンやモデリングツールに流用できるため、同技術を活用したさまざまな機能やアプリが開発される可能性があります。しかしながら、メッシュとテクスチャの生成時の計算量が多いという欠点があるため、商品化にはもう少し時間を要するようです。

Googleらの研究チームが2023年3月16日に発表したNeRFMeshingは、NeRFによって生成された3Dオブジェクトから幾何学的に正確なメッシュを抽出します。抽出されたメッシュを使って、抽出元となった3Dオブジェクトを忠実にリンダリングできます。

画像合成やロボット工学と融合

近年のNeRF研究では、画像合成やロボット工学と融合して複雑なタスクを遂行できるモデルも発表されています。

カリフォルニア大学バークレー校の研究チームは2023年3月16日、NeRFと画像認識モデルCLIPを融合させたLERF（Language Embedded Radiance Fields）を発表しました。このモデルはNeRFで生成した3Dシーンに含まれた各3Dオブジェクトに対して、「青い台所洗剤」のようにラベルを付与します。このモデルはロボット工学や、画像認識に対応するようになった場合の大規模言語モデルへの応用が期待されます。

NAVER AIラボとソウル大学らの研究チームは2023年2月13日、同一カテゴリーの2枚の2D画像を合成した後に3D画像を生成するAIモデルを発表しました。このモデルを使えば、例えば2つの顔の特徴を合成した新たな3D顔画像を生成できます。同モデルのアルゴリズムは、NeRFを用いて2つの2D画像それぞれについての3D画像を生成した後、これらの3D画像の特徴を合成して1枚の3D画像を出力するというものです。

ミシガン大学の研究チームは2022年10月3日、ロボットアームに使用される工具の画像を推測するNARF22を発表しました。このモデルは、例えばクランプ（部材を固定する工具）の画像を入力として渡すと、クランプが使われている時の画像を出力するというものです。NeRFは出力画像の生成時に活用されています。同モデルが開発されたのは、ロボットアームが事前学習なしにさまざまな工具を使えるようにするためです。同モデルは汎用的ロボットの開発に応用されるでしょう。

フランス・リヨン国立応用科学院とMetaらの研究チームは2023年4月21日、ドローンなどの自律エージェントがNeRFを生成するための画像を撮影できるようにするAutoNeRFを発表しました。このモデルは2つの処理から構成されています。1つ目の処理は、所与の探索空間においてNeRF画像生成に必要な画像を撮影するルートを探索するものです。2つ目は、撮影された画像からNeRF画像を生成する処理です。このモデルが実用化されれば、SF映画で描かれているようなドローンを飛ばして探索したい空間の3Dマップを取得することが実現するかも知れません。