CGへの扉 Vol.17：描画を進化させるTensorFlow Graphicsの真価

そもそも画像認識の元となる学習データは正しいのか？

先日オンラインで開催された「画像の認識・理解シンポジウム MIRU2020」で発表されたセッション「大規模画像データセットが含む“疑わしい画像”の専門家のワークショップを通した収集と分析」が大変話題になりました。

MIRU 2020 プログラム一覧

これは人工知能を活用した画像解析の学習データとして一般的に使われている ImageNet という巨大データセットの正確性を疑うものです。近年「Are we done with ImageNet?」という2020年の論文から ImageNet の正確性への疑問が注目されました。

論文「Are we done with ImageNet?」は 、2009年頃から画像認識の大規模データセットとして使われてきた ImageNet の正確性、評価に疑いをもって調べ、またその正当性をあげるための提言を述べた研究論文です。ImageNetは、スタンフォード大学が画像認識研究のために公開している巨大なデータベースで、世界中の研究者が利用しています。そこでは約1,420万枚の画像と、そこに何が写っているのかがデータ化されています。例えばある写真に「ダルメシアン」という品種の犬が写っていることが画像とデータとセットで保持されていることにより、機械学習の学習データとしてわざわざ研究者がゼロから集めることなしに研究に集中することができるため、大変重宝されてきました。

ところが、ImageNet の画像には、1枚の画像にひとつのラベルしかつけることができないため、画像に適切なラベルをつけるには限定的すぎること、ある特定の作業者がつけたラベルを過信してしまっているため、データ全体に間違いが紛れ込んでしまっていることが最近課題として指摘されました。

MIRU2020で発表された「大規模画像データセットが含む“疑わしい画像”の専門家のワークショップを通した収集と分析」では、ImageNet を題材とした画像認識のコンペティションILSVRC 2012のデータセットを元ネタとし、30人ほどのコンピュータビジョン研究の専門家が3日間、目視で28.4万枚の画像をチェックしました。その聞いただけでも眼が疲れてきそうな努力の結果、そのうち約6%にあたる1.7万枚の画像に疑わしいラベルがつけられていることを見出しました。

人間であれば、それぐらいは間違えると思われるかもしれませんが、その間違えたデータをもとに世界中の研究者が画像認識の学習をさせていたのですから大変です。例えば豆料理の写真に「インゲン豆」というラベルがついていたり、複数の品種の犬が数匹写っている写真に「チワワ」と特定の犬の品種のラベルしかついていなかったりと少々データに歪みが生じていました。さらに画像に写っているのは虎なのに、ラベルには「ジャガー」と間違えたラベルがついているものまでありました。

これを聞くと、ImageNet は精度が低すぎるためもう使えないと短絡的に考えがちですが、一方、実際にはそれほど精度の影響を与えていないという考えもあり、「Are we done with ImageNet?」ではいつかの改善案が出されています。それは数十種類のラベルで画像に写っている複数のもの、複雑なものを表現できるようにすることと、ラベルづけを行う作業を1枚の画像につき5人に増やし、ミスを減らして精度を上げる工夫をすることでした。

物としては同一のものでも、ノートパソコン、ラップトップ、モバイルパソコン、モバイルコンピュータ、キーボードなどさまざまな見方、示し方が存在します。よくよく考えるとひとつの写真を説明するのに、あるひとつの言葉だけで済むことは稀で、情報設計（Information Architecture）の世界でも正確なラベリングの問題は、常に議論されている課題です。

一方、コンピュータグラフィックス（CG）の世界では、必ずしも教師あり機械学習だけではない人工知能の活用が行われています。数式や三次元データから画像を描画する方法と、逆にコンピュータビジョン（CV）の世界では画像からそこに映っているもの大きさや三次元形状を読み取るといった双方向の事柄がコンピュータ上で行われています。つまり学習すべきもととなる画像やデータも、機械学習の結果として生み出させる画像の正しさも、コンピュータ内部の画像として扱えるため、ImageNet のような一般の写真を使った方法とは少し異なります。

画像認識のための巨大なデータセットのラベル付けには、ボランティアやその分野を研究する学生の手助け、アマゾンメカニカルターク（※）などの安価な人的リソースが使われています。これら労働集約的なアプローチだけでは正しく画像を認識するには限界があるという考えもあり、そこにあらたなアプローチをもたらしたのが TensorFlow Graphicsの考え方です。

※アマゾンメカニカルターク：「機械仕掛けのトルコ人」の意味を持つアマゾンウェブサービスの一つ。機械仕掛けの自動チェスマシンの中に実はトルコ人が隠れていたことに由来している。コンピュータプログラムを人間の知能と組み合わせて、コンピュータだけでは不可能な仕事を処理することができるWebサービス。報酬は1セント（約1円）から数ドルまで様々な作業が募集されている。画像認識や画像から何かを探したり分類したり、音声の文字起こしなど人間の方が得意で正確にできる事柄を任せることが多い。2007年の時点で、100以上の国に10万人以上のワーカーと呼ばれる作業者がいる。

Google が推し進める TensorFlow Graphics の目の付け所

2019年5月に開催された開発者向けのイベント Google I/O 2019 でGoogleが中心となって提供する機械学習向けライブラリ TensorFlow の機能のひとつとしてTensorFlow Graphics が発表されました（動画開始より17分あたりから）。

TensorFlow Graphics ソースコード公開サイト(GitHub)：https://github.com/tensorflow/graphics
※CopyrightはGoogleですが、オープンソースのライセンスのひとつである Apache 2.0 ライセンスで公開されているため、商用プロダクトに組み込んでの利用も可能。実際に商用プロダクトに組み込んで利用する場合は、Apache 2.0 ライセンスを調べ、正しく理解した上でご利用ください。

TensorFlow Graphics CodeLab (実際にコードを試すことができるサイト）：https://colab.research.google.com/github/tensorflow/graphics/

コンピュータグラフィックスの基礎原理として、ジオメトリ（形状）、マテリアル（質感）、ライティング（照明）、カメラ（視線方向）、変換（移動や回転）の組み合わせで映像が描かれます。最近ではこれらの事象はグラフィックス専用ハードウェアで高速に並列計算されて一気に実行される場合もあります。


コンピュータビジョンの基礎原理として、もととなる画像をニューラルネットワークで解析し、ジオメトリ（形状）、マテリアル（質感）ライティング（照明）、カメラ（視線方向）、変換（移動や回転）を解析して抽出します。

つまりコンピュータグラフィックスの映像生成と、映像を解析するコンピュータビジョンでは正反対のことを行なっているのです。例えば映像から正しくジオメトリが抽出できたかどうかは、得られたジオメトリからCG映像を作ってみることで元の画像と一致するのであれば、それが正答だとわかるのです。

これらコンピュータグラフィックスとコンピュータビジョンの世界は、ハリウッド映画の最新VFXを支える技術としてだけでなく、人工知能は人間のいる世界をどうとらえるか？ どう認識できるかといったことに密接に関連してきます。例えば自動運転や、火星の陸上探査機など手がかりが映像しかない場合のよりどころとなります。自動運転のための機械学習も黎明期には実写映像を解析し利用していましたが、最近ではCGで作られたバーチャルな都市の中で、学習がなされています。

TensorFlow Graphics ではそれぞれジオメトリ（形状）、マテリアル（質感）ライティング（照明）、カメラ（視線方向）、変換（移動や回転）の段階ごとにCG映像化する流れと、逆に映像からジオメトリ（形状）、マテリアル（質感）ライティング（照明）、カメラ（視線方向）、変換（移動や回転）を抽出する流れを提供しています。映像からジオメトリを抽出する際は映像からだけでなく3Dスキャナ、3Dレーザースキャナなどからの三次元点群から形状を推定する場合もあります。

CG制作のアプローチは、もともと人間がどのように正確に絵画を描画するのか、どのように数学的に映像を表現するのか、それに加えて物理現象をいかにコンピュータ上で再現するのかを追求してきました。TensorFlow Graphics の登場で、人間がとらえられる現象や表現ではない、映像制作の流れそのものを人工知能に委ねることで、未知の、かつとても正確な表現に突入したという実感があります。TensorFlowの活用例としてGraphics 分野はまだまだ発展途上ではありますが、新しいCG/CVの世界に新しい潮流を切り開いたと言えるでしょう。TensorFlow Graphics の登場で期待されているのは下記のような使い方です。

1. 三次元形状へのCNN(畳み込みニューラルネットワーク)の適応
2. 球面オブジェクトの輝き具合から周囲の環境を推定
3. 人間の三次元形状データから、頭や右足といった部位を推定
4. 映像の視覚的デバッグが可能になることによる評価の最適化
5. ニューラルネットワークを用いて三次元空間を推定する

大量の点群データから人の体の部位を推定しつつ三次元可視化することで、スキャン収録したデータのアーティファクト（ゴミや歪み）などを素早く見つけることができる。

これからのCG描画の進化への期待

現在は、理想的な画像解析や理想的な画像生成のために大量の学習データと機械学習が活用されています。これらのアプローチは徐々に精度も高くなり、さまざまな分野で実用化されてきています。個人的な体験では、ごく普通の街のパン屋さんで、パンの画像を解析して料金を自動入力するレジで機械学習が使われている様子をみて驚きました。研究にとどまらない人工知能の浸透が実感されてきます（ツナサンドとコンビーフサンド、クリームパンとジャムパンを見分けるのが難しいように、パンは見た目が同じように見えるわりに、一個一個価格が異なるため、レジ打ちが面倒な商品のひとつ）。

さまざまな事前現象がCGで生成できるようになり、画像に映っている様々な物体を読み取ることができるように思えますが、
まだまだCG描画が難しい自然現象や人間の表現、まだまだ解析不能な複雑な画像など、この分野における課題は無限で、課題と研究対象、実用化の道のりは、まだまだ多岐に広がっています。現状を見つめ直し、さまざまな課題を見出しながら、解くべき課題に挑戦してゆくのが、これからの人工知能研究なのかもしれません。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8：一流オークションハウスも注目するアートとAIの関係性

Vol.9：現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10：老齢とは無縁、De-Aging技術の台頭

Vol.11：動き、ダンスに新しい要素を加えるAIの役目

Vol.12：AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13：AIのクリエイティブとクリエイティビティ再考

Vol.14：AIが生み出す顔と人間の表情

Vol.15：撮影に革新をもたらすAIによる照明

Vol.16：バーチャル開催SIGGRAPH論文を先取り

Contributor：安藤幸央