CGへの扉 Vol.19：コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

AI時代のビデオ会議ツール

2020年10月5日〜9日の5日間、グラフィックスチップのメーカー最大手のNVIDIAがオンラインで「GTC2020:GPUテクノロジカンファレンス」を開催しました。NVIDIAは創業以来、3Dグラフィックスの高速描画が可能なパソコン用グラフィックスチップを安価に提供する企業として注目を集めています。2016年頃から並列計算が得意なグラフィックスチップを人工知能関連の計算、特にディープラーニングに活用することで近年大いに躍進を果たしています。

躍進の背景にはNVIDIAが2006年に発表したCUDAという数値計算ライブラリの存在があります。CUDAはもともとグラフィックス描画に特化したGPUをCPUのような汎用計算に活用できる数値計算ライブラリで、CUDAの登場をきっかけに、精度は若干落ちるものの大量の並列計算が安価に可能なGPUをCPUの代替として活用し始められるようになりました。

現在ではGPUでの並列計算の精度も上がっており精度にまつわるデメリットは少なくなってきていますが、そもそも人工知能向けの計算には、過度な精度よりも大量の並列計算が可能であることの方が重要です。そう考えるとディープラーニングの現在の躍進の背景には安価に大量に利用できるGPUの存在が大きく貢献しています。GTC2020 では自動運転、検査自動化などAI関連の発表も数多くありましたが、その中でも特に注目すべきなのは「NVIDIA MAXINE」です。

NVIDIA MAXINE はディープラーニングを活用した革新的なテレビ電話ソリューションです。NVIDIA MAXINEでは動画ファイルの取り扱いやビデオ会議ツール使われる動画の圧縮テクノロジーをニューラルネットワークに置き換え、ビデオ会議で生じるネットワーク帯域の消費を大幅に削減する、ビデオ会議に特化した新しいタイプのビデオ圧縮技術です。

この技術のポイントは、限られたネットワーク速度でも表情豊かなビデオ会議が可能である点です。ビデオ圧縮方式として現在一般的に使われているH.264ビデオコーデックに比べ、約1/10のネットワーク帯域幅で同等のビデオ会議が可能なことから、モバイルデバイスでの利用や通信環境が悪い状況での限られたネットワーク環境での利用に期待されます。

つまりは、圧縮が効いたビデオ映像さえも転送できないくらいの貧弱なネットワークでも利用できるビデオ会議ツールだということです。また、同じ低帯域幅のネットワークを利用する場合でも、H.264ビデオコーデックではブロック状のノイズが載ってしまい、とても見辛い映像になってしまうのに比べ、AIを活用したNVIDIA MAXINEでは、とても滑らかでクリアな動画映像が得られることが分かっています。

同等の低帯域ネットワークでは、H.264よりもAIベースの圧縮の方が圧倒的なクオリティが比較できます

NVIDIA MAXINEの仕組みは、通常の動画圧縮の方法とはまったく異なります。まずビデオ会議で話す人物の高画質画像を1フレーム分を相手側に送信します。その後は送信元で動画を解析し、目、鼻、口といった顔の特徴点の変化を分析、抽出し、変化量だけを示したごく少量のデータに変換します。その少量のデータをネットワークで送信し、受信側では、顔の表情を再構築するニューラルネットワークを応用し、その変化量のデータを元に顔画像を適切に変化させます。

例えば送信元で「大きな口を開けた」という変化を検知したら「口を◯◯ピクセル分開けた」という変化量のデータ、「口元が微笑んだ」という変化を検知したら「口の両端、口角が◯◯ピクセル分上がった」という変化量のデータを送信し、それを受信側で、最初に送信された高画質の画像と機械学習済みの情報から「口を開けた顔」「口角をあげて微笑んだ顔」などを再構成するのです。

実際にはその「変化量のデータ」はそう単純なものではなく口の輪郭、目の輪郭、鼻の輪郭、顔の輪郭を細かく解析する複数のキーポイントデータとして扱われています。NVIDIA MAXINEではNVIDIAのディープラーニング用のソリューション NVIDIA DGX™ A100で、何千時間も事前学習した機械学習の結果が生かされています。顔動画の再構成には敵対的ネットワーク（GAN:Generative Adversarial Network）が活用され、映像の圧縮・伸張の際もGPUの性能によって、最大限パフォーマンスを発揮することができるよう考えられています。

この NVIDIA MAXINE のテクノロジーは、低帯域でのビデオ通話だけでなく、そのほかの状況にも応用がききます。
事例として、マスクやメガネ、ヘッドフォンをしている場合にも有効なこと、顔が正面を向いていない時も正面を向いた顔の高画質画像をもとに、まるで正面を向いて目線があっているかのようにビデオ通話することができます。さらに実写の人物像を、VR空間のアバターや、アニメキャラクタなどの動きに差し替えて利用することも技術的には可能です。

斜め横から撮影されているビデオ会議映像を、正面から目があった状態で見ているように補完している様子

さらにこれらの技術を応用し、画面上で対話が可能なAIエージェントの顔の表示、バーチャルアシスタントへの応用も可能です。

数年前、十数年前であれば、コンピュータリソースが貴重であり、また大量の機械学習済みのデータを活用することも難しかったため、NVIDIA MAXINEのような手法をとることは難しく、いかにネットワーク上に送信される動画データを適切に圧縮するのかが通信においての主な課題でした。ビデオ会議用のビデオ映像はスポーツ中継などに比べると画面の変化量は少なく、圧縮がかかりやすいタイプの動画ではありますが、人間は顔の表情など、慣れ親しんだもののごくわずかな変化や、品質などにはとても敏感で、少し表示遅れたり、表示が荒くなっただけでも違和感やストレスを感じてしまいます。

人は、映像コミュニケーションにおいては、ビデオ映像よりも音、音声を重視する傾向があります。映像は多少止まってしまったり、カクカクしたりしても脳がそれなりに補完して理解できますが、音が途切れてしまった場合はとてもストレスになり、その頻度が高いと、脳で補完しきれなくなります。安定しないネットワークのためにプチプチと切れた音質が低い通信状態が続くと、脳が必死で補完しようと、聞き取ろうとするため、とても疲れてしまうのです。

ビデオ会議ツールとして一般的に使われているZoomの場合、1対1の1080pのHDビデオの送受信の場合は1.8Mbps、複数人で1080pのHDビデオの送信の場合は3.0Mbps（上り/下りとも）のネットワーク帯域を最低限でも必要とします。NVIDIA MAXINE のようなテクノロジーが浸透すれば、限られたネットワーク帯域をビデオ映像の方ではなく、音声通話の送受信に割り振ることができ、よりクリアなビデオ通話コミュニケーションが実現します。

もともと人間はどういう要素をもとに判断し、コミュニケーションしているのでしょう？人間はコミュニケーションの際、言語＜聴覚＜視覚、の順で判断しているというメラビアンの法則が知られています。これはコミュニケーションの際、7%はその言葉自身が持つ意味、38%は口調や抑揚、声の強さ弱さといった要素、55%は顔の表情や身振り手振りなどのボディランゲージの要素から判断しているという法則です。メラビアンの法則のもととなった調査は数十年前のものであり、かつ単語1個について表情や口調を変えてどういった印象を持つかといった単純なテストであったため、この法則の信憑性を疑う意見もあります。

しかし対面コミュニケーションに限らずオンラインコミュニケーションにおいても、視覚情報、聴覚情報が重要であることには確かです。オンラインコミュニケーションでは欠けている要素を補完し、できるだけ高品質にコミュニケーションがとれるようさまざまなテクノロジーが研究されています。今後は表情の変化を強調して表示したり、読み取りづらい表情や感情をAIに代わりに読み取ってもらったり、対面で人と会った時と同様に顔の汗や体臭などもリモートコミュニケーションの要素になってくるのかもしれません。

こちらの動画では、NVIDIA MAXINEのAI圧縮の仕組みについて解説をしています。

生まれるべくして生まれた　NVIDIA MAXINE

リモート時代に求められるビデオ会議の機能は多種多様で、そのクオリティや機能の追求には限りがありません。
求められる機能は、超高解像度化、画質や音質の向上のためのノイズ除去、同時字幕表示、リアルタイム翻訳、バーチャル背景、顔の位置の調整、視線が合っているようにする補正、周りの照明が暗いことに起因する顔の再照明補正など、ビデオ会議ツール各社がしのぎを削っている状況です。

NVIDIA MAXINEは、特定のビデオ会議ツールに依存せず、クラウド上で動作するソリューションです。NVIDIA MAXINEのベースとなるアプリケーションはクラウド上の運用を自動化するKubernetes環境で動作するため、何十万通話ものビデオ会議が同時に行われても簡単に数を増やすことができ、スケール面の心配はありません。また既存のビデオストリーミングサービスに組み込んで利用することもできるソリューションです。

ビデオ会議やストリーミングサービス用の一連のソリューションの組み合わせとして利用できる

一連のビデオ通話ソリューションはこちらの動画で紹介しています。

従来型の人工知能活用は、人間が手間をかけて行っていたことを高い精度で代替する、人間にはできないような大量の処理や判断を行うアプローチが注目されてきました。敵対的生成ネットワーク（GAN）の利用がコスト的にも見合うようになり、さまざまな用途に利用できることが分かってからは、今までにはなかったタイプの人工知能活用も見られるようになってきました。

NVIDIA MAXINEは、ネットワーク帯域やコンピュータリソースを節約するために、人間が必要とする最低限のリソースを人工知能を由来とするアルゴリズムによって再構築するという従来とは少し変わったアプローチです。これは現在のネットワーク帯域とコンピューティングパワーとのバランスにまつわる課題を顕著に示しています。さまざまな要因が絡み、自分たちの機材や投資だけではどうしようもないネットワーク帯域の確保に膨大なコストをかけるよりも、自分が利用するごく狭い範囲のコンピューテイングパワーと、クラウドを活用することによって、今までならネットワークを増強することでしか得られなかった品質をコンピューティングパワーによって得られるようになったのです。

今まで、さまざまな映像技術者やネットワーク技術者が動画の圧縮技術にしのぎを削ってきました。圧縮の性能や品質はもちろん、その標準化や、ハードウェアへの最適化など、様々な課題を乗り越えて圧縮技術が広く使われてきました。どんなにネットワーク帯域が太くなったとしても動画圧縮の技術は無くならないと言われてきましたが、ここにきて、まったく違うアプローチで、動画を圧縮するアプローチが台頭してきたのです。

アイデアだけを考えると、人の顔の動きだけを抽出して、その動きのデータだけを転送し、それを再構成すれば、少ないデータ転送量で顔の動きが再現できるのではないかとは、誰もが考えそうなことではあります。CG/VFXでバーチャルな人間を再現する試みは各所で行われています。今現在相当なクオリティでバーチャルヒューマンが再現できていますが、相当な手間と時間をかけてやっと実現できている状態です。

ここまで手間がかかり、シビアな評価になる理由のひとつは、人間は人の顔の表情や、細かいニュアンスの違いやぎこちなさに敏感で、違和感があればすぐに気づいてしまうことにあります。ハリウッド映画のCG/VFXで、バーチャルダブル（代役）と呼ばれる俳優の顔をCGで再構成する際も、最新の注意と手間をかけて、あまり演出には影響のない一部分でしか使われていません。

ハリウッドの場合は俳優協会との決まりごと等があり、俳優によっては、バーチャル俳優が登場できる時間や割合に制限がある場合もありますが、まだまだCG/VFXで再構成された俳優が主人公で全編演技するような映画作品はありません。

NVIDIA MAXINEは、今後広く使われることによって、鑑識眼の高いユーザーに鍛えられ、感情や表情を強調してコミュニケーションしたり、表情の再現性の面でさらなる研究が進むことでしょう。ニーズが先か、テクノロジーが先か。技術が進化するにはさまざまなきっかけがあります。ニーズによって進化するテクノロジーもあり、テクノロジーの進化によって広まる応用例もあり、NVIDIA MAXINEは、そういった相互進化の良い見本となるのではないでしょうか。

本連載の今後の予定：「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉：

Vol.1：CG/VFXにおける人工知能の可能性と、その限界

Vol.2：なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3：CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4：CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5：SIGGRAPH 2019に見るCG研究と機械学習

Vol.6：Facebookが取り組むVRとAIのアプローチ

Vol.7：AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8：一流オークションハウスも注目するアートとAIの関係性

Vol.9：現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10：老齢とは無縁、De-Aging技術の台頭

Vol.11：動き、ダンスに新しい要素を加えるAIの役目