モリカトロン株式会社運営「エンターテインメント×AI」の最新情報をお届けするサイトです。

TAG LIST
ディープラーニング機械学習CGCGへの扉安藤幸央GANニューラルネットワーク月刊エンタメAIニュース三宅陽一郎強化学習音楽モリカトロンAIラボインタビュー敵対的生成ネットワークQAOpenAI河合律子スクウェア・エニックスシナリオキャラクターAINVIDIAFacebookデバッグCEDEC2019ルールベースプロシージャルDeepMind人工知能学会ビヘイビア・ツリーGoogleCEDEC2020ゲームAI映画SIGGRAPH遺伝的アルゴリズム不完全情報ゲームメタAIナビゲーションAI森川幸人畳み込みニューラルネットワーク自然言語処理深層学習マイクロソフトAIと倫理グーグルGDC 2021CEDEC2021GDC 2019マルチエージェントVRボードゲームロボットStyleGAN自動生成GPT-3CNNVFXモリカトロンゲームプレイAIファッションHTN階層型タスクネットワークJSAI2020TensorFlowMicrosoftイベントレポートテストプレイ水野勇太アニメーションガイスターNPCCLIPアートtoio吉本幸記JSAI2021スポーツディープフェイクシムピープル汎用人工知能大内孝子GDC Summereスポーツ対話型エージェントeSportsBLUE PROTOCOLシーマン小説DALL-EStyleGAN2AlphaZeroカメラ環世界中島秀之NFT懐ゲーから辿るゲームAI技術史研究DARPAドローンシムシティAI美空ひばり手塚治虫Electronic Artsメタデータブロックチェーン通しプレイOpenAI Five本間翔太CM倫理ピクサーAdobe作曲中嶋謙互Amadeus CodeMicrosoft AzureアストロノーカキャリアナラティブAmazon音声認識ロボティクスPyTorchDQN眞鍋和子バンダイナムコスタジオUnity齊藤陽介マインクラフトお知らせAIアートサルでもわかる人工知能VAEUbisoftUbisoft La ForgeワークショップGenvid Technologies知識表現ウォッチドッグス レギオンIGDAどうぶつしょうぎジェイ・コウガミ音楽ストリーミングマシンラーニングクラウド斎藤由多加リトル・コンピュータ・ピープルコンピューティショナル・フォトグラフィーGPT-2完全情報ゲーム坂本洋典釜屋憲彦ウェイポイントパス検索藤澤仁生物学画像認識DeNA長谷洋平鴫原盛之masumi toyota宮路洋一TextWorldSIGGRAPH ASIAソニーCycleGANフェイクニュースGPUALifeZork人工生命オルタナティヴ・マシンサウンドスケープMCS-AI動的連携モデルASBSマンガぱいどんTEZUKA2020ナビゲーションメッシュ松井俊浩スパーシャルAIマーケティングApex LegendsELIZANinjaコンピュータRPGアップルタウン物語KELDICメロディ言語ゲームTENTUPLAYLEFT 4 DEADMARVEL Future FightAstroタイムラプスEgo4Dバスキアバーチャルヒューマン日経イノベーション・ラボ敵対的強化学習階層型強化学習GOSU Data LabWANNGOSU Voice Assistant竹内将SenpAI.GGMobalytics馬淵浩希Cygames岡島学AWS Sagemaker映像セリア・ホデント形態素解析UXAWS Lambda誤字検出認知科学BERTゲームデザインSentencePieceLUMINOUS ENGINEプラチナエッグLuminous Productionsイーサリアムパターン・ランゲージ竹村也哉ちょまどビッグデータ模倣学習FPSマルコフ決定過程スタンフォード大学パラメータ設計テニスバランス調整レコメンドシステム協調フィルタリング人狼知能軍事AlphaDogfight TrialsエージェントシミュレーションStarCraft IIFuture of Life InstituteIntelLAIKARotomationドラゴンクエストライバルズ不確定ゲームDota 2モンテカルロ木探索ソーシャルゲームEmbeddingGTC2020NVIDIA MAXINE淡路滋ビデオ会議グリムノーツゴティエ・ボエダGautier Boeda階層的クラスタリングaiboJuliusSIETPRGバーチャル・ヒューマン・エージェントtoio SDK for Unityクーガー田中章愛石井敦銭起揚茂谷保伯MinecraftGDMC成沢理恵MITメディアラボ著作権マジック・リープMagic Leap OneMagendaノンファンジブルトークンDDSPサッカー里井大輝KaggleバスケットボールAssassin’s Creed OriginsSea of ThievesGEMS COMPANYmonoAI technologyアバター初音ミクOculus転移学習テストBaldur's Gate 3Candy Crush SagaSIGGRAPH ASIA 2020デバッギングBigGANMaterialGANリップシンキングRNNReBeL自動運転車VolvoRival Prakユービーアイソフト北尾まどかHALO将棋メタルギアソリッドVFSMナップサック問題汎用言語モデルSpotifyMITReplica StudioamuseChitrakar巡回セールスマン問題ジョルダン曲線5GMuZeroクラウドゲーミングRival Peak和田洋一リアリティ番組Stadiaジョンソン裕子MILEs対話エンジンインタラクティブ・ストリーミングインタラクティブ・メディアシーマン人工知能研究所Ludoゴブレット・ゴブラーズTransformerSIGGRAPH 2019ArtEmis絵画ARGROVERFAIRAIりんなチート検出オンラインカジノアップルRealFlowiPhoneシミュレーションDeep FluidsMeInGameAIGraphブレイン・コンピュータ・インタフェースBCILearning from Video予期知能ユクスキュルカント哲学ドラゴンクエストエージェントアーキテクチャPAIROCTOPATH TRAVELER西木康智OCTOPATH TRAVELER 大陸の覇者アルスエレクトロニカ2019StyleCLIPStyleRig逆転オセロニア奥村エルネスト純いただきストリート齋藤精一大森田不可止高橋智隆ロボユニザナック泉幸典仁井谷正充ロボコレ2019ぎゅわんぶらあ自己中心派Azure Machine Learning意思決定モデル脱出ゲームHybrid Reward ArchitectureウロチョロスSuper Phoenix理化学研究所Project Malmo教育Project PaidiaProject LookoutWatch ForBingLEFT ALIVE長谷川誠ジミ・ヘンドリックスBaby Xカート・コバーンロバート・ダウニー・Jr.エイミー・ワインハウスMagentaYouTubeダフト・パンクSFGlenn MarshallThe Age of A.I.Story2HallucinationレコメンデーションJukeboxGTC2021テンセントSIFTDCGANMOBADANNCE人事ハーバード大学研修デューク大学mynet.aiローグライクゲームNetHack人工音声NeurIPS 2021はこだて未来大学プレイ動画ヒップホップサイレント映画NBA環境音現代アートエージェント粒子群最適化法進化差分法群知能下川大樹ウィル・ライト高津芳希大石真史BEiTレベルデザインDETRSporeAIボイスアクターデノイズ南カリフォルニア大学画像処理NVIDIA CanvasSentropyCPUDiscordCALMプログラミングソースコード生成GMAIシチズンデベロッパーTRPGGitHubウィザードリィMCN-AI連携モデルAI Dungeon西川善司並木幸介サムライスピリッツ森寅嘉ゼビウスSIGGRAPH 2021ストリートファイター半導体Topaz Video Enhance AI栗原聡DLSS山野辺一記NetEase大里飛鳥DynamixyzモーションキャプチャーU-Net13フェイズ構造アドベンチャーゲームADVXLandAGI手塚眞DEATH STRANDING不気味の谷Eric JohnsonOculus Questコジマプロダクション生体情報デシマエンジンインディーゲーム写真高橋ミレイ照明Maxim PeterJoshua Romoffハイパースケープ山崎陽斗深層強化学習立木創太バンダイナムコ研究所ミライ小町テスラGameGANELYZAパックマンTesla BotTesla AI Dayソサエティ5.0ELYZA DIGESTSIGGRAPH 2020バズグラフニュースタンテキ東芝DIB-R倉田宜典3D音声合成韻律射影広告韻律転移

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

2020.10.15アート

CGへの扉 Vol.19:コミュニケーションツールの新境地「NVIDIA MAXINE」

AI時代のビデオ会議ツール

2020年10月5日〜9日の5日間、グラフィックスチップのメーカー最大手のNVIDIAがオンラインで「GTC2020:GPUテクノロジカンファレンス」を開催しました。NVIDIAは創業以来、3Dグラフィックスの高速描画が可能なパソコン用グラフィックスチップを安価に提供する企業として注目を集めています。2016年頃から並列計算が得意なグラフィックスチップを人工知能関連の計算、特にディープラーニングに活用することで近年大いに躍進を果たしています。

躍進の背景にはNVIDIAが2006年に発表したCUDAという数値計算ライブラリの存在があります。CUDAはもともとグラフィックス描画に特化したGPUをCPUのような汎用計算に活用できる数値計算ライブラリで、CUDAの登場をきっかけに、精度は若干落ちるものの大量の並列計算が安価に可能なGPUをCPUの代替として活用し始められるようになりました。

現在ではGPUでの並列計算の精度も上がっており精度にまつわるデメリットは少なくなってきていますが、そもそも人工知能向けの計算には、過度な精度よりも大量の並列計算が可能であることの方が重要です。そう考えるとディープラーニングの現在の躍進の背景には安価に大量に利用できるGPUの存在が大きく貢献しています。GTC2020 では自動運転、検査自動化などAI関連の発表も数多くありましたが、その中でも特に注目すべきなのは「NVIDIA MAXINE」です。

NVIDIA MAXINE はディープラーニングを活用した革新的なテレビ電話ソリューションです。NVIDIA MAXINEでは動画ファイルの取り扱いやビデオ会議ツール使われる動画の圧縮テクノロジーをニューラルネットワークに置き換え、ビデオ会議で生じるネットワーク帯域の消費を大幅に削減する、ビデオ会議に特化した新しいタイプのビデオ圧縮技術です。

この技術のポイントは、限られたネットワーク速度でも表情豊かなビデオ会議が可能である点です。ビデオ圧縮方式として現在一般的に使われているH.264ビデオコーデックに比べ、約1/10のネットワーク帯域幅で同等のビデオ会議が可能なことから、モバイルデバイスでの利用や通信環境が悪い状況での限られたネットワーク環境での利用に期待されます。

つまりは、圧縮が効いたビデオ映像さえも転送できないくらいの貧弱なネットワークでも利用できるビデオ会議ツールだということです。また、同じ低帯域幅のネットワークを利用する場合でも、H.264ビデオコーデックではブロック状のノイズが載ってしまい、とても見辛い映像になってしまうのに比べ、AIを活用したNVIDIA MAXINEでは、とても滑らかでクリアな動画映像が得られることが分かっています。

同等の低帯域ネットワークでは、H.264よりもAIベースの圧縮の方が圧倒的なクオリティが比較できます

NVIDIA MAXINEの仕組みは、通常の動画圧縮の方法とはまったく異なります。まずビデオ会議で話す人物の高画質画像を1フレーム分を相手側に送信します。その後は送信元で動画を解析し、目、鼻、口といった顔の特徴点の変化を分析、抽出し、変化量だけを示したごく少量のデータに変換します。その少量のデータをネットワークで送信し、受信側では、顔の表情を再構築するニューラルネットワークを応用し、その変化量のデータを元に顔画像を適切に変化させます。

例えば送信元で「大きな口を開けた」という変化を検知したら「口を◯◯ピクセル分開けた」という変化量のデータ、「口元が微笑んだ」という変化を検知したら「口の両端、口角が◯◯ピクセル分上がった」という変化量のデータを送信し、それを受信側で、最初に送信された高画質の画像と機械学習済みの情報から「口を開けた顔」「口角をあげて微笑んだ顔」などを再構成するのです。

実際にはその「変化量のデータ」はそう単純なものではなく口の輪郭、目の輪郭、鼻の輪郭、顔の輪郭を細かく解析する複数のキーポイントデータとして扱われています。NVIDIA MAXINEではNVIDIAのディープラーニング用のソリューション NVIDIA DGX™ A100で、何千時間も事前学習した機械学習の結果が生かされています。顔動画の再構成には敵対的ネットワーク(GAN:Generative Adversarial Network)が活用され、映像の圧縮・伸張の際もGPUの性能によって、最大限パフォーマンスを発揮することができるよう考えられています。

NVIDIA MAXINE を利用した際のデータの流れ

この NVIDIA MAXINE のテクノロジーは、低帯域でのビデオ通話だけでなく、そのほかの状況にも応用がききます。
事例として、マスクやメガネ、ヘッドフォンをしている場合にも有効なこと、顔が正面を向いていない時も正面を向いた顔の高画質画像をもとに、まるで正面を向いて目線があっているかのようにビデオ通話することができます。さらに実写の人物像を、VR空間のアバターや、アニメキャラクタなどの動きに差し替えて利用することも技術的には可能です。

マスクをした状態での映像補完の様子
斜め横から撮影されているビデオ会議映像を、正面から目があった状態で見ているように補完している様子
話をしている実写映像をアニメキャラクタの動きに差し替えている様子

さらにこれらの技術を応用し、画面上で対話が可能なAIエージェントの顔の表示、バーチャルアシスタントへの応用も可能です。

数年前、十数年前であれば、コンピュータリソースが貴重であり、また大量の機械学習済みのデータを活用することも難しかったため、NVIDIA MAXINEのような手法をとることは難しく、いかにネットワーク上に送信される動画データを適切に圧縮するのかが通信においての主な課題でした。ビデオ会議用のビデオ映像はスポーツ中継などに比べると画面の変化量は少なく、圧縮がかかりやすいタイプの動画ではありますが、人間は顔の表情など、慣れ親しんだもののごくわずかな変化や、品質などにはとても敏感で、少し表示遅れたり、表示が荒くなっただけでも違和感やストレスを感じてしまいます。

人は、映像コミュニケーションにおいては、ビデオ映像よりも音、音声を重視する傾向があります。映像は多少止まってしまったり、カクカクしたりしても脳がそれなりに補完して理解できますが、音が途切れてしまった場合はとてもストレスになり、その頻度が高いと、脳で補完しきれなくなります。安定しないネットワークのためにプチプチと切れた音質が低い通信状態が続くと、脳が必死で補完しようと、聞き取ろうとするため、とても疲れてしまうのです。

ビデオ会議ツールとして一般的に使われているZoomの場合、1対1の1080pのHDビデオの送受信の場合は1.8Mbps、複数人で1080pのHDビデオの送信の場合は3.0Mbps(上り/下りとも)のネットワーク帯域を最低限でも必要とします。NVIDIA MAXINE のようなテクノロジーが浸透すれば、限られたネットワーク帯域をビデオ映像の方ではなく、音声通話の送受信に割り振ることができ、よりクリアなビデオ通話コミュニケーションが実現します。

もともと人間はどういう要素をもとに判断し、コミュニケーションしているのでしょう? 人間はコミュニケーションの際、言語<聴覚<視覚、の順で判断しているというメラビアンの法則が知られています。これはコミュニケーションの際、7%はその言葉自身が持つ意味、38%は口調や抑揚、声の強さ弱さといった要素、55%は顔の表情や身振り手振りなどのボディランゲージの要素から判断しているという法則です。メラビアンの法則のもととなった調査は数十年前のものであり、かつ単語1個について表情や口調を変えてどういった印象を持つかといった単純なテストであったため、この法則の信憑性を疑う意見もあります。

しかし対面コミュニケーションに限らずオンラインコミュニケーションにおいても、視覚情報、聴覚情報が重要であることには確かです。オンラインコミュニケーションでは欠けている要素を補完し、できるだけ高品質にコミュニケーションがとれるようさまざまなテクノロジーが研究されています。今後は表情の変化を強調して表示したり、読み取りづらい表情や感情をAIに代わりに読み取ってもらったり、対面で人と会った時と同様に顔の汗や体臭などもリモートコミュニケーションの要素になってくるのかもしれません。

こちらの動画では、NVIDIA MAXINEのAI圧縮の仕組みについて解説をしています。

生まれるべくして生まれた NVIDIA MAXINE

リモート時代に求められるビデオ会議の機能は多種多様で、そのクオリティや機能の追求には限りがありません。
求められる機能は、超高解像度化、画質や音質の向上のためのノイズ除去、同時字幕表示、リアルタイム翻訳、バーチャル背景、顔の位置の調整、視線が合っているようにする補正、周りの照明が暗いことに起因する顔の再照明補正など、ビデオ会議ツール各社がしのぎを削っている状況です。

NVIDIA MAXINEは、特定のビデオ会議ツールに依存せず、クラウド上で動作するソリューションです。NVIDIA MAXINEのベースとなるアプリケーションはクラウド上の運用を自動化するKubernetes環境で動作するため、何十万通話ものビデオ会議が同時に行われても簡単に数を増やすことができ、スケール面の心配はありません。また既存のビデオストリーミングサービスに組み込んで利用することもできるソリューションです。

ビデオ会議やストリーミング サービス用の一連のソリューションの組み合わせとして利用できる

 一連のビデオ通話ソリューションはこちらの動画で紹介しています。

従来型の人工知能活用は、人間が手間をかけて行っていたことを高い精度で代替する、人間にはできないような大量の処理や判断を行うアプローチが注目されてきました。敵対的生成ネットワーク(GAN)の利用がコスト的にも見合うようになり、さまざまな用途に利用できることが分かってからは、今までにはなかったタイプの人工知能活用も見られるようになってきました。

NVIDIA MAXINEは、ネットワーク帯域やコンピュータリソースを節約するために、人間が必要とする最低限のリソースを人工知能を由来とするアルゴリズムによって再構築するという従来とは少し変わったアプローチです。これは現在のネットワーク帯域とコンピューティングパワーとのバランスにまつわる課題を顕著に示しています。さまざまな要因が絡み、自分たちの機材や投資だけではどうしようもないネットワーク帯域の確保に膨大なコストをかけるよりも、自分が利用するごく狭い範囲のコンピューテイングパワーと、クラウドを活用することによって、今までならネットワークを増強することでしか得られなかった品質をコンピューティングパワーによって得られるようになったのです。

今まで、さまざまな映像技術者やネットワーク技術者が動画の圧縮技術にしのぎを削ってきました。圧縮の性能や品質はもちろん、その標準化や、ハードウェアへの最適化など、様々な課題を乗り越えて圧縮技術が広く使われてきました。どんなにネットワーク帯域が太くなったとしても動画圧縮の技術は無くならないと言われてきましたが、ここにきて、まったく違うアプローチで、動画を圧縮するアプローチが台頭してきたのです。

アイデアだけを考えると、人の顔の動きだけを抽出して、その動きのデータだけを転送し、それを再構成すれば、少ないデータ転送量で顔の動きが再現できるのではないかとは、誰もが考えそうなことではあります。CG/VFXでバーチャルな人間を再現する試みは各所で行われています。今現在相当なクオリティでバーチャルヒューマンが再現できていますが、相当な手間と時間をかけてやっと実現できている状態です。

ここまで手間がかかり、シビアな評価になる理由のひとつは、人間は人の顔の表情や、細かいニュアンスの違いやぎこちなさに敏感で、違和感があればすぐに気づいてしまうことにあります。ハリウッド映画のCG/VFXで、バーチャルダブル(代役)と呼ばれる俳優の顔をCGで再構成する際も、最新の注意と手間をかけて、あまり演出には影響のない一部分でしか使われていません。

ハリウッドの場合は俳優協会との決まりごと等があり、俳優によっては、バーチャル俳優が登場できる時間や割合に制限がある場合もありますが、まだまだCG/VFXで再構成された俳優が主人公で全編演技するような映画作品はありません。

NVIDIA MAXINEは、今後広く使われることによって、鑑識眼の高いユーザーに鍛えられ、感情や表情を強調してコミュニケーションしたり、表情の再現性の面でさらなる研究が進むことでしょう。ニーズが先か、テクノロジーが先か。技術が進化するにはさまざまなきっかけがあります。ニーズによって進化するテクノロジーもあり、テクノロジーの進化によって広まる応用例もあり、NVIDIA MAXINEは、そういった相互進化の良い見本となるのではないでしょうか。

本連載の今後の予定:「CGへの扉」では、単なるAIの話題とは少し異なり、CG/VFX, アートの文脈から話題を切り取り紹介していきます。映像制作の現場におけるAI活用や、AIで価値が高まった先進的なツール、これからの可能性を感じさせるような話題、テクノロジーの話題にご期待ください。何か取り上げて欲しいテーマやご希望などがございましたら、ぜひ編集部までお知らせください。

CGへの扉:

Vol.1:CG/VFXにおける人工知能の可能性と、その限界

Vol.2:なめらかなキャラクタアニメーションと、ディープラーニングの役目

Vol.3:CGとAIの蜜月が今まで不可能だった映像を生みだす

Vol.4:CG/VFX制作に欠かせなくなったマシーンラーニングの勘所

Vol.5:SIGGRAPH 2019に見るCG研究と機械学習

Vol.6:Facebookが取り組むVRとAIのアプローチ

Vol.7:AIによる差別やバイアスを避ける取り組み“PAIR”

Vol.8:一流オークションハウスも注目するアートとAIの関係性

Vol.9:現実の課題を解決するCGとAIの相互作用 #SIGGRAPHAsia2019

Vol.10:老齢とは無縁、De-Aging技術の台頭

Vol.11:動き、ダンスに新しい要素を加えるAIの役目

Vol.12:AIのおかげで映像の拡大やノイズ除去が高品質に

Vol.13:AIのクリエイティブとクリエイティビティ再考

Vol.14:AIが生み出す顔と人間の表情

Vol.15:撮影に革新をもたらすAIによる照明

Vol.16:バーチャル開催SIGGRAPH論文を先取り

Vol.17:描画を進化させるTensorFlow Graphicsの真価

Vol.18:SIGGRAPH2020レポート 映像制作の現場で活躍する人工知能

Contributor:安藤幸央

RELATED ARTICLE関連記事

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGGRAPHAsia2020

2020.12.14アート

CGへの扉 Vol.21:人工知能+3DCGの最新論文をまとめて紹介 #SIGG...

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

2021.2.15アート

CGへの扉 Vol.23:AIで人の眼に進化するカメラ

CGへの扉 Vol.6:Facebookが取り組むVRとAIのアプローチ

2019.9.13アート

CGへの扉 Vol.6:Facebookが取り組むVRとAIのアプローチ

RANKING注目の記事はこちら