視点移動可能なAI生成による3D動画配信技術などが発表：GTC2025セッションレポート

NVIDIAは、2025年3月17日から21日の日程でカリフォルニア州サンノゼにおいて、同社主催の大規模カンファレンスGTC2025を開催しました。AI業界の著名人が一堂に会して1,000を超えるセッションを行ったこのカンファレンスでは、エンタメAIとグラフィックAIの最新技術とビジネス事例に関する発表もありました。こうした発表のなかから、本稿ではAIを駆使したNPC、デジタルヒューマンとアバター、そしてテレプレゼンスについて紹介します。

上位10%の人間プレイヤーに匹敵する戦闘スキルを実現

中国の大手ゲーム開発会社NetEase傘下のAI研究所Fuxi Labのリーダーを務めるタンジ―・リュウ（Tangjie Lyu）氏は、同研究所が開発したAI駆動型NPCについて発表しました。

はじめにリュウ氏は、Fuxi Labについて話しました。2017年にグラフィックAI研究などを目的に設立された同研究所は、現在までに300本以上の論文と600以上の特許を発表しており、GTCでも10回以上のセッションを行っています。

今回のセッションでは、NetEaseが運営するモバイルゲーム『Naraka:Bladepoint Mobile』の中国語版に実装されているAI駆動型NPC「AIチームメイト」の開発過程について発表しました。広大な3Dワールドをフィールドとして、さまざまな武器やアクションを駆使してバトルロイヤルを繰り広げる同ゲームにふさわしい最新NPCを開発するにあたり、リュウ氏をはじめとする開発チームは、以下のような3つの目標を掲げました。

• 音声認識と会話機能の実装：人間プレイヤーと音声による会話が可能であること。銃声や雑音を無視して、言語だけを理解して返答できるようにもする。
• 的確な戦術的行動：ゲーム状況を理解したうえで、最適な行動が実行できること。
• 低レイテンシと低コスト：以上の目標を実現しても、低レイテンシかつ低コストであること。

1つめの目標については、Closed-loop Dataと命名したアーキテクチャを採用することで実現しました。このアーキテクチャでは、ゲームから収集した音声データに対して、雑音を無視して言語的情報にラベル付けしたり、LLMを活用したデータ拡張が行われたりすることで、学習データが生成されます。このデータを活用して、AIチームメイトの言語モデルが訓練されます。こうした訓練プロセスが繰り返された結果、音声認識や自然言語理解の精度が向上しました。

目標2に関しては、強化学習と模倣学習を併用した学習を実施して達成しました。装備品の選択やアイテムの使用については、古典的なNPC開発技法であるビヘイビアツリーも活用しました。こうした結果、99%の確率で適切なフィールド移動が可能となり、上位10％の人間プレイヤーに匹敵する戦闘スキルを実現しました。

目標3は、演算環境を最適化することで実現しました。具体的には、通信技法としてgRPCを採用したり、LLMの演算負荷を下げることを目的として量子化を実施したりしました。その結果、システム全体の応答時間を1秒以内に抑えられました。

セッションの最後に、リュウ氏は新たな目標について語りました。今後の目標は、AIゲームコーチの開発です。このAIは人間プレイヤーといっしょにプレイしない代わりに、人間プレイヤーのプレイを観察して、上達するヒントを出力するというものです。AIゲームコーチが実現すれば、ゲームのチュートリアルなどが新たな次元に突入する、とリュウ氏は考えています。

年平均成長率30.8%で成長するデジタルヒューマン＆アバター市場

ITサービス開発会社SoftServeのR＆D部門リードエンジニアのサム・フレッシュ（Sam Frish）氏と同部門所属エンジニアのイゴール・ロマノビッチ（Ihor Romanovych）氏は、同社開発のデジタルヒューマンとアバターについて発表しました。

はじめにフレッシュ氏は、デジタルヒューマンとアバターの市場状況について話しました。調査会社CB Insightsによると、同市場の規模は2023年において約1億4,000万USドルであり、年平均成長率30.8%で成長して、2033年には約20億USドルになると予想されています。

また同市場をセグメント別に見ると、教育、ゲームに登場するNPC、スマート玩具に細分化され、どのセグメントも大きな成長が見込まれています。

続いてロマノビッチ氏が、SoftServeが開発してきたデジタルヒューマンとアバターを紹介しました。はじめに紹介したのが、ポルトガルの首都リスボンで2022年に開催されたWeb Summit 2022に出品されたALNAIRです。このデジタルヒューマンは触覚インターフェースを実装しており、ユーザーがそのインターフェースに手をかざすと交流が始まります。カメラとも連動しており、ユーザーの顔を認識後、その顔にもとづいて未来的な顔画像を出力します。

顧客対応を目的に開発されたのが、デジタルコンシェルジュです。NVIDIA Avatar Cloud Engine（ACE）を活用した同デジタルヒューマンは、企業が所有している情報資産をRAGとして参照することで、顧客からの質問に的確に回答します。NVIDIA Audio2FaceなどのグラフィックAIを用いることで、自然な表情を伴いながら話すこともできます。

SoftServeは、動物の姿をしたアバターも開発しています。というのも、教育用コンテンツにアバターを実装する場合、動物の姿をしていると子供が親しんでくれるからです。同社が開発した動物型アバターで注目すべきものは、シュレーディンガーの猫です。「猫が死んでいると同時に生きている」という量子力学的にはあり得るが常識的には考え難いこの思考実験を説明するコンテンツとして、同社は文字通り猫のアバターを作ったのでした。

セッションの締めくくりとして、フレッシュ氏は今後も子供たちのために教育用アバターを開発し続けると話して発表を終えました。

近未来ではカメラ切り替え可能なスポーツイベントのライブ中継が可能になる？

NVIDIAのAMRI（AI-Mediated Reality and Interaction：AIを介したリアリティとインタラクション）リサーチラボのディレクターを務めるとシャリニ・デ・メロ（Shalini De Mello）氏は、AIを活用したテレプレゼンスの最新研究動向について発表しました。

はじめにメロ氏は、テレプレゼンスの近年の動向について話しました。フォトリアルな人間の画像を介して、高い没入感と実在感を伴う遠隔交流を目指すテレプレゼンスの研究は、30年前から行われており、最近ではMetaのCodec Avatars、GoogleのStarline、AppleのVision Proなどの成果があります。これらは専用デバイスを用いた高価な技術であり、普及の面で難を抱えています。

対してNVIDIAが研究するテレプレゼンスは、スマホカメラを用いた誰でも使える技術と位置づけられます。こうした技術を実現するためには、スマホカメラから取得した画像情報をAIによって3次元的に再構築して、フォトリアルな3D人物画像を出力する必要があります。

スマホを用いたテレプレゼンスは、3つの要素技術から構成されます。1つめは、スマホカメラからユーザーの位置とポーズ（姿勢）を正しく取得する知覚です。2つめが、知覚にもとづいて3D人物画像を再構築する画像統合です。3つめが、3D人物画像を低レイテンシで通信する情報圧縮技術です。

スマホカメラを用いたユーザーのポーズ推定には、カメラによる歪みという問題がありました。2メートル以内の近距離から撮影することが多いセルフィ―画像などは、レンズからの距離が近いために、被写体のかたちが歪んでしまうのです。この問題を解決するために着目したのが、こうした歪みはカメラからの被写体の距離にもとづいて補正できるという事実です。

以上の事実を応用して開発したポーズ推定技法が、BLADEです。この技法は、入力画像からカメラからの距離を取得して補正情報を算出した後、補正情報を加味してポーズ推定を出力するというものです。

以下の画像は、BLADEと従来技法を比較したものです。BLADEによるポーズ推定が、入力画像とほぼ一致しているのが一目瞭然です。

3D人物画像を生成する技術には、歴史的にメッシュによる描画、NeRF、そしてガウシアンスプラッティングがあります。ガウシアンスプラッティングは高速でフォトリアルな3D画像を生成する非常に有望な技術ですが、細かな表情の制御ができないという限界がありました。

以上の限界を克服するために、NVIDIA研究チームが開発した技法がGAGA（Generative Animatable Gaussian Avatars）です。この技法を用いると、特定の表情を呈したガウシアンスプラッティングの3D人物画像が生成できるうえに、ポーズの指定も可能となります。そして、連続的に3D人物画像を生成することで人物に関するフォトリアルな3Dアニメーションが実現します。

NVIDIAが目指すテレプレゼンスは、GAGAでアニメーション化された3D動画によるコミュニケーションです。ガウシアンスプラッティングによって生成された動画は、通常の動画とは異なり、視点の切り替えが可能なものとなります。それゆえ、複数のカメラで撮影したスポーツイベントのライブ中継を、視点を変えながら視聴することも可能となります。しかしながら、こうした動画の通信を実現するためには、データ量の大きいガウシアンスプラッティング生成動画を圧縮する技術が不可欠となります。

以上のような通信技術として考案されたのが、QUEENです。この技術は、ガウシアンスプラッティング動画における各フレーム間に見られる差異が小さいことに着目して、そうした差異のみを通信情報として処理するというものです。

以上に解説したBLADE、GAGA、そしてQUEENを活用すれば、スマホを使うだけで視点移動可能な3D人物画像を介したテレプレゼンスが可能となります。ただし、こうした技術はまだ研究段階なので、実用化されるにはしばしの時間を要するでしょう。

本稿で紹介した3つのセッションは、いずれもエンタメAIとグラフィックAIに関する最新研究と最新事例に言及したものでした。これらのセッションからわかるように、近年のGTCはSIGGRAPHに匹敵するAIの祭典の様相を呈しています。ゆえに、来年のGTCでもAIを活用したエンタメとグラフィックの新たな可能性を発見することができるでしょう。

Writer：吉本幸記