汎用型エージェントの実現に向けた動き：月刊エンタメAIニュース vol.55

エンタメにおいても人工知能は日進月歩で発展しており、新しい研究成果や試みが次々と発表されています。こちらの連載では、過去1か月間に公開された注目すべきゲームAIやエンタメAIに関連したニュース、論文などを紹介していきます。

視覚情報から操作情報を出力する仕組み

マルチモーダルなAIモデルがスタンダードになりつつあるいま、あらゆるタスクを同時にこなせる汎用的なエージェントの実現に一層の期待が寄せられています。その第一歩として中国の研究者たちが提唱しているのが、General Computer Control（GCC）というアプローチです。

これはスクリーンに映し出された視覚情報をAIモデルに解釈させて、それを基にキーボードやマウスによる操作を出力させるという試みです。つまり、人間によるコンピュータの操作を模倣させることで、あらゆるタスクを実行できるようにするというアプローチです。

GCCの実用化に向けた初期の実験として、研究チームは大規模言語モデルをベースにした「Cradle」というフレームワークを開発しました。Cradleは「情報収集」「自己内省」「タスク推論」「スキルキュレーション」「行動計画」「記憶」の6つのモジュールを備えており、ゲームやアプリといったソフトウェアを操作しながら覚えていきます。

まず、「情報収集」モジュールがスクリーン画像からテキストやUI、オブジェクトに関する情報を抽出し、それを基に「タスク推論」と「行動計画」モジュールがタスクの実行に必要なアクションを計画します。その際、ゲームやアプリの中で出された指示は、「スキルキュレーション」によってキーボードやマウスで実行可能な操作情報に変換されます。アクションを実行した後は、その結果を「自己内省」によって評価し、過去の経験として「記憶」します。これらの繰り返しによってタスクの実行能力を洗練していくという仕組みです。

研究チームは、「Cradle」に『Red Dead Redemption 2』『Stardew Valley』『Cities: Skylines』といったゲームを事前知識なしで実際にプレイさせ、「最初のミッションをクリアする」「最初の作物を育てて収穫する」「人口1,000人の街を作る」といったタスクで一定の成功を収めています。一方で、空間を把握したりアイコンの意味を理解したりすることには多くの課題も残っているようです。今回の試みで、すでに実現可能な領域と改善の余地がある領域を把握できたことは、GCCの実用化に向けた大きな一歩と言えるでしょう。

論文：Cradle: Empowering Foundation Agents Towards General Computer Control

テキストから3Dモデルを1分で生成

メタは7月2日、文章を入力するだけで1分以内に3Dモデルを出力できる生成AIモデル「3D Gen」を発表しました。

「3D Gen」は、「3D AssetGen」と「3D TextureGen」という2つの研究成果を統合した技術で、2段階のプロセスを経てプロンプトに忠実な3Dモデルを生成します。「3D AssetGen」が入力されたテキストの情報に基づいて物理ベースレンダリングで3Dメッシュ（モデルのベースとなる部分）を作成し、「3D TextureGen」がモデルの色や材質を指示通りに再現したテクスチャを生成して貼り付けるという仕組みです。

同じメッシュ情報を使って3Dモデルのテクスチャのみを変更することも可能です。例えば、「木こりの服を着たクマ」というプロンプトで出力した3Dモデルを、「バスケのユニフォームを着たクマ」や「タキシードを着たクマ」といった具合に、テクスチャのみを書き換えられるというわけです。また、「ホラー映画」や「クリスマス」といったテーマを指定することでも、異なる複数の3Dモデルに統一感をもたせたテクスチャを生成できます。

こうした技術が実用化できれば、キャラクターやオブジェクトといった膨大な3Dアセットが必要なゲーム開発はもちろん、建築における設計プロセスやメタバースにおける環境構築に革新をもたらすかもしれません。

論文：Meta 3D Gen

汎用世界モデルへ一歩前進

Runwayは6月17日、同社が掲げる「General World Model」の構築へ向けた新たな一歩として、高精細で制御可能な動画を生成できる最新モデル「Gen-3 Alpha」を発表しました。

「Gen-3」は、動画と画像を組み合わせた大規模なマルチモーダル学習で訓練されており、「Gen-2」と比べて精度や一貫性が大幅に改良されています。「Motion Brush」「Advanced Camera Controls」「Director Mode」といった既存の機能はもちろん、動画の構造やスタイル、モーションをより細かく制御できる新たな機能が追加されるとのこと。

これにより、想像力を掻き立てるシーンのトランジションや正確なキーフレーミングといった時間制御はもちろん、幅広いアクションやジェスチャー、感情表現が可能な人物描写が可能になります。また、エンターテインメント業界やメディア業界の企業と提携したカスタムバージョンも用意しており、特定分野に合わせた調整も可能ということです。

企業が専用のLLMを開発する動き

パナソニックは7月2日、パナソニックグループ専用の大規模言語モデル（LLM）「Panasonic-LLM-100b」を、ストックマークと共同で開発することを発表しました。

今年5月にストックマークが公開したLLM「Stockmark-LLM-100b」に、パナソニックグループの社内データを追加で学習させ、同社で開発中のマルチモーダル基盤モデルへの統合を目指すとのこと。想定されるモデルサイズは1,000億パラメータで、企業が開発する自社専用のLLMとしては国内最大規模となる見込みです。

こうした取り組みの背景には、企業が汎用型LLMを利用する際に生じるコストの肥大化と、専門知識の不足によるハルシネーション（AIが事実に基づかない情報を生成する現象）の頻発という課題があります。特に後者は、利用者が気が付かないうちにビジネスリスクに直結しかねない深刻な問題です。

そこで自社のデータをオープンソースモデルに追加で事前学習させることで、汎用モデルの学習データにない業界の専門用語へ対応させる動きが広がっています。企業がもつ独自の知識やノウハウをLLMに統合するプロセスを通じて、LLMのさらなる高性能化やカスタマイズ技術を社内に蓄積することにも繋がるというわけです。

勝手にビールを追加注文するAI

Gateboxは7月3日、飲食店向けAI接客サービス「AI幹事」を発表しました。

AI幹事は「GPT-4o」の画像認識技術を活用しており、テーブルに設置したタブレットのカメラでグラスの空き具合を見ながら、おすすめのドリンクや料理をAIキャラクターが提案してくれます。また、ユーザーがグラスを手に持って乾杯しようとしている時は、AI幹事が率先して乾杯の挨拶をしてくれるとのこと。

キャラクターの見た目はクライアントの要望に沿って自動生成され、お店の雰囲気やシチュエーションに合わせて自由にカスタマイズすることも可能。同社は、「日本が誇るキャラクター文化と最新のAIを掛け合わせ、日本ならではの遊び心のあるAI接客体験を作り出すことで、お客様が親しみやすく楽しい時間を過ごせる体験を提供したい」としています。

Writer：Ritsuko Kawai