AIに料理や楽器を教えてもらえる未来への一歩：月刊エンタメAIニュース vol.22

エンタメにおいても人工知能は日進月歩で発展しており、新しい研究成果や試みが次々と発表されています。こちらの連載では、過去1か月間、主に海外で公開された注目すべきゲームAIやエンタメAIに関連したニュース、論文などを紹介していきます。

自律移動ロボットは家電の地位を築けるか

テスラが開発に乗り出した自律労働ロボットに呼応するかのように、9月28日にはアマゾンも初の家庭用モニタリングロボット「Astro」を発表しました。音声アシスタント「Alexa」とスマートディスプレイ「Echo Show」の機能に、人工知能とコンピュータビジョンを搭載した自律移動型のデバイスで、ホームセキュリティサービス「Ring」と連動させれば家中を巡回する防犯カメラとしても利用できるということです。

高さは約60cm、重量は約9kg。10インチのタッチスクリーンと各種センサー、カメラ、マイクを搭載しており、バッテリーの残量が少なくなるとロボット掃除機のように自動的に充電ドックへ戻る仕組みです。また、およそ2.2kgまでの小さな荷物なら背面に載せて運べるとのこと。周囲の空間や目的地の認識には、障害物を検知する超音波センサーに加えて、深度センサー付きのカメラや画像処理ツールが用いられていると報告されています。招待制の限定販売で、価格は1,000ドル。現在のところ、日本国内での発売は未定です。

移動式の音声アシスタントとしてはもちろん、部屋の中を自由に動き回れるビデオチャットインターフェイスとしてや、留守中にペットを見守るリモートツールとしてなど、アマゾンが公開した動画では「Astro」の幅広い用途が紹介されています。しかし、裏を返せば器用貧乏で明確な目的がないという印象も否めません。生産台数すら明かされていない今回の限定販売は、あくまでも少し便利なペットが家庭での地位を確立するために踏み出す第一歩に過ぎないのかもしれません。

一人称視点から得た情報がAIに授ける恩恵

人間の脳は一人称視点と三人称視点の情報を関連付けることに長けています。例えば、ジェットコースターの上から眺める光景と、ジェットコースターを地上から眺めた際の光景を目にした時、私たち人間はそれらを自然と結びつけて認識できます。こうした思考は、AIにとっては極めて難しいとされています。コンピュータビジョンをつかさどる一般的なAIモデルは、俯瞰的な視覚情報を基に構築されているからです。

フェイスブックは10月14日、一人称視点の情報から世界を認識させることを目的としたAIモデル「Ego4D」を発表しました。世界9か国の大学13校からの協力を得て2,200時間におよぶ一人称視点の動画を集めたということで、学習させたデータには700人以上の参加者による日常生活が記録されています。こうしたAIモデルは、近い将来に拡張現実（AR）や仮想現実（VR）を活用したツールの発展に大きく貢献すると考えられています。

例えば、AIを搭載したウェアラブルカメラで部屋の内部を撮影することで、すべての家具や小物の場所を正確に記憶できます。どこに何を置いたか忘れてしまっても、AIの視覚情報から瞬時に特定できるというわけです。別の例を挙げると、料理のレシピと手順をリアルタイムで表示できるARデバイスがあれば、素材の切り方から調味料の分量まで、すべてをチュートリアル感覚で確認しながら作業できます。同様に、道具の持ち方や楽器の演奏方法を学ぶ支援ツールのような応用も考えられます。

バーチャルヒューマンを自動生成する技術

日経新聞社が運営する日経イノベーション・ラボは10月4日、AIが生成したバーチャルヒューマン（非実在人物モデル）を用いて動画を制作するシステムを、データグリッドと共同で発表しました。人物像をキャプチャしてCGを生成する従来の手法とは異なり、実在する人物の特徴を学習させることで、より自然な人物データを自動生成できるとのこと。くわえて、入力された音声データに合わせたリップシンクと表情の変化にも対応しており、実物さながらの写実的な動画の生成が可能ということです。

これまで人物像の3Dモデリングや音声収録を経た動画制作には、数日から10日程度、品質によっては数か月が必要でした。このシステムを使えば、わずか1日で作業が完了します。また、あらかじめ用意した写真や動画を使って実在する人物をもとにした動画を作ったり、実在する人物の顔のみをバーチャルヒューマンに置き換えたりすることも可能なようです。将来的には、動画をアップロードするだけで自身のデジタルアバターを生成できるような仕組みを構築する予定だといいます。

日経新聞社では、主に報道やオンラインイベントでの利用を想定しているということです。こうした技術が、近年急速に発展する自然言語処理モデルや音声合成技術と融合した時、もしかしたら人間のアナウンサーがニュースを読み上げる必要はなくなるのかもしれません。

ちなみに類似の自動生成技術に関しては、3月にもミシガン大学とNetease社の研究者が開発した「MeInGame」という自動生成AIを紹介しました。これはディープラーニングを使って単一の顔画像から顔面の形状やテキスチャを予想することで、実物にそっくりのキャラクターグラフィックを自動生成するというものでした。

AIベートーヴェンによる幻の交響曲第10番

ルートヴィヒ・ヴァン・ベートーヴェンが生前に断片的なスケッチだけを残していた幻の交響曲第10番が、10月9日にベートーヴェン生誕の地であるドイツ・ボンにて、ボン・ベートーヴェン交響楽団によって演奏されました。

これは2019年に始まった機械学習プロジェクトの集大成で、ベートーヴェンが手掛けた全楽曲および彼が残した断片的なスケッチの解釈をAIに学習させることで、本来存在し得なかった幻の楽曲を実現するという試みでした。もともとはベートーヴェン生誕250年を記念して2020年4月28日の祝賀行事で演奏される予定でしたが、新型コロナウイルス感染症の世界的流行を受けて大幅な延期を余儀なくされていました。

ベートーヴェンの交響曲第10番は、未完成の交響曲として知られているものの、難解かつ断片的な準備段階のスケッチが残されているに過ぎず、未完と呼ぶにもほど遠い状態でした。また、もともと交響曲第9番と対となる曲として構想された第10番は、途中でベートーヴェンの方針転換によって最終的には現存する第9番に統一されたとも言われています。くわえて、遺産の保護という観点からAI技術による楽曲の補完には常に懸念の声もありました。こうした背景から、交響曲第10番を実現する意義や完成度については賛否が絶えないようです。

Writer： Ritsuko Kawai / 河合律子、Photo by emy on Unsplash