動物動画のデータから3Dモデルを生成するAI：月刊エンタメAIニュース vol.17

エンタメにおいても人工知能は日進月歩で進歩しており、新しい研究成果や試みが次々と発表されています。こちらの連載では、過去1か月間、主に海外で公開された注目すべきゲームAIやエンタメAIに関連したニュース、論文などを紹介していきます。

あらゆる動物の挙動を完全に定量化できるAI

動物の挙動と神経作用の関係を研究する技術が急速に発展する一方で、動作そのものを定量化する技術はそれほど普及していません。デューク大学とハーバード大学の研究者が発表した「DANNCE」（3-Dimensional Aligned Neural Network for Computational Ethology）は、たった1台のカメラで撮影した自由に動き回る動物の映像から、3Dモデルを正確に再現できるディープニューラルネットワーク技術です。

この研究チームは、2020年にも「CAPTURE」（Continuous Appendicular and Postural Tracking using Retroreflector Embedding）というモーションキャプチャとディープラーニングを使った同様の技術を発表していましたが、3Dモデルを作成する動物にあらかじめマーカーを装着しなければならないため、対象によっては困難な作業を強いられる点がボトルネックでした。対して今回のDANNCEは、ビデオカメラで動物を撮影するだけです。

DANNCEには、対象の動物にマーカーを取り付ける必要がないという強みのほかに、身体の一部がカメラに映っていなくても動きをトラッキングできるという利点があります。このディープニューラルネットワークの構築に役立ったのが、CAPTUREの研究で集めた700万件におよぶ膨大なデータセットだといいます。

人間をふくめたあらゆる動物の微細構造を容易に定量化できるようになれば、神経発達の研究から医療分野への応用まで、その可能性は無限大です。もちろん、エンタメ分野での活躍も期待できるかもしれません。

【論文】Geometric deep learning enables 3D kinematic profiling across species and environments

プレイスタイルを学習してゲームを手伝ってくれるAI

多くのゲームプラットフォームには、ユーザーのゲームライブラリやプレイ履歴、好みのジャンルといったパーソナライズされた情報を管理するためのゲームプロファイルが設けられています。近年、こういった仕組みにAI技術を積極的に組み込むことで、ユーザー体験を改善しようとする取り組みが活発化しています。

たとえば、PCゲームプラットフォームのSteamは、ユーザーのゲームプレイ履歴のみならず、ゲームストアにおける個人設定をAIに学習させることによって、リコメンド機能や探索アルゴリズムを最適化する技術を導入しています。一方、ソニー・インタラクティブエンタテインメントが米国特許商標庁に出願中の特許技術は、AIにユーザー固有の嗜好やプレイスタイルを学習させることで、ゲーム体験そのものの向上をサポートすることを目的にしています。

特筆すべきは、ユーザーが普段からどんなジャンルのゲームを遊んでいるかという嗜好だけでなく、どのような遊び方をしているかというプレイスタイルを学習させる点です。3Dアクションゲームを例にあげると、正面から多くの敵に立ち向かっていくスタイルを好むプレイヤーもいれば、できるだけ激しい交戦を避けながら攻略を目指すステルスプレイを好むユーザーもいます。

ソニーが出願している特許の内容は、こうしたユーザーごとに異なる特性をプロファイルとして学習させることで、究極的にはユーザーに代わってゲーム内で特定のタスクを実行できるAIの構築を目指すという技術です。また、目的の達成が困難な場合は、攻略のアドバイスとなる情報を自動的に検索するオンライン機能の実装も想定しているということです。

もし実用化できれば、同じことの繰り返しで面倒なMMORPGのデイリークエストを代わりに処理してくれたり、行き詰まってしまった高難易度コンテンツを攻略するきっかけを作ってくれたり、ゲーム内でユーザーを直接アシストしてくれるAIが誕生するかもしれません。ちなみにソニーは過去にも、PlayStation 5の発売に先立ってゲーム内の音声アシスタントに関する特許を出願していました。

【特許】AUTOMATED ARTIFICIAL INTELLIGENCE (AI) CONTROL MODE FOR PLAYING SPECIFIC TASKS DURING GAMING APPLICATIONS

タッチスクリーンのタイピングを学習するAI

スマートフォンやタブレット端末のタッチスクリーンのキーボードで文字を打ち込む時、パソコンのキーボードを使うときのようなブラインドタッチは通用しません。人間は指先と視線の複雑な動作の組み合わせによってタイピングしています。打ち間違いに気が付いてすぐに修正できるのも、タイピングとプルーフリーディングを同時に行っているからです。人間が意識を効率的に分散させることに長けているからこそ可能な芸当です。

フィンランド人工知能センターとアアルト大学の研究者は、タッチスクリーンタイピングにおける人間の指と目の動きを、強化学習を使った数理モデルで再現することに成功しました。タイプミスに気が付いて打ち直す動作まで、人間そっくりにシミュレートしています。また、スペルの自動補正システムやキーボードデザインの違いによる動作の変化にも対応できます。下記の動画では任意の文章をインプットすると、タイピングする際の指と目の動きをアウトプットする仕組みについて解説しています。

強化学習はトライ・アンド・エラーで問題を解決に導く機械学習モデルです。初めてキーボードを触る人間が指の動きを最適化できるようになるまでのプロセスは、まさにトライ・アンド・エラーの強化学習そのものです。そう考えれば、AIが人間のタイピングを模倣できるようになるのも至極自然な結果といえるでしょう。

現時点では、フィンランド語のコーパスとキーボードレイアウトを使った学習しか行われていませんが、AIモデル自体には言語の制約はないということです。しかしながら、日本語や中国語、韓国語のように、ひらがなやカタカナ、漢字、ハングルへの変換プロセスを含めた2バイト文字のタイピングでは、より複雑な学習が必要になることが予想されます。

こうしたシミュレーションは、より快適にタイピングができるキーボードデザインの開発や、タイピング学習ツールの提供、タッチスクリーンのユーザビリティ向上に役立つことが大いに期待されます。もしかしたら、これまで誰も想像できなかった新たな入力方法の創出に一役を担うかもしれません。

【論文】Touchscreen Typing As Optimal Supervisory Control

Writer： Ritsuko Kawai / 河合律子