ダイヤモンドのつるはしを作ったOpenAIのMinecraftプレイAIが持つ射程とは？

GPT-3をはじめとした大規模言語モデルが開発できたのは、インターネット上にある大量のテキストデータを学習データとして活用できたからでした。その一方でインターネット上の動画を学習データとして利用するには、大きな壁がありました。この壁を乗り越える方法を最近OpenAIが発表しました。本稿では、OpenAIが開発したMinecraftプレイAIの解説を通して、動画を学習データとして活用することの可能性とその限界を明らかにします。

動画からの学習を可能としたVPT

動画を学習データとして活用するのが難しかったのは、動画には視覚情報とともにそれがどのような操作によって表示されたのかを伝える操作情報が必要になるからでした。操作情報を大量の動画に人力で付与しようとすると膨大な作業が発生するため、動画の学習データとしての活用が進んでいなかったのです。

こうしたなかOpenAIは2022年6月23日、大量の動画を学習データとして利用したMinecraftプレイAIを発表しました。このAIは、以下のような手順を実行して開発されました。

1. インターネットから収集した2,000時間のMinecraftプレイ動画に対して、人間のラベル付け作業者が動画で実行されている（マウスやキーボードの）操作に関するラベルを付与する。ラベル付け作業者は、Amazon Mechanical Turkサービスを使って雇用した。
2. 前述のMinecraftプレイ動画とその操作ラベルをペアにした学習データを使って、任意のMinecraftプレイにおいて実行された操作を予測するAIモデルを訓練する。このAIモデルはIDM（Inverse Dynamics Model：逆動力学モデル）と命名された。
3. IDMを使って、70,000時間のMinecraftプレイ動画に対して操作ラベルを付与する。
4. 操作ラベルを付与した70,000万時間のMinecraftプレイ動画を学習データとして活用して、任意のフレームのMinecraftプレイを与えると、そのプレイに続く（木を切るなどの）アクションを予測するAIモデルを訓練する。この訓練手法は、VPT（Video PreTraining：動画事前訓練）と名付けられた。

以上のようにして開発されたMinecraftプレイAIは、泳ぐ、動物を狩る、食べるといった基本アクションだけではなく、ジャンプを繰り返して足元にブロックを置き続ける「ピラージャンプ」も習得しました。

OpenAI研究チームは、同ゲームプレイAIの学習能力を試すために「ダイヤモンドのつるはしを作る」という多くのアクションから構成された困難な課題を与えてみました。何の手がかりもなしにこの課題を学習するのは極めて困難なので、課題をさらにいくつかのサブタスクに分けたうえで、そのタスクごとに報酬を与えるようにしました。その結果、ダイヤモンドのつるはし作りを習得したのでした。

参考論文：動画事前訓練（VPT）：ラベルなしオンライン動画の視聴による行為の学習

1位に賞金7,000ドルのコンペを開催

OpenAIは、以上に解説したVPTを適用したMinecraftプレイAIの可能性を広げるためにコンペを開催することにしました。AIプロジェクトに関するコンペを公開しているAIcrowdの当該コンペに関するページを要約すると、以下のようになります。

1. コンペ参加者は、コンペに提出するMinecraftプレイAIをOpenAIが公開しているVPT済みAIとMinwcraft環境にもとづいて開発する。
2. コンペ提出AIは「洞窟を見つける」などのような4つの課題タスクを実行できるように訓練する（課題タスクについては後述）。
3. 課題タスク遂行の評価は、人間が行う。具体的には、任意の2つの提出AIが課題タスクをプレイするのを評価者が観察して、どちらのAIがより良くタスクを実行したか尋ねる。この質問の回答を集計して、ゲームプレイAIのスキルを数値化する手法のひとつであるTrueSkillを用いてスコア化する。
4. 応募期限は2022年10月28日で、コンペの最終結果はNeurIPS 2022において2022年12月2日から3日に発表される。
5. 賞金は1位に7,000USドル、2位に4,000USドル、3位に3,000USドルを授与する。
6. 以上の賞金のほかにも、人間のプレイスキルを超えたAIを評価するBlue Sky賞、興味深いAIを評価する研究賞もある。

コンペ提出AIが実行する4つの課題タスクとは、以下のようなものです。

1. 課題1：3分以内に洞窟を探す。ただし、地表を掘り下げるアクションのみで探すのは禁止。
2. 課題2：山間部にスポーンしてから、5分以内に滝を作る。使う道具に制限はない。
3. 課題3：村にスポーンした後、5分以内に動物小屋を作る。この小屋には、1種類の動物を2匹以上入れる。課題実行中に近隣の村人に危害を加えてはならない。
4. 課題4：村にスポーンした後、12分以内にその村のスタイルに合わせた家を作る。家作り中に村人へ危害を加えてはならない。

以上のように課題タスクは、Minecraftの基本的なプレイスキルを問うものとなっています。このコンペの参加は、すでに言及したAIcrowd当該コンペページから可能です。

AGI実現への道はまだ険しく長い

動画からの学習を可能とするVPTの応用範囲は、Minecraftのプレイに限ったものではありません。例えばペイントアプリや各種CG制作アプリの操作にも応用可能でしょう。VPTによって学習範囲が大幅に広がったことで、AIはまた一歩AGI（汎用人工知能）に近づいたと言えるでしょう。

しかしながら、当然ながらVPTにも限界があります。AI技術に関する考察記事をMediumで公開しているAI技術批評家のAlberto Romero氏は2022年7月7日に投稿した記事で、VPTの限界として以下のような3項目を指摘しています。

1. 模倣の範囲を超えない：VPTは、人間が行った操作を模倣しているに過ぎない。対して人間は、模倣を超えて新たなアクションを試行錯誤したり実験したりできる。
2. 仮想世界の範囲を超えない：VPTは、（Minecraftのゲーム環境のような）仮想世界でしかアクションできない。仮想世界におけるアクションは明確に定義できる操作の連続であるが、人間が物理世界で実行するアクションは単純に定義された操作の連続に還元できない。
3. 確率の範囲を超えない：VPTによって習得できる情報は、任意のアクションに後続するアクションの出現確率に過ぎない。出現確率がわかっても、選択されるアクションが為される理由や目的を学習できない。対して人間が実行するアクションには、たいてい理由や目的がある。

また、VPTによって大量の動画を学習できるようになった結果、動画から何らかのバイアスを学んでしまうリスクもあります。こうした動画に潜在するバイアスの詳細は現時点では不明であるものも、動画を制作したのが人間である以上、人間が抱えている何らかのネガティブな側面が含まれていても不思議ではありません。

以上のようにVPTには限界やリスクがあるものも、大いに期待できる学習手法であることには変わりません。近い将来、この手法を使ってCG制作アプリを使いこなすAIが誕生するかも知れないでしょう。

Writer：吉本幸記、Image by Shutterstock