ゲームプレイAIに対する新たな挑戦「NetHackチャレンジ」とは何か？

ゲームプレイAI研究ではチェスや将棋に始まり、リアルタイムストラテジーやレトロゲームに挑戦することを通して、新たな強化学習の技術が考案されてきました。こうしたなか、Facebookは新たなジャンルのゲームを課題としたコンペの開催を発表しました。この記事では、新しいコンペの内容とその意義を解説します。

世界最高難度のゲーム

Facebook AI Reserchは6月9日、『NetHack』をプレイするAIの性能を競う「NetHackチャレンジ」を世界最大のAI研究カンファレンスのひとつNeurIPSの2021年度会議（12月6～14日までオンラインで実施）で開催することを発表しました。

NetHackとは、ローグライクゲームに分類されるものです。このジャンルは1980年に最初のバージョンが開発された『ローグ（Rogue）』を源流としており、日本では『風来のシレン』シリーズや『トルネコの大冒険 不思議のダンジョン』シリーズによって有名になりました。

ローグライクゲームに共通する特徴は、プレイする度に変化するダンジョンを探索して何らかの目標を達成することです。もうひとつの特徴が「パーマデス（PermaDeath）」の存在です。パーマデスとは「Permanent（「永続的な」）」と「Death（死）」をつなげた造語で直訳すると「永続的な死」となりますが、ローグライクの文脈で言えば、ダンジョン探索中に命を落とすと獲得アイテムとレベルが初期化されることを意味します。こうした特徴により、プレイした時間に応じてキャラクターが強化されるわけではなく、ゲームクリアには純粋にプレイスキルの向上が求められます。

NetHackは以上の特徴を踏襲したうえで、豊富なアイテムと敵キャラクターが用意され、さらには5つの種族と13の職業からキャラメイキングできるため、可能な選択肢は膨大になります。同ゲームをクリアするには、熟練プレイヤーであってもリアルタイムストラテジーの代表作『StarCraft II』をクリアするのに必要な選択ステップの25～50倍が必要になります。それゆえ、同ゲームは世界最高難度のゲームのひとつと言われています。

NetHackを語るうえで忘れてならないのは、複雑かつ難解なゲームシステムであるにもかかわらず、グラフィックはアスキー文字のみによって表示できることです。グラフィックが簡素なのは、最初のバージョンが開発された1984年当時には現代のような高度なグラフィック技術がなかったためです。

NetHackにチャレンジする意義

NetHackチャレンジを発表した記事では、同ゲームをゲームプレイAIの新たな課題として選んだ理由として、以下のような3点を挙げています。

1. 最高難度のゲームに挑戦することで、新たな強化学習のアプローチの考案が期待できる：NetHackには、有名な強化学習技法のひとつであるモンテカルロ法が通用しません。ランダムかつ大量にゲームプレイした結果から確率的に最善手を絞り込むモンテカルロ法は、チェスのようなゲーム環境の変化が少ないゲームでは有効ですが、ランダム生成されるローグライクゲームでは役に立ちません。
2. 最高難度でありながら描画処理が軽いので、強化学習AIの課題としてうってつけである：NetHackによるAI学習は、Atariレトロゲームによるそれより15倍速く処理できます。
3. ルールベースAIとニューラルネットワークAIの性能比較ができる：ルールベースAIとは開発者が実装したルールにしたがって問題を解決するAIのことで、1970～1980年代の第二次AIブームでさかんに研究されました。NetHackをプレイするルールベースAIは多数開発されているため、今日さかんに研究されているニューラルネットワークAIと優劣を競えます。

NetHackチャレンジに参加する場合、参加者は昨年FacebookのAI研究所が発表したNetHack学習環境を使ってAIを開発します。開発するAIに使う技法に制限はなく、ニューラルネットワーク以外でも構いません（同コンペの詳細は公式ページを参照）。同コンペに提出したAIは、以下の3つの部門のうち参加可能なものに自動的に割り振られてランキングされます。

1. 総合部門：提出されたすべてのAIがエントリーされ、スコアを競う。
2. 非ニューラルネットワーク部門：ニューラルネットワークを使っていないAIがエントリーされ、スコアを競う。ルールベースAIは、この部門にエントリーされる。
3. アカデミック/インディペンデントチーム部門：ゲーム業界に属さない研究者あるいは開発者が作ったAIがエントリーされ、スコアを競う。

各部門の1位と2位には賞金が授与され、賞金額は各部門とも1位は3,000ドル（約33万円）、2位は2,000ドル（約22万円）である。

NeurIPS 2021でチャレンジできる他のゲーム

NeurIPS 2021では、NetHackチャレンジのほかにも23ものコンペが開催されます。それらのコンペはこちらの記事でまとめられており、その多くが「画像の類似性に関するチャレンジ」のような基礎的技術を課題としたものです。ゲームに関連したコンペはNetHackチャレンジのほかにもあり、以下ではそのようなコンペを2つほど紹介します。

偵察目隠しチェス（Reconnaissance Blind Chess：略称「RBC」）のコンペでは、AI研究のために考案された変則チェスをプレイするAIの優劣が競われます。RBCで使われる駒と動かし方は通常のチェスと同じですが、盤面が部分的にしか見えません。具体的には、プレイヤーは任意に選んだ3×3の領域しか盤面を見れません。つまり、通常のチェスが情報が完全に与えられる完全情報ゲームなのに対して、RBCは不完全情報ゲームとなります。RBCで勝利するためには、ゲームの局面に応じて偵察範囲を適切に選択することが求められるでしょう。

「AIドライビングオリンピック」とは、MITが開発した自動運転研究プラットフォーム「DUCKIE TOWN」を使って自動運転技術を競うコンペです。同プラットフォームは、ビニール製のアヒルを乗せた小型の自律型自動車模型を現実の市街地を模して作ったミニチュアのコースで走行させる、というものです（以上の画像を参照）。コンペでは車線に沿って走行するLane Following、道路にいるアヒルを避けるduckie-pedestrians、そして複数の自動車模型を制御するLane Following multibodyという3つの課題が用意されています。

以上のようにNeurIPS 2021では、NetHackチャレンジをはじめとしてさまざまなコンペが開催されます。こうしたコンペの成果から新たなAI技術が発明されるかも知れません。

Writer：吉本幸記、Image by Facebook AI Research