繰り返しこそが最も効率的な学習法、AIネイティブ世代が「迷キュー」で学んだ強化学習

2024.4.17モリカトロン

2024年2月25日に、モリカトロンはtsukurunが主催する小学4年生以上を対象にしたワークショップ「AIとあそぼう、AIを学ぼう」にゲスト講師として参加しました。

tsukurunはデジタルクリエイティブに特化した若者人材育成拠点として、2022年3月に前橋駅前にオープンしました。群馬県在住の小学生から高校生までを対象に、無料で3DCGやアニメーション、VRの制作、Unityなどゲーム開発に必要なソフトウェアなどの使い方を学べる講座や制作物を発表できるイベントを多数開催しています。

子どもたち自身が楽しく学ぶことを大切にしつつ、未経験からでも無理なくステップアップできるように、ツクルン・クリエイティブクエストという制度も設けられています。好みのコースのクエストを順にクリアしながら参加している子どもたちのスキルが中級レベルになり、ゆくゆくは一人でもデジタルイラストや3DCG、ゲームなどを制作できるようにプログラムされています。

遊びから学び、また次の遊びが創造される

最初に登壇した森川氏がスライドを表示しつつ「この自分のプロフィールはAIに書いてもらいました」と語り始めると、すかさず「ChatGPTを使ったんですか？」と児童の1人が尋ねます。実際にこちらのプロフィールはChatGPTを使用し、さらに「小学生の書いた文章のように書いて」と指示をして作ったとのこと。この後も講座が進行していくと、子ども達から多くの質問やコメントが飛んでくるのですが、彼ら彼女らの多くがニュースなどでAIに関する情報を日常的に得ているようでした。そうした様子からもtsukurunで学ぶ子ども達の積極性や好奇心の高さがうかがえました。

次に、講師をモリカトロンの吉田直樹氏にバトンタッチをし、子どもたちはすでに各テーブルに配布されているtoioを使用して、人間とAIが迷路バトルで知恵比べをする『AIロボ「迷キュー」に挑戦』（以降、迷キュー）というゲームを体験しました。

迷キューは、遊びながら機械学習や強化学習の仕組みを理解できるように作られています。プレイヤーは自分の場所を示すコマとなるキューブを操作し、AIを実装して自らマスとマスの間を移動するtoioのキューブとともに、決められたルートに沿った迷路バトルでどちらが先にゴールできるかを競いながらAIの仕組みを学びます。

スタート地点は、マットの中央にあるマスです。デスクに広げてあるマットに対応したマップが表示されているPC画面には、そのステージごとに決められた旗のある場所が示されており、そこがゴールに設定されています。つまり、スタートから旗のあるマスに向けて1ターンごとにプレイヤーとtoioがキューブを進めて先に着いた方が勝利となるのですが、各ステージごとに決められた色の順番にキューブを進めなければならないというルールもあります。例えば、吉田氏の解説で示されたのは、「緑→白→緑→白→青（旗のあるゴール）」となっています。指定された色に沿ってさえいれば、どのルートで進んでも正解なので、答えは一つとは限りません。また一度進めたキューブを後退させることはできません。

迷キューの体験が始まると、最初はひとつひとつルールを確認するように慎重に遊んでいる児童が多く見られましたが、だんだん慣れていくと、同じテーブルの生徒同士ではしゃぎながら、どうやったら勝てるか、ゲームとしてどう楽しむかに関心が向いて没入していくように見えました。また、ゲームが進むにつれて難易度が上がり、なかなか勝てなくなってくると、toioをひっくり返したりtoioの上に自分のキューブを置いてみたり、マットの外に置いて見たりと、既存のルールの外からAIに勝つ方法を考えたり、物理的に干渉してAIの反応を見ながら遊ぶ児童も何人か見られました。

そうした遊び方は本来の遊び方ではないものの、今回のワークショップではそうした行動をルール違反だと言って強くとがめることはしませんでした。ゲームを通して制作者が意図した通りに学習をすることはもちろん大切ですが、決められたフレームの外からゲームを見て試行錯誤をしながら、彼らにとって面白い遊びを考えることもまた、子どもたちの創造性を育む上では大切なことなのではないでしょうか。

報酬を与え、繰り返し学習させる

時間が来ると、司会者から体験のパートを終わらせるアナウンスがありました。再び吉田氏が登壇をし、強化学習の仕組みについて解説を始めます。まずAIと人間の共通点と違いについてです。toioのAIは人間と同じように、道順と地図、ゴールの位置を見ていました。つまりゲーム内の観測の対象に限定すれば人間とAIに差はありません。しかし知識については差があります、というのもAIは体験の前に児童たちに説明をしたようなゲームのルールや勝利条件を初期状態では知らされていないからです。

ゲームのルールを知らないAIは学習し始めた段階ではボードの上を適当に動くしかありませんが、その時に活用するのが「報酬」です。まず人間がAIを開発する際には、AIが何をしたら報酬を与えるかを決めなければなりません。迷キューであればゴールをしたら点を与え、そうでなければゼロ点とします。そのように設定することで、最初はランダムに動いていた迷キューは試行錯誤をしながら、より高い頻度で報酬を得られる行動ができるように訓練されていきます。以上の内容を解説した後、児童は隣室のPCルームに移動して1人1台のパソコンに向かい、AIの強化学習を体験しました。

メニューの中にある「キミだけのAIを育てよう」を選ぶと、AIを賢くさせるプロセスを体験できます。今回のワークショップでは、800回もしくは3200回の試行錯誤をAIにさせて、その成長度合いを見ていきました。回数は異なりますが、実際に児童が見ている画面はこちらの動画と同じものです。

基本的には800回よりも3200回と、高速での強化学習の回数が多くなるほど正解率が高くなりますが、今回も1件見られたように稀に正解率が途中からまったく上がらなくなるケースがあります。これは「踊り場」と呼ばれ、人間で言う所のスランプにあたるとのことです。そこからいつ脱するのかの予測は難しく、いったん学習を止めて設定し直す方が早いこともある一方で、そのまま学習させて自力で克服させた方がいい場合もあるので判断が難しいとのことでした。

さて、強化学習の体験が終わった後、参加した児童たちの感想を聞いてみたところ「AIもたくさん勉強が必要なんだね」という声が聞かれました。AIとはいえ最初から万能なわけではなく、ふだん自分たちが問題集やドリルなどで行う反復学習と似たプロセスを、人間には真似ができないほど高速かつ大量に行うことで、ようやく人間に匹敵する能力を得られると実感できたのではないでしょうか。

迷キューの技術の延長線上にあるゲームAI

最後に森川氏が生成AIを使ったクイズを出題しつつ、AIの最新の動向について解説しました。クイズは2枚ずつ絵や写真を提示して、どちらが人間が制作したものでどちらがAIによって生成されたかを当てるというものです。全部で8問ありましたが、いくつかご紹介します。

こちらは4問目で、モリカトロンの印のついている左側がAIによって生成された絵です。どちらがAIが描いたと思うかを挙手させたところ、そこそこ意見が分かれましたが、左側を選んだ児童の何人かに根拠を尋ねたところ、線路に立つ人物のシルエットが不自然であること、煙突から出ている煙が不自然だと思うとコメントしていました。

5問目となるこちらは、切り絵の比較です。正解は右側ですが、こちらを選んだ児童の一人は、予測される光源の位置と影の位置の不自然さを指摘しました。鋭い！

7問目は、ゲーム内で使用するグラフィックの素材です。こちらはかなり児童たちの選択が分かれましたし、正直なところ私も絵を見ただけでは、どちらがAIによって生成されたものかを明確な根拠とともに当てられる自信がありません。こうした生成AIによるゲーム内のアセットやコンセプトアートなどの制作はすでに実用の段階にあり、2023年の時点でその市場の拡大が予想されていました。

クイズが終わると森川氏は今後のAIの動向に関して、「君たちが大きくなった頃には家電や日用品の中にも進化したAIが組み込まれているはずです。使っている人の状態を察しながら、例えばエアコンであれば人が風邪を引かないように温度をコントロールするなど使っている人たちの状況や心情を察しながら、適切に判断するのがAIの役割になっていきます」と語ります。

また、ゲーム開発で活用されているAIの事例もいくつか紹介しました。例えば、今回児童たちが体験した迷キューと同じ仕組みがナビゲーションAIやパス検索と呼ばれるゲームAIで使われています。

複雑な3Dマップであっても、どのルートで行くと操作しているキャラクターや敵キャラなどのNPCが目的地にたどり着いたり、攻撃などの行動できるかを自動的に検索する技術がパス検索です。こうした技術のバックでも大量の学習をすでに行ったAIが使われています。ゲームAIが進歩する以前は、そうしたルートはすべて人間の開発者たちが設定する必要がありましたが、現在はそれをAIに任せることができます。

【参考記事】【GDC2021】『DEATH STRANDING』のNPCがプレイヤーを追跡する仕組み

強化学習の事例として、モリカトロンで開発を進めている、対戦型格闘ゲームでプレイヤーの実力に合わせたプレイをしてくれるエージェントを育成するプロセスを紹介しました。

この赤と白二体のエージェントは、迷キューの「キミだけのAIを育てよう」で行った強化学習と同じように、人間が教師データを与えずAI同士が対戦しながらより勝利しやすい戦い方を学んでいきます。そうすることで、人間が一つひとつプログラムを書かずともAI同士が切磋琢磨しながらより良い方法を見つけ出すことができます。さらにここでは、ただ強いだけではなく、プレイヤーの腕前に合わせて適度に手加減をしてくれるエージェントを育成しています。

生成AIを活用したゲームの事例としては、株式会社ヒストリアが開発した技術デモ『名探偵モカと密室脱出』を紹介しました。これはゲームコントローラーではなく、音声でキャラクターをコントロールして遊ぶゲームです。従来のアドベンチャーゲームであればコマンドを選択して進めていましたが、音声認識と生成AIを導入したことで、キャラクターとお話をしながら一緒に冒険をしたり謎を解いたりできるようになりました。

最後に森川氏は、2月15日にOpenAI社が公開した動画生成モデルSoraを紹介しました。これはまだ一般には公開されていませんが、文章を入れるだけで高精度な動画を生成できます。

森川氏は、このニュースに触れながら、「今までは絵を描くことと文章を書くことはまったく別の才能でしたが、このようなAIの進歩によって片方ができればもう片方もできるようになりました。皆さんはこれから、人間とAIが協力しあって物を作る時代を生きることになるので、とても羨ましいと思います」と結び、今回のワークショップを結びました。

Editor：高橋ミレイ