【ICRA2024】大規模基盤モデルとロボットの連携による新たな可能性

ロボティクスの国際会議「ICRA2024」、横浜で開催

2024年 5月13日～17日の5日間にわたって、米国電気電子学会（IEEE）が主催する「International Conference on Robotics and Automation（ロボット工学とオートメーションに関する国際会議、略称：ICRA ）」がパシフィコ横浜で開催されました。日本でICRAが開催されたのは３回目、2009年の神戸での開催以来、15年ぶりです。

ICRA（読み方はアイクラ。イクラ派もいます）は、ロボット分野では影響力の大きいいわゆるトップカンファレンスの一つとして知られており、最先端のさまざまな研究が発表されます。今回の論文採択率は45％だったそうです。

現地参加費はIEEEのメンバーは 215,000円、メンバー以外は263,800円。1日参加費は80,000円。加えて、ワークショップ参加費は別途必要となります。円安とはいえ、かなりの金額です。最初見たとき、何かの間違いかと思って桁数を数えてしまいました。その結果でしょうか、日本での開催にもかかわらず、特にカンファレンス会場では海外勢の姿ばかりが目立ちました。

展示会場は大盛況

一方、展示会場では100を超える世界各国のロボット関連企業スポンサーのブースが立ち並び、下手な展示会よりも活況でした。特に目立ったのは中国勢を中心としたヒューマノイド（人型ロボット）の出展です。すごい盛り上がりで通路がまったく通れなくなっていたブースもありました。

通常の展示会ならば運営や向かいのブースから怒られるところですが、学会は基本的に運営ルールが全体的にゆるいのが一般的です。多くのロボットが入れ替わり立ち替わり通路をウロウロしており、非常に楽しい空間になっていました。

展示会場ではスポンサー展示だけではなく、「ICRA-EXPO」と呼ばれる日替わりの実物デモゾーン、ポスター発表、そして11を超えるロボット競技会も行われていました。ロボットは「動いてなんぼ」なので、これは当然と言えます。

また会場が横浜ということで、3月末に横浜でのイベントを終了したばかりの「動くガンダム」の頭部とハンドも展示されており、その前では海外からの参加者たちも思い思いに写真を撮っていました。

ロボットをより柔軟かつロバストに

さて、本題に入ります。いま、少なからぬ人たちがロボットに汎用性、すなわちこれまでにない理解力や環境適応力を持たせるために「大規模基盤モデル」が使えるのではないか、と考えています。単に「ChatGPTをコミュニケーションロボットに使って、色んなやりとりをさせよう」といった話だけではありません。大規模基盤モデルは大量のデータを、Transformerアーキテクチャーの大規模なニューラルネットワークに学習させることで、専門家たちも驚くほどの大きな成果を上げました。「言語の確率モデル」という範囲にとどまらず、言語を通してまるで世界の常識のようなものまで表現されているようです。

ロボットの世界とAIの世界との間には距離があると思っている読者もいらっしゃるかもしれませんが、たとえば、今は「ChatGPT」で世界的に知られるOpenAI社が、2018年ごろは強化学習を使ってロボットハンドでさまざまなものを扱うことができるようにする研究を行なっていました。ですが途中で行き詰まったのか、いったん大規模言語モデルの開発に舵を切って今に至っているという経緯があります。彼らが最近になって再びロボットに手を出しはじめているのは原点回帰と言えます。いったんロボットの難しさを知った上で戻ってきているわけで、成り行きが大いに注目されます。

では、どんなことが期待されているのでしょうか。手法は多少異なっていても目指すところはほぼ同じで、ロボットが自然言語による曖昧な指示の意図を理解し、プログラミングレスで未知環境でも自在に行動でき、未知の物体も適切に扱えるようにしようというものです。さらに、世界の物理的な振る舞いを反映する世界モデルと、さまざまなロボットにも転移学習させることが可能な大規模な行動データセットを整理して提供しよう、あれこれ頑張ればロボットがもっと賢くなるはずだという考え方です。

ロボットの動作の生成にも大規模基盤モデルが期待されています。いまや生成AIは動画も作れるようになりました。つまり、このエージェントは、こういう環境ではこう動くだろうということが、ある程度の範囲ならば辻褄を合わせたかたちで予測されて生成できるようになったことを意味しています。それと同じようなことが、さらにマルチモーダルかつ多様なデータを食わせれば、ロボットの動作生成においても可能なのではないか。そう考えられているわけです。つまりロボット動作基盤モデルの可能性です。

学習に必要なデータについては、実機からの収集に留まらず、人間による遠隔操作などで、ある程度集めた実データをもとに、シミュレーターを使って水増しして作ればいいという考え方もあります。動作データセットを作るためのロボットシステムなども考案されています。

LLMとの連携に向いたロボット

会場に出展されていたロボットにも機械学習の応用研究に適用できることをアピールしているものが多数ありました。たとえば早稲田大学発のスタートアップ・東京ロボティクスのToroboは「LLMとの連携に向いている」とCEOの坂本義弘氏は語りました。Toroboの特徴は全軸にトルクセンサがあり、インピーダンス制御によって柔らかく動かせる体を持っている点です。表面は硬いのですが、一般的なロボットが行なっている位置制御と違って対象にぶつかっても柔らかく制御できるのです。片腕を持って動かすと全身がふわっと動きますし、首をぐるぐると動かすこともできます。

ロボットがもっと役に立つ作業を行うためには必ず何かと接触しなければなりませんが、この接触が難しいのです。生成AIでロボットの動作が作れるようになったとしても、実環境と世界モデルのあいだには必ずギャップがあり、間違った場所にロボットがリーチすると、ロボットが壊れてしまう可能性もあります。そのときに体を柔らかく制御できるインピーダンス制御であれば環境になじむことができるので、ロボットは壊れません。だから今後のAIとの連携に向いている、というわけです。

なおToroboは人よりも少し大きなサイズですが、現在、もっと軽く高速化したモデルを開発中とのことです。なお同社は物流アプリケーションも展開しているので、そのデータも反映させていきたいと考えているということでした。これまで同社は国内のムーンショットプロジェクトなどにロボットを販売してきましたが、今後は海外のビッグテックにも売っていきたいと考えているそうです。

ICRA2024の会場では、他にもいかにもライバルっぽいロボットも出展されていました。今後の切磋琢磨が楽しみです。

AI研究者の見方とロボット研究者の見方

さて話を戻しますが、ここで一気にロボットの性能に革命が起きる可能性もなくはありません。多くの人が、そう期待しています。ただ一方で、AIの研究者たちとは違って、ロボットの研究者たちは必ずしも楽観はしていない…、そんな空気も感じました。

先程の話の繰り返しですが、シミュレーターでうまくいったからといって物理世界でうまくいくとは限りません。CGでそれっぽい動きを作ることはできても、実世界とは必ずズレがあります。重力や慣性、接触による摩擦やノイズのある環境では、シミュレーターのとおりには動きません。

ロボット研究者たちはこれまでも、こういった物理的な問題にずっと苦しんできました。そのため、単にあれこれ思い描くだけではなく、物理的な動作を伴うロボットの制御に関しては「そんなに簡単ではないだろう」と思っているようです。ですがそれでも、今度こそは革命的なことが起こるのではないかと多くの人が期待している。そんな状況です。

ロボットに汎用性が必要とされている理由

汎用性がなぜそこまで必要なのでしょうか。単純に言えば、世界が複雑だからです。ロボット適用を目指す領域はさまざまです。ロボットにはアカデミアの他、産業用ロボットの世界とサービスロボットの世界があって、それぞれ評価基準が大きく異なりますが、いずれの領域においても、ロボットが柔軟かつロバストな存在になることが求められています。

産業用の世界では基本的には決まりきった動きをするわけですが、いまだにロボットが苦手な作業対象があります。また、最近は「変種変量」生産に対応する必要があり、そのためにいちいち再プログラミングするのは現実的に困難であるため、自動化しきれない部分が残っています。

人に対してサービスを提供することもあるサービスロボットの世界での適応能力の必要性は言うまでもありません。ロボットのセンサーの機能や移動経路計画のスキルはだいぶ向上してきましたが、工場や倉庫と違って、きれいに整理整頓されていない場所でロボットを動かして作業させることは今もとても困難です。また、接する人もさまざまです。

「掃除だけ」とか、「物をAからBへ運ぶだけ」といった作業にとどまらず、サービス領域でロボットがさらに活躍できるようにするためには、ある程度の汎用性が必要です。

モデルは不完全だと考える深層予測学習のパワー

しばらく前から深層予測学習を提案しているのが日立製作所と早稲田大学理工学術院の尾形哲也教授らです。ロボットは学習内容から未来の状況を予測しながら行動することで、未知の環境に適応します。ICRA 2024ではドアを開けて通ったり、洗濯物を取り込むといったデモを披露していました。

デモだけ見れば「なんだそんなことか」と思うでしょう。何が難しいのでしょうか。ドアにはいろんな種類があり、開け方が違います。洗濯物は毎回かたちが異なり、常にふらふらと変形しています。つまり「どこをどう見るべきか、どこをつまんでどんな力をかければいいか」は、毎回異なるのです。それを自律でやらせようという試みです。

深層予測学習では、事前にすべての状態に対応する予測モデルを作ることは不可能だと考えて、最初から「モデルは不完全だ」と考えます。そして現在の状況とモデル予測誤差を最小化しようとするアルゴリズムを採用しました。学習には、ロボットの片目からの入力画像と、間接角、手先の触覚のデータが全て使われています。いわゆるマルチモーダル学習です。

ネットワークはロボットがどこを見ているかを示す注意機構を予測学習の枠組みで学習させることができます。どういうことかというと、全体としてはロボットのセンサー値が予測結果として出力されるのですが、「タスク成功のためにはどこを見るべきか」という情報は、学習の過程で自動的に学習されるのです。

ロボットは誤差を最小化するために動作を調整し続け、不定形な物体に対しても重要な部分だけ見ることになります。教示データはデモンストレーションデータだけです。まさにEnd-to-Endで、いちいちつかむべき場所などを教える必要はありません。この考え方により、照明条件などが変動するなかでもロバストにタスクを成功させられるようになったそうです。もっとも、会場のデモでもうまくいったり行かなかったりでしたが、今後に期待したいところです。

向かいのブースではJSTムーンショット目標３で進められているAIRECという汎用ロボットを目指す研究のデモとして、台拭きや卵料理も行われていました。

将来は人と一緒に料理するロボットも？

オムロンが2018年に設立した研究子会社・オムロンサイニックエックスからは、今回のICRA2024に６件の論文が採択されたというリリースが出ていました。「人と機械の融和」を目指す彼らが掲げている技術テーマの一つが、AIとロボティクスの活用です。

具体例の一つとしては、調理の手順やコツを人間から学べるロボットの開発等を進めています。たとえばレシピサイトを見ると、色々な食材の写真や調理手順が掲載されていますが、そのような調理レシピを画像から自動生成し、ロボットが実行可能なかたちに変換する仕組み（タスクプランニング）などを研究開発しています。将来は人と一緒にロボットが調理をしてくれる世界を目指すものです。より一般的には「現状を認識しながら人の指示に従えるロボット」ということになります。

今回発表された「ViLaIn（Vision-Language Interpreter for Robot Task Planning）」というフレームワークは、大規模言語モデルと従来の記号的プランナーをつなぐためのものです。大規模言語モデルは言語による指示をロボットのプランに変換することが可能です。ただし、ロボットが実行可能な出力を出してくれるとは限りません。そこで、論理的に正しいプランを得るために古典的プランニングと大規模言語モデル、それぞれの長所を組み合わせようという考え方です。

大規模言語モデルと視覚言語モデルを使って、言語指示とシーン観察から従来型のプランナー向けの問題の記述を生成します。問題は「PDDL（Planning Domain Definition Launguage）」という形式で記述されます。次に生成された記述に基づいて有効なプランを見つけるために記号プランナーを走らせます。評価指標を考案し、実験を行った結果、99％以上の精度で正しい問題を生成し、58%以上の精度で有効な計画を生成できたとのことです。

他にも、柔らかい体を持つロボットを深層強化学習で制御する研究などを行なっています。ロボット業界では古典的なペグインホールという「穴にものを入れる」タスクがあるのですが、それをフニャフニャの手首のロボットと、ロボット自身のセンサーのみを使って記憶ベースのエージェントを学習させたところ、うまくできるようになったとのことです。

こういった研究が実用へと繋がるかは分かりませんが、今回、ICRAに６本の論文が通過していることからも、オムロンサイニックエックスが今の世界的研究トレンドにのっとった研究を行っていることは確かなようです。

汎用サービスロボットへの長い道のり

筆者が参加したフォーラムのテーマは「Foundation Models and Architectures for Service Robots in the Future Home（未来の家のサービスロボットのための基盤モデルとアーキテクチャ）」でした。GPSR（General Purpose Service Robot）と言われる汎用サービスロボットや家庭用サービスロボットを開発するための試みと、汎用ロボットを目指す競技会の一つ「ロボカップ@ホーム」への最近の技術的影響が議論されました。

コンピュータビジョンの進歩やディープラーニングによって、ロボットによる物体検出や人物追跡、話者認識などは大幅に楽になっています。ですが機械学習は必ずしも万能ではありません。基本的に大きなデータセットが必要だからです。そのデータ量を減らす手法が必要とされています。オーストラリア・ニューサウスウェールズ大学教授の Claude Sammut氏は、そのための方法として、強化学習を行う前に、その制約条件を得るための定性的なモデルの獲得が必要だと述べました。

オックスフォード大学教授のLars Kunze氏は「ロボットを説明可能、安全、信頼できるものにする」と題して講演しました。ロボットが実際のオフィスや家庭に入るためには、ロボット自体が何を知っているのかを外に説明する必要があります。フランス・ブレスト国立工科大学教授のCédric Buche氏は最初にデータプライバシーの問題について強調しました。

パネルディスカッションではサービスロボットが家庭に普及しない理由、そもそもどんなサービスが期待されているのか、規制の課題など、色々なテーマに関する議論が行われました。会場からは例えば「家庭用にロボットを開発することを想定した場合、特定のタスクをいくつか選んでフォーカスしたほうがいいのか、あるいはもっと漠然とした用途に対応したり会話の相手をしてあげるロボットを開発したほうがいいのか、どちらのほうがメリットがあると思うか？」といった質問が寄せられました。これは技術の話だけではありませんので、なかなか正解は出ない問題ですが、「人間と直接比較されるようなタスクをロボットにやらせることは得策ではないだろう」という話が出ていました。

基盤モデルの活用についても議題に上がりました。パネリストの一人だった慶應義塾大学教授の杉浦孔明氏は「対話における自然言語処理や状況認識など多くの課題が今はLLMひとつでカバーできるようになり、サービスロボットの開発は以前より明らかに簡単になった」とコメントしました。

実際に会場でも行われていたのですが、確かに、最初の指示を理解するタスク、いわゆる自然言語処理タスクや、状況そのものの理解に関しては、以前よりも大幅に楽になったようです。でもロボット競技大会では、今でも出場者たちはさまざまなオブジェクトの大きさを巻尺で測ったりしています。以前より楽にはなったとは言っても、いわゆるゼロショットで何でもできる汎用ロボットへの道は、まだ遠いのです。「常識」を提供する世界モデルや、さまざまなロボットに適用可能な汎用的なスキルセットのようなものが必要です。

また先程のオムロンサイニックエックスのところでも出た話ですが、従来の形式的手法と大規模言語モデルの間の対応関係を見つけて利用することが重要だ、という話も出ました。このあたりが妥当な意見なのでしょう。

脳型情報処理の研究者であり、Hibikino-Musashiというチームで「ロボカップ＠ホーム」の常連である九州工業大学教授の田向権氏は、環境における記憶のモデリングを使った処理や、小さなニューラルネットワークモデルで時系列データを扱って、ロボカップの課題を解く研究について紹介しました。ロボカップの課題とは、たとえば朝食の配膳準備をしたり、未知のレストランでサーブをするといったものです。行動プランナーには大規模言語モデルを使っているのですが、今でもこれらはとても難しい課題だと田向氏は語りました。今はまだ「大規模基盤モデルを使えば全部終了」というわけにはいきそうにありません。ですが挑戦は続きます。

急接近するロボットとAIの未来は

歴史を振り返ると、もともとロボットと人工知能は、互いに両輪のように発展してきた分野です。しかし両者のあいだはいつしか大きな距離ができていたことも、また事実です。ですがここに来て両者が急激に接近しようとしてる気配があります。

モデル学習のために実世界のマルチモーダル・データを収集するためにはロボットが必要ですし、実世界に物理的に直接影響を与えようと思ったらロボットを使うのがもっとも単純です。ロボットのほうも、今まではずっと人間により制御されてきましたが、今後は本当に自らのセンシングによる知覚、完全自律での判断と知覚情報の変換、そしてアクションを行えるようになるのかもしれません。

大規模言語モデルが急にブレイクして一般の人でもわかるくらい進展したように、ロボットが自在に動かせるようになったら、大きな変化が社会にもたらされる可能性があります。どれだけうまくいくのか現状では不透明ですが期待したいと思っています。

Writer：森山和道