企業がコストと精度の問題からジェネレーティブ AI の導入に二の足を踏んでいるとの報告がある一方、ロボット工学の世界では明確に AI の時代が始まりつつある。

本日（3月13日）、ChatGPT のメーカーであり新たな投資家かつパートナーの OpenAI との最初のコラボレーションをあるスタートアップが披露した。Boston Dynamics、Tesla、Google DeepMind、Archer Aviation の元社員が2年足らず前に設立した時価総額26億米ドルのロボット工学スタートアップ Figure がそれだ。そしてそれは紛れもなく印象的なものだった。

Figure の共同創業者兼 CEO の Brett Adcock 氏がソーシャルプラットフォーム X のアカウントに投稿したデモ動画では、Figure の等身大ヒューマノイドロボットである Figure 01（「フィギュアワン」と発音）が、近くにいる人間や環境とやり取りする能力を披露しており、人間の指示に従ってものを見つけて手渡したり（この場合はリンゴ）、自分のしていることを説明したり、人間と会話したり（典型的な人間同士の会話に比べて反応が少し遅いが）、役立つタスクを自分で特定して計画し実行したり（この場合はゴミを拾って皿を水切りラックに入れること）している。

OpenAI + Figure

conversations with humans, on end-to-end neural networks:

→ OpenAI is providing visual reasoning & language understanding
→ Figure’s neural networks are delivering fast, low level, dexterous robot actions

(thread below)pic.twitter.com/trOV2xBoax

— Brett Adcock (@adcock_brett) March 13, 2024

SF 映画のワンシーンのように、動画は人間が「ねえ、Figure 01、今何が見える？」と尋ねるところから始まる。ロボットは「テーブルの中央にある皿の上に赤いリンゴが見えます。カップと皿が入った水切りラックと、テーブルに手をついて立っているあなたが見えます」と答える。

「素晴らしい。何か食べられるものをもらえますか？」と人間が尋ねる。

「もちろんです」と Figure 01は言い、慎重にリンゴに手を伸ばし、つかんで人間に手渡す。人間が特に指定しなくても、目の前にある物の中で食べられるのはリンゴだけだと理解しているのだ。

動画ではさらに、Figure 01がゴミを拾ったり、皿とカップを水切りラックにしまったりする様子が映っている。

新しいモデルの登場？OpenAI VLM

Adcock 氏は X のスレッドに投稿し、「Figure の搭載カメラは、OpenAI がトレーニングした大規模なビジョン言語モデル（VLM）に入力される」と述べたが、これが ChatGPT の有料版（Plus）を動かす OpenAI の主力 LLM である GPT-4のバージョン（GPT-4V など）なのか、既存のモデルをファインチューニングしたものなのか、それとも全く新しいモデルなのかは不明だ。このコラボレーションとデモについて詳しく聞くために OpenAI に問い合わせており、回答があり次第アップデートする。

Adcock 氏はまた、印象的な宣言の中で、「この動画はエンドツーエンドのニューラルネットワークを示しています。テレオペはありません。また、この動画は1.0倍速で撮影され、連続して撮影されました」とも指摘している。つまり、これまでのヒューマノイドロボットのデモ動画のように、動きをより滑らかに見せるために速度を上げたりしていないし、舞台裏でロボットの動きを人間がリモートコントロールしている部分もないということだ。

ここからの Figure の行方

Figure のデモ動画は、ヒューマノイドの汎用ロボットとのやりとりにおいて、大きな飛躍を遂げたように見える。ロボットが人間とかなり自然にやりとりし、人間に従い、人間が何を求めているかを直感的に理解し、他社や研究者による多くの先行例よりもはるかにスムーズに行動しているのだ。

しかし、もちろんそれはあくまでもデモであり、しかもプロトタイプのデモだ。このようなロボットを商用展開の準備が整った状態にし、企業や個人に販売するには、さらに大きな作業が必要となるだろう。しかし Adcock 氏は、今日の X でのスレッドを含めて、「我々の目標は、10億台規模のヒューマノイドロボットを操作するための世界モデルを訓練することだ」と公言している。

そして Figure のウェブサイトでは、Adcock 氏の一人称による「マスタープラン」で、「Figure の目標は、人類にポジティブな影響を与え、将来の世代のためによりよい生活を作り出す、汎用ヒューマノイドを開発すること。これらのロボットは、安全でない望ましくない仕事をなくし、究極的には我々がより幸せで目的のある生活を送ることを可能にします」と述べている。

しかし Adcock 氏は続けてこう言う。

「我々の企業の旅は数十年かかり、ミッションに専念するチャンピオンチーム、数十億ドルの投資、そして市場に大きな影響を与えるためのエンジニアリングの革新を必要とします。我々は高いリスクと極めて低い成功の可能性に直面しています」。

また、「我々は、軍事や防衛の用途、あるいは人間に危害を加えることを必要とするいかなる役割にも、ヒューマノイドを配置しません」と誓っている。

今日、Adcock 氏と Figure が OpenAI の力を借りて示した進歩は、Tesla の Optimus プロジェクトや、Amazon とフルフィルメントの役割で協力しているヒューマノイド・ロボティクス・スタートアップの Agility など、ヒューマノイド・ロボティクス分野のライバル企業にとって、より大きなプレッシャーとなるだろう。また、Hugging Face（元 Tesla の Optimus 科学者を雇って新たにオープンソースのロボティクス・プロジェクトを率いさせることを発表した）など、より多くの企業がこの分野に参入してきており、昨日には Physical Intelligence というスタートアップの発表もあった。

【via VentureBeat】 @VentureBeat

【原文】