（前回からのつづき）DigitやReSkinのようなハードウェアをサポートするために、Facebook（訳注：旧社名・新社名はMeta）は今夏、Tactoと機械学習フレームワークPyTorchのライブラリであるPyTouchをオープンソース化した。Tactoは視覚ベースの触覚センサーのシミュレーターで、PyTouchは機械学習モデルとタッチセンサーの機能を集めたものだ。

Tactoは、毎秒数百フレームでタッチ測定値をレンダリングすることができ、FacebookのDigitを含むさまざまなセンサーをシミュレートするように設定できる。Calandra氏とLambeta氏が指摘するように、シミュレータはコストのかかる実験なしでテストができるため、ロボット工学のプロトタイピング、デバッグ、ベンチマークにおいて重要な役割を果たしてくれる。

「シミュレーションで高速な実験ができるという利点に加えて、適切なハードウェアの入手やタッチセンシングにおけるハードウェア表面の消耗を抑えるという課題があるため、タッチセンシングではシミュレーションがより重要になります」（Calandra氏とLambeta氏）。

PyTouchはタッチやスリップの検出、物体の姿勢の推定など、センサーとしての基本的な機能を備えている。今後は現実のセンサーやTactoと連携させ、モデルの検証や、シミュレーションで鍛えた概念を現実のアプリケーションに移す「Sim2Real」機能を実現していく予定だ。また、PyTouchはロボット工学の分野において、タッチセンシングに特化したモデルを「サービスとして」利用できるようにすることを想定している。研究者はセンサーを接続し、あらかじめ学習されたモデルをダウンロードして、アプリケーションの構成要素として利用することができる。

Calandra氏とLambeta氏はSim2Real転送について次のようにもコメントしていた。

「データセットの収集とモデルのトレーニングを迅速に行う方法として、シミュレーションでPyTouchモデルをトレーニングし、それを実際のセンサーに配置するためのSim2Real転送を研究しています。大量のデータを含む大規模なデータセットの収集は、シミュレーションでは数分でできますが、実際のセンサーでデータを収集するには、時間と人が物理的に対象物を調査する必要があります。最後に、実世界のデータからシミュレータをよりよくチューニングするために、Real2Simの手法を検討する予定です」。

ハードウェアの制限、特定のタスクに使用されるタッチ機能の理解不足、広く受け入れられているベンチマークテストの不在など、タッチセンサーには克服すべき障害が山ほどある。しかし、タッチセンサーの改良はたとえ少しずつでもAIを進化させ、研究者がより高度な機能を持ったロボットを作ることを可能にすると、Facebookは主張している。

そのための小さな一歩として、研究者が独自のデータセットを収集したりトレーニングしたりすることなくセンサーを利用できるようReSkinのデザイン、ドキュメント、コード、ベースモデルを公開した。Calandra氏とLambeta氏は来るべき未来についてこのようにコメントしている。

「AR/VRの可能性を引き出すだけでなく産業用、医療用、農業用ロボットの革新にもつながる技術です。私たちは、すべてのロボットにタッチセンサー機能が搭載されるような未来を目指しています」。

【via VentureBeat】 @VentureBeat

【原文】