NvidiaはApple Vision Proを使ってヒューマノイドロボットを制御する

Nvidiaは、Apple Vision Proを使用して制御および監視されるヒューマノイドロボットプロジェクトに取り組んでいます。(写真:x @NVIDIARobotics)

Nvidiaは、開発者がApple Vision Proを使用して制御および監視されるヒューマノイドロボットを含むプロジェクトに取り組むことを可能にする新しい制御サービスを導入しました。

ヒューマノイドロボットの開発自体は現在、多くの課題に直面しています。そのうちの1つは、この非常に技術的なデバイスを制御することです。この分野を支援するために、Nvidiaはロボットシミュレーション用の多くのツールを提供しており、その中には制御に役立つものもあります。

これらのツールは、Nvidiaが大手ロボットメーカーやソフトウェア開発者に提供しています。このスイートモデルとプラットフォームは、ヒューマノイドロボットの新世代を訓練することを目的としています。

ツールコレクションには、NvidiaがNIMマイクロサービスと呼ぶものと、シミュレーションと学習を目的としたフレームワークが含まれています。また、多段階ロボットワークロードを処理するためのNvidia OSMOオーケストレーションサービスや、AIとシミュレーションでサポートされている遠隔操作ワークフローもあります。

このワークフローの一環として、ヘッドセットやApple Vision Proなどの空間コンピューティングデバイスは、データの表示だけでなく、ハードウェアの制御にも使用できます。

「AIの次の波はロボット工学であり、最もエキサイティングな開発の1つはヒューマノイドロボットです」とNvidiaのCEO兼創設者であるJessen Huang氏は述べています。「私たちはNVIDIAロボット工学の山全体を開発し、世界中のヒューマノイド開発者や企業が、ニーズに最も適したプラットフォーム、アクセラレーションライブラリ、AIモデルを使用するためのオープンアクセスを開発しました。

NIM マイクロサービスは、実装時間を短縮することを目的とした Nvidia の参考ソフトウェアを使用する事前構築コンテナです。これらの2つのマイクロサービスは、参考アプリケーションであるNvidia Isaac SIMの生成物理AIのシミュレーションワークフローを開発者に支援するように設計されています。

これらのマイクロサービスの1つであるMimicGen NIMは、Apple Vision Proまたは他の空間コンピューティングデバイスを使用して、ユーザーがハードウェアを制御するのに役立ちます。このサービスは、Apple Vision Proからの動きをロボットが行う動きに変換する「記録された遠隔操作データ」に基づいて、ロボットの合成動きデータを生成します。

ビデオや画像は、ヘッドセットの動きに基づいてカメラを動かすだけのものではないことを示しています。Apple Vision Proのセンサーによると、手の動きやジェスチャーも記録され、使用されていることが示されています。

したがって、ユーザーはロボットの動きを表示し、Apple Vision Proを使用して手と腕を直接制御できます。

このようなヒューマノイドロボットは動きを正確に模しようとすることができますが、Nvidiaのようなシステムはユーザーが何をしたいかを解釈することができます。ユーザーはロボットが持っているものに対する戦術的なフィードバックを持っていないため、手の動きを直接模するには危険すぎる可能性があります。

Siggraphで実証された他の遠隔手術ワークフローでは、開発者が大量の動きと知覚のデータを作成することもできます。すべては、人間によって遠隔でキャプチャされた少数のデモンストレーションから行われます。

このデモンストレーションでは、Apple Vision Proが人の手の動きをキャプチャするために使用されました。この動きは、合成データセットを生成するMimicGen NIMおよびNvidia Isaac Simマイクロサービスを使用して映像をシミュレートするために使用されます。

開発者は、実際のデータと合成データの組み合わせでヒューマノイドプロジェクトグルートモデルをトレーニングすることができます。このプロセスは、最初にデータを作成するのに費やすコストと時間を削減するのに役立つと考えられています。

「ヒューマノイドロボットの開発は非常に複雑であり、現実世界から困難に回収される膨大な量の実際のデータを必要とします」と、ロボットプラットフォームメーカーのFourierのCEO、Alex Guは述べています。「Nvidiaの新しい生成AI開発ツールとシミュレーションは、当社のモデル開発のワークフローを加速するのに役立ちます。

マイクロサービス、およびモデルへのアクセス、OSMOが管理するロボットサービス、およびその他のフレームワークはすべて、Nvidiaの人間ロボット開発者プログラムの下で提供されています。アクセスは、ソフトウェア開発者、ハードウェア、またはヒューマノイドロボットメーカーにのみ提供されます。