Nvidia utilise Apple Vision Pro pour contrôler des robots humanistes

Nvidia travaille sur un projet d’autobus robot, qui est contrôlé et surveillé à l’aide d’Apple Vision Pro. (photo: x @NVIDIARobotics)

JAKARTA - Nvidia a introduit un nouveau service de commande qui permet aux développeurs de travailler sur des projets impliquant des robots emballés, qui sont contrôlés et surveillés à l’aide d’Apple Vision Pro.

Le développement de son propre robot ambiguïté est aujourd’hui confronté à de nombreux défis. L’un d’eux est le contrôle de cet appareil hautement technique. Pour aider dans ce domaine, Nvidia a fourni un certain nombre d’outils pour les simulations robotiques, y compris certains qui aident dans le contrôle.

Ces outils sont fournis par Nvidia pour les principaux fabricants de robots et développeurs de logiciels. La suite de modèles et de plate-forme vise à former une nouvelle génération de robots labyrinth.

Cette collection d’outils comprend ce que Nvidia appelle un service micro NIM et un cadre de travail destiné à la simulation et à l’apprentissage. Il existe également un service d’orchestrection Nvidia OSMO pour gérer les charges de travail robotiques à plusieurs étapes, ainsi que le flux de travail téléopéraire alimenté par l’IA et la simulation.

Dans le cadre de ce flux de travail, les casques et les appareils de comptage spatial tels que l’Apple Vision Pro peuvent être utilisés non seulement pour voir les données, mais aussi pour le contrôle du matériel.

« La prochaine vague d’IA est la robotique et l’un des développements les plus intéressants est le robot obidane », a déclaré Jensen Huang, PDG et cofondateur de Nvidia. « Nous développons tous les piles de robots de NVIDIA, en ouvrant l’accès aux développeurs et aux entreprises obidane du monde entier pour utiliser les plateformes, les bibliothèques d’accélération et les modèles d’IA qui répondent le mieux à leurs besoins. »

Le service micro NIM est un conteneur pré-construit qui utilise le logiciel de référence Nvidia, qui est destiné à réduire le temps d’application. Deux de ces micro-services sont conçus pour aider les développeurs avec des flux de travail simulés pour des AI physiques génératifs dans le Nvidia Isaac SIM, une application de référence.

L’un de ces micro-services, Mimic Gen NIM, est utilisé pour aider les utilisateurs à contrôler le matériel à l’aide d’Apple Vision Pro, ou d’autres appareils de calcul spatial. Le service produit des données de mouvement synthétique pour le robot sur la base de « données téléopérationnelles enregistrées », qui traduit les mouvements d’Apple Vision Pro en mouvement qui feront le robot.

Les vidéos et les images montrent qu’il s’agit de plus que de déplacer l’appareil photo basé sur le mouvement de l’écoute. Il a également été montré que les mouvements des mains et des signaux sont également enregistrés et utilisés, sur la base du capteur Apple Vision Pro.

Ainsi, les utilisateurs peuvent voir les mouvements du robot et contrôler directement les mains et les bras, tous à l’aide d’Apple Vision Pro.

Bien qu’un tel robot royalid puisse essayer d’imiter le mouvement de manière appropriée, des systèmes comme celui de Nvidia peuvent interpréter ce que les utilisateurs veulent faire. Étant donné que les utilisateurs n’ont pas de commentaires tactiques sur ce que le robot tient, cela peut être trop dangereux d’imiter le mouvement de la main directement.

Un autre flux de travail téléopéraire démontré sur Siggraph permet également aux développeurs de créer de grandes quantités de données sur le mouvement et de perception. Tous sont fabriqués à partir d’un petit nombre de manifestations capturées à distance par les humains.

Pour cette manifestation, l’Apple Vision Pro a été utilisé pour capturer le mouvement des mains d’une personne. Ce mouvement a ensuite été utilisé pour simuler des enregistrements utilisant les micro-services Mimic Gen NIM et Nvidia Isaac Sim, qui génèrent des ensemble de données synthétiques.

Les développeurs peuvent ensuite former le modèle ambiguïté du projet tactile avec une combinaison de données réelles et synthétiques. Ce processus est considéré comme contribuant à réduire les coûts et le temps consacré à créer des données dès le début.

« Le développement de robots satellites est très complexe - nécessite une énorme quantité de données réelles, qui est capturée avec beaucoup de dur dans le monde réel », a déclaré Alex Gu, le PDG de la plate-forme de robots de Fourier. « Les nouveaux outils génératifs de développement d’IA et de simulations de Nvidia aideront à accélérer le processus de développement de nos modèles. »

Les micro-service, ainsi que l’accès aux modèles, aux services de robots gérés par l’OMS et à d’autres cadres de travail, sont tous offerts dans le cadre du programme de développement de robots Humanoid Nvidia. L’accès n’est accordé par l’entreprise que aux développeurs de logiciels, de matériel ou aux fabricants de robots empressés.