Nvidia 使用 Apple Vision Pro 来控制人文雄机器人

雅加达 - Nvidia 引入了一项新控制服务,允许开发人员参与涉及人体机器人的项目,这些机器人使用Apple Vision Pro进行控制和监控。

今天,开发自己的人形机器人正面临许多挑战。其中之一是控制这种高度技术化的设备。为了在这方面提供帮助,Nvidia提供了许多机器人模拟工具,包括一些有助于控制的工具。

这些工具由Nvidia为主要的机器人制造商和软件开发商提供。该套件的模型和平台旨在训练新一代的人形机器人。

此工具集合包括Nvidia称之为NIM微型服务的内容以及用于模拟和学习的框架。Nvidia OSMO编排服务还可用于处理多阶段机器人工作量,以及人工智能和模拟支持的远程操作工作流。

作为此工作流的一部分,Apple Vision Pro 等耳机和空间计算设备不仅可用于查看数据,还可用于控制硬件。

「人工智能的下一波是机器人,最引人注目的开发项目之一是人为机器人,”Nvidia首席执行官兼创始人Jensen Huang说。“我们开发了一堆NVIDIA机器人,为世界各地的人为开发人员和公司开放使用最合适的人工智能平台,加速图书馆和模型的机会。

NIM微型服务是使用Nvidia暗示软件的先建容器,旨在缩短实施时间。这两项微型服务旨在帮助开发人员在Nvidia Isaac SIM(参考应用程序)中为生成物理AI提供模拟工作流。

其中一项微型服务MimicGen NIM用于帮助用户使用Apple Vision Pro或其他空间计算设备控制硬件。该服务基于“记录的远程操作数据”,即将Apple Vision Pro的动作转化为机器人将要执行的动作,为机器人生成合成动作数据。

视频和图像显示,这不仅仅是基于耳机动作的相机移动。它表明,根据Apple Vision Pro传感器,手部动作和信号也被记录和使用。

因此,用户可以查看机器人的动作并直接控制手臂,全部使用Apple Vision Pro。

虽然像这样的人形机器人可以尝试精确地模仿动作,但像Nvidia这样的系统可以解释用户想要做什么。由于用户对机器人所持有的内容没有触觉反馈,因此直接模仿手部的动作可能太危险。

Siggraph上展示的其他远程手术工作流也允许开发人员创建大量的动作和感知数据。所有这些都是由少数人远程捕获的示威活动组成的。

对于这次演示,Apple Vision Pro被用来捕捉某人的手的动作。然后,使用MimicGen NIM和Nvidia Isaac Sim微型服务模拟录音,这些服务产生合成数据库。

然后,开发者可以使用真实数据和合成数据的组合来练习人体型Project Groot。该过程被认为有助于从一开始就降低创建数据所花费的成本和时间。

「人为机器人的开发非常复杂 - 需要大量的真实数据,从现实世界中难以抓住,”机器人平台制造商Furier首席执行官Alex Gu说。“Nvidia的生成AI开发工具和新的模拟将有助于加速我们模型开发的工作流程。

微型服务,以及对模型、OSMO受控机器人服务和其他框架的访问,都是在Nvidia人野机器人开发程序下提供的。该公司仅向软件开发人员、硬件或人体机器人制造商提供访问。