Nvidia Menggunakan Apple Vision Pro untuk Mengendalikan Robot Humanoid

JAKARTA - Nvidia telah memperkenalkan layanan kontrol baru yang memungkinkan pengembang untuk mengerjakan proyek yang melibatkan robot humanoid, yang dikendalikan dan dipantau menggunakan Apple Vision Pro.

Mengembangkan robot humanoid sendiri saat ini menghadapi banyak tantangan. Salah satunya adalah mengendalikan perangkat yang sangat teknis ini. Untuk membantu dalam bidang ini, Nvidia telah menyediakan sejumlah alat untuk simulasi robotik, termasuk beberapa yang membantu dalam kontrol.

Alat-alat ini disediakan oleh Nvidia untuk produsen robot utama dan pengembang perangkat lunak. Suite model dan platform ini bertujuan untuk melatih generasi baru robot humanoid.

Alat dan Layanan Nvidia

Koleksi alat ini mencakup apa yang disebut Nvidia sebagai layanan mikro NIM dan kerangka kerja yang dimaksudkan untuk simulasi dan pembelajaran. Ada juga layanan orkestrasi Nvidia OSMO untuk menangani beban kerja robotik multi-tahap, serta alur kerja teleoperasi yang didukung oleh AI dan simulasi.

Sebagai bagian dari alur kerja ini, headset dan perangkat komputasi spasial seperti Apple Vision Pro dapat digunakan tidak hanya untuk melihat data tetapi juga untuk mengendalikan perangkat keras.

"Gelombang berikutnya dari AI adalah robotika dan salah satu perkembangan paling menarik adalah robot humanoid," kata CEO dan pendiri Nvidia, Jensen Huang. "Kami mengembangkan seluruh tumpukan robotika NVIDIA, membuka akses bagi pengembang dan perusahaan humanoid di seluruh dunia untuk menggunakan platform, perpustakaan akselerasi, dan model AI yang paling sesuai dengan kebutuhan mereka."

Kontrol Apple Vision Pro

Layanan mikro NIM adalah kontainer pra-bangun yang menggunakan perangkat lunak inferensi Nvidia, yang dimaksudkan untuk mengurangi waktu penerapan. Dua dari layanan mikro ini dirancang untuk membantu pengembang dengan alur kerja simulasi untuk AI fisik generatif dalam Nvidia Isaac SIM, sebuah aplikasi referensi.

Salah satu layanan mikro ini, MimicGen NIM, digunakan untuk membantu pengguna mengontrol perangkat keras menggunakan Apple Vision Pro, atau perangkat komputasi spasial lainnya. Layanan ini menghasilkan data gerakan sintetis untuk robot berdasarkan "data teleoperasi yang direkam," yaitu menerjemahkan gerakan dari Apple Vision Pro menjadi gerakan yang akan dilakukan robot.

Video dan gambar menunjukkan bahwa ini lebih dari sekadar menggerakkan kamera berdasarkan gerakan headset. Ditunjukkan bahwa gerakan tangan dan isyarat juga direkam dan digunakan, berdasarkan sensor Apple Vision Pro.

Dengan demikian, pengguna dapat melihat gerakan robot dan secara langsung mengendalikan tangan dan lengan, semuanya menggunakan Apple Vision Pro.

Meskipun robot humanoid seperti itu dapat mencoba meniru gerakan secara tepat, sistem seperti milik Nvidia dapat mengartikan apa yang ingin dilakukan pengguna. Karena pengguna tidak memiliki umpan balik taktil untuk apa yang dipegang robot, hal ini dapat terlalu berbahaya untuk meniru gerakan tangan secara langsung.

Alur Kerja Teleoperasi Lainnya

Alur kerja teleoperasi lain yang didemonstrasikan di Siggraph juga memungkinkan pengembang untuk membuat sejumlah besar data gerakan dan persepsi. Semua dibuat dari sejumlah kecil demonstrasi yang ditangkap dari jarak jauh oleh manusia.

Untuk demonstrasi ini, Apple Vision Pro digunakan untuk menangkap gerakan tangan seseorang. Gerakan ini kemudian digunakan untuk mensimulasikan rekaman menggunakan layanan mikro MimicGen NIM dan Nvidia Isaac Sim, yang menghasilkan dataset sintetis.

Pengembang kemudian dapat melatih model humanoid Project Groot dengan kombinasi data nyata dan sintetis. Proses ini dianggap membantu mengurangi biaya dan waktu yang dihabiskan untuk membuat data sejak awal.

"Pengembangan robot humanoid sangat kompleks — membutuhkan jumlah data nyata yang luar biasa, yang ditangkap dengan susah payah dari dunia nyata," kata CEO pembuat platform robotik Fourier, Alex Gu. "Alat pengembangan AI generatif dan simulasi baru Nvidia akan membantu mempercepat alur kerja pengembangan model kami."

Program Pengembang Robot Humanoid Nvidia

Layanan mikro, serta akses ke model, layanan robotik terkelola OSMO, dan kerangka kerja lainnya, semuanya ditawarkan di bawah Program Pengembang Robot Humanoid Nvidia. Akses diberikan oleh perusahaan hanya kepada pengembang perangkat lunak, perangkat keras, atau produsen robot humanoid.