Peneliti di NTU Singapura Ungkap Metode Baru untuk Melacak Gerakan Manusia dalam Metaverse

JAKARTA - Sebuah tim peneliti dari Universitas Teknologi Nanyang di Singapura baru-baru ini memperkenalkan metode baru untuk melacak gerakan manusia untuk metaverse.

Salah satu fitur utama dari metaverse adalah kemampuan untuk merepresentasikan objek dan orang dunia nyata di dunia digital secara real-time. Dalam realitas virtual, misalnya, pengguna dapat memutar kepala untuk mengubah sudut pandang atau memanipulasi pengontrol fisik di dunia nyata untuk memengaruhi lingkungan digital.

Status quo untuk menangkap aktivitas manusia dalam metaverse menggunakan sensor berbasis perangkat, kamera, atau kombinasi keduanya. Namun, seperti yang ditulis peneliti dalam makalah penelitian pra-cetak mereka, kedua modalitas ini memiliki batasan yang langsung.

Sistem sensor berbasis perangkat, seperti pengontrol genggam dengan sensor gerak, "hanya menangkap informasi pada satu titik tubuh manusia sehingga tidak dapat memodelkan aktivitas yang sangat kompleks," tulis para peneliti. Sementara itu, sistem pelacakan berbasis kamera kesulitan dengan lingkungan cahaya rendah dan hambatan fisik.

Masuk ke dalam Penyensoran WiFi

Ilmuwan telah menggunakan sensor WiFi untuk melacak gerakan manusia selama bertahun-tahun. Mirip dengan radar, sinyal radio yang digunakan untuk mengirim dan menerima data WiFi dapat digunakan untuk mendeteksi objek di ruang.

Sensor WiFi dapat disetel ulang untuk menangkap detak jantung, melacak pola pernapasan dan tidur, dan bahkan mendeteksi orang melalui dinding.

Para peneliti Metaverse telah bereksperimen dengan menggabungkan metode pelacakan tradisional dengan penyensoran WiFi dengan tingkat keberhasilan yang bervariasi sebelumnya.

Masuk ke dalam Kecerdasan Buatan

Pelacakan WiFi membutuhkan penggunaan model kecerdasan buatan. Namun, pelatihan model-model ini telah terbukti memiliki tingkat kesulitan yang tinggi bagi para peneliti.

"Solusi yang ada menggunakan modalitas Wi-Fi dan visi bergantung pada data yang dilabeli massal yang sangat merepotkan untuk dikumpulkan. [...] Kami mengusulkan solusi HAR multimodal unsupervised yang baru, MaskFi, yang hanya memanfaatkan video tanpa label dan data aktivitas Wi-Fi untuk pelatihan model," tulis peneliti itu di makalahnya.

Untuk melatih model-model yang diperlukan untuk bereksperimen dengan penyensoran WiFi untuk HAR, ilmuwan harus membangun perpustakaan data pelatihan. Set data yang digunakan untuk melatih kecerdasan buatan dapat berisi ribuan atau bahkan jutaan titik data tergantung pada tujuan model tertentu.

Seringkali, pelabelan set data ini bisa menjadi bagian yang paling memakan waktu dalam melakukan eksperimen ini.

Masuk ke dalam MaskFi

Tim dari Universitas Teknologi Nanyang membangun "MaskFi" untuk mengatasi tantangan ini. Ini menggunakan model-model kecerdasan buatan yang dibangun menggunakan metode yang disebut "unsupervised learning".

Dalam paradigma pembelajaran tanpa pengawasan, sebuah model kecerdasan buatan dilatih sebelumnya pada set data yang jauh lebih kecil dan kemudian melewati iterasi hingga mampu memprediksi keadaan keluaran dengan tingkat akurasi yang memuaskan. Ini memungkinkan para peneliti untuk fokus pada model itu sendiri daripada usaha yang memakan waktu untuk membangun set data pelatihan yang kuat.

Menurut para peneliti, sistem MaskFi mencapai sekitar 97% akurasi melintasi dua benchmark terkait. Ini menunjukkan bahwa sistem ini, melalui pengembangan masa depan, dapat berfungsi sebagai katalisator untuk modality metaverse yang sepenuhnya baru: sebuah metaverse yang dapat memberikan representasi dunia nyata 1:1 secara real-time.