Des chercheurs de NTU Singapour révèlent une nouvelle méthode pour suivre les mouvements humains dans le métavers

Illustration du campus de l’Université de technologie de Nanyang à Singapour (photo:x @NTUsg)

JAKARTA - Une équipe de chercheurs de l’Université de technologie de Nanyang à Singapour a récemment introduit une nouvelle méthode pour suivre les mouvements humains pour le métavers.

L’une des principales caractéristiques du métavers est la capacité de représenter des objets et des personnes du monde réel dans le monde numérique en temps réel. Dans la réalité virtuelle, par exemple, les utilisateurs peuvent tourner la tête pour changer leur point de vue ou manipuler le contrôle physique dans le monde réel pour affecter l’environnement numérique.

Le status quo pour capturer l’activité humaine dans le métavers en utilisant des capteurs basés sur des appareils, des caméras ou une combinaison des deux. Cependant, comme les chercheurs ont écrit dans leur document de recherche pré-imprimé, ces deux modules ont des restrictions directes.

Les systèmes de capteurs basés sur des appareils, tels que les contrôles portables avec des capteurs de mouvement, « ne captent que l’information à un point du corps humain afin qu’il ne puisse pas modéliser des activités très complexes », ont écrit les chercheurs. Pendant ce temps, les systèmes de suivi basés sur des caméras ont des difficultés avec des environnements de faible lumière et des obstacles physiques.

Se connecter à la censure Wifi

Les scientifiques utilisent des capteurs Wifi pour suivre les mouvements humains depuis des années. Comme les radar, les signaux radio utilisés pour envoyer et recevoir des données Wifi peuvent être utilisés pour détecter des objets dans l’espace.

Les capteurs de Wifi peuvent être réaffectés pour capturer la fréquence cardiaque, suivre les modèles respiratoires et de sommeil, et même détecter les gens à travers les murs.

Les chercheurs du Metaverse ont expérimenté en combinant des méthodes de suivi traditionnelles avec la censure Wifi avec des taux de réussite variés précédents.

Entrez dans l'intelligence artificielle

Le suivi Wifi nécessite l’utilisation de modèles d’intelligence artificielle. Cependant, il s’est avéré que la formation de ces modèles présentent un haut niveau de difficulté pour les chercheurs.

« Les solutions existantes utilisent le fonctionnement Wi-Fi et la vision dépend de données étiquetées de masse qui sont très difficiles à collecter. [...] Nous proposons une nouvelle solution de hain multimodal sans surveillance, RusFi, qui ne utilise que des vidéos sans étiquette et des données d’activité Wi-Fi pour la formation à modèles », a écrit le chercheur dans son article.

Pour former les modèles nécessaires pour expérimenter la censure Wifi pour HAM, les scientifiques doivent construire une bibliothèque de données pour la formation. Les ensembles de données utilisés pour former l’intelligence artificielle peuvent contenir des milliers ou même des millions de points de données en fonction de l’objectif du modèle particulier.

Souvent, l’étiquetage de ce ensemble de données peut être la partie la plus lourde de la conduite de ces expériences.

Se connecter à MashFi

Une équipe de l’Université de technologie de Nanyang a construit un « MaskFi » pour surmonter ce défi. Il utilise des modèles d’intelligence artificielle construits utilisant une méthode appelée « apprentissage sans surveillance ».

Dans le paradigme d’apprentissage sans supervision, un modèle d’intelligence artificielle est déjà formé sur un ensemble de données beaucoup plus petit, puis passe par l’ itération pour être en mesure de prédire les conditions de production avec un niveau de précision satisfaisant. Cela permet aux chercheurs de se concentrer sur le modèle lui-même plutôt que de faire un effort qui prend du temps pour construire un ensemble de données de formation robuste.

Selon les chercheurs, le système mascar fi atteint une précision d’environ 97% sur deux comparables. Cela montre que le système, grâce au développement futur, peut servir de catalyseur pour un métavers entièrement nouveau de capital: un métavers capable de fournir une représentation mondiale réelle de 1:1 en temps réel.