シンガポールのNTUの研究者は、メタバースで人間の動きを追跡する新しい方法を明らかにします

シンガポールの南洋理工大学のキャンパスのイラスト(写真:x @NTUsg)

ジャカルタ - シンガポールの南洋理工大学の研究者チームは最近、メタバースのための人間の動きを追跡する新しい方法を導入しました。

メタバースの主な特徴の1つは、デジタル世界の現実世界のオブジェクトや人々をリアルタイムで表現する機能です。たとえば、バーチャルリアリティでは、ユーザーは頭を回して視点を変更したり、現実世界の物理的なコントローラを操作してデジタル環境に影響を与えることができます。

デバイスベースのセンサー、カメラ、または2つの組み合わせを使用してメタバースで人間の活動をキャプチャするための現状。しかし、研究者がプリント研究論文に書いたように、これら2つのモダリティには直接的な制限があります。

デバイスベースのセンサーシステムは、動きセンサーを備えたハンドヘルドコントローラのように、「人体のあるポイントでのみ情報をキャプチャするため、非常に複雑な活動をモデル化することはできません」と研究者らは書いています。一方、カメラベースの追跡システムは、低照度の環境と物理的な障壁で困難になっています。

WiFi検閲に入る

科学者たちは何年もの間、WiFiセンサーを使用して人間の動きを追跡してきました。レーダーと同様に、WiFiデータの送受信に使用される無線信号は、空間の物体を検出するために使用できます。

WiFiセンサーは、心拍数を捉え、呼吸と睡眠パターンを追跡し、壁を通って人々を検出するためにリセットできます。

Metaverseの研究者は、従来の追跡方法とWiFi検閲を組み合わせて、以前はさまざまな成功率で実験しました。

人工知能に入る

WiFiトラッキングには、人工知能モデルの使用が必要です。しかし、これらのモデルのトレーニングは、研究者にとって高いレベルの難易度を有することが証明されています。

「既存のソリューションはWi-Fiモダリティを使用しており、ビジョンは収集するのが非常に面倒な大量ラベル付けデータに依存しています。(マッサージモデルのトレーニングのために無表示のビデオとWi-Fiアクティビティデータのみを利用する新しい未監督のマルチモーダルHARソリューションMaskFiを提案します」と研究者は論文に書いています。

HarのWiFi検閲を使用して実験するために必要なモデルをトレーニングするには、科学者がトレーニングデータライブラリを構築する必要があります。人工知能のトレーニングに使用されるデータセットは、特定のモデルの目的に応じて、数千または数百万のデータポイントを含むことができます。

多くの場合、このデータセットのラベル付けは、この実験を行う上で最も時間のかかる部分になる可能性があります。

maskFi を入力する

南洋理工大学のチームは、この課題を克服するために「MaskFi」を構築しました。これは、「監督不能学習」と呼ばれる方法を使用して構築された人工知能モデルを使用しています。

無人学習パラダイムでは、人工知能モデルは、以前はははるかに小さなデータセットで訓練され、その後、満足のいく精度で出力状態を予測できるようにイテレーションを通過します。これにより、研究者は強力なトレーニングデータセットを構築するのに時間がかかる努力ではなく、モデル自体に焦点を当てることができます。

研究者によると、MaskFiシステムは、2つの関連ベンチマークを超えて約97%の精度を達成します。これは、将来の開発を通じて、このシステムがまったく新しいメタバース資本の触媒として機能する可能性があることを示しています:現実世界1:1をリアルタイムで表現できるメタバース。