Les Appels Vidéo Google Peuvent Utiliser La Langue Des Signes
JAKARTA - Des recherches récentes de Google permettent désormais de changer la langue des signes dans la langue des appels vidéo. Cela facilitera certainement la tâche des personnes handicapées.
Google a développé un moteur de détection de la langue des signes en temps réel qui peut dire quand quelqu'un a commencé avec la langue des signes et quand il a fini (pas seulement détecter le son).
Le système est possible avec très peu de latence, selon le rapport TechCrunch, cité lundi. La latence a un impact important sur la détection de la langue des signes afin que les vidéos ne soient pas retardées ou dégradées. Ainsi, Google crée un système léger et fiable.
Le système exécute d'abord un modèle vidéo appelé PoseNet, qui estime la position du corps et des membres.
Ces informations visuelles simplifiées (essentiellement avec des lignes) sont envoyées à un système qui est formé aux données de pose à partir de vidéos de personnes utilisant la langue des signes allemande, et compare l'image en direct aux vues de ligne résultantes du mouvement.
Ce processus simple aboutit déjà à une précision de 80% pour prédire si quelqu'un utilise la langue des signes ou non, et avec quelques optimisations supplémentaires, il obtient une précision de 91,5%.
Comparé à la façon dont la détection de la "parole active" sur la plupart des appels vidéo ne peut dire que si quelqu'un parle, ne peut même pas distinguer une toux, les chiffres sont plutôt bons.
Pour travailler sans ajouter le signal «quelqu'un utilise la langue des signes» à l'appel, le système utilise une astuce intelligente, en utilisant une source audio virtuelle pour produire une tonalité de 20 kHz, qui est en dehors de la portée de l'audition humaine, mais remarquée par l'ordinateur. système audio.
Ce signal est généré chaque fois que la personne utilise la langue des signes, faisant «penser» à l'algorithme de détection de la parole qu'elle parle à haute voix. Actuellement, le système est encore au stade de la démonstration.