يمكن لمكالمات الفيديو من Google استخدام لغة الإشارة

جاكرتا - تسمح الأبحاث الحديثة التي أجرتها Google الآن بتغيير لغة الإشارة في اللغة في مكالمات الفيديو. هذا بالتأكيد سيجعل الأمر أسهل للأشخاص ذوي الإعاقة.

طورت Google محركًا لاكتشاف لغة الإشارة في الوقت الفعلي يمكنه معرفة متى بدأ شخص ما بلغة الإشارة ومتى انتهى (وليس فقط اكتشاف الصوت).

النظام ممكن مع زمن انتقال ضئيل للغاية ، وفقًا لتقرير TechCrunch ، المقتبس يوم الاثنين. يؤثر وقت الاستجابة بشكل كبير على اكتشاف لغة الإشارة بحيث لا تتأخر مقاطع الفيديو أو تتدهور جودتها. لذلك ، تقوم Google بإنشاء نظام خفيف الوزن وموثوق.

يقوم النظام أولاً بتشغيل نموذج فيديو يسمى PoseNet ، والذي يقدر وضع الجسم والأطراف.

يتم إرسال هذه المعلومات المرئية المبسطة (بشكل أساسي مع الخطوط) إلى نظام يتم تدريبه على بيانات الوضع من مقاطع فيديو لأشخاص يستخدمون لغة الإشارة الألمانية ، ويقارن الصورة الحية بمشاهدة الخطوط الناتجة عن الحركة.

تؤدي هذه العملية البسيطة بالفعل إلى دقة تصل إلى 80٪ في توقع ما إذا كان شخص ما يستخدم لغة الإشارة أم لا ، ومع بعض التحسينات الإضافية تصل الدقة إلى 91.5٪.

مقارنةً بكيفية اكتشاف "الكلام النشط" في معظم مكالمات الفيديو ، يمكن فقط معرفة ما إذا كان شخص ما يتحدث ، ولا يمكنه حتى تمييز السعال ، فإن الأرقام جيدة جدًا.

للعمل بدون إضافة إشارة "شخص ما يستخدم لغة الإشارة" إلى المكالمة ، يستخدم النظام خدعة ذكية ، باستخدام مصدر صوت افتراضي لإنتاج نغمة 20 كيلو هرتز ، وهي خارج نطاق السمع البشري ، ولكن يلاحظها الكمبيوتر نظام الصوت.

يتم إنشاء هذه الإشارة عندما يستخدم الشخص لغة الإشارة ، مما يجعل خوارزمية اكتشاف الكلام "تعتقد" أنه يتحدث بصوت عالٍ. حاليًا ، لا يزال النظام في مرحلة العرض.