وجه روبوتي يتعلم مزامنة الشفاه مع الكلام

طوّر مهندسو جامعة كولومبيا وجهاً روبوتياً قادراً على تعلّم مزامنة حركة الشفاه مع الكلام والغناء، من خلال أسلوب تعلّم رصدي من مرحلتين، بحسب دراسة نُشرت في مجلة «ساينس روبوتيكس». وتعتمد التقنية على أن يراقب الروبوت حركاته أولاً أمام مرآة، ثم يدرس حركات وجوه البشر في مقاطع فيديو متاحة عبر الإنترنت. في المرحلة الأولى، يولّد الوجه الروبوتي، المكوّن من ٢٦ محرّكاً، آلاف التعابير العشوائية أثناء مواجهة المرآة، ما يسمح ببناء نموذج يربط أوامر المحركات الداخلية بالأشكال المرئية لحركة الفم. وفي المرحلة الثانية، يحلل النظام تسجيلات لأشخاص يتحدثون ويغنون ليتعلّم العلاقة بين حركات الفم البشرية والأصوات الصادرة. ومن خلال دمج النموذجين، يتمكن الروبوت من تحويل الصوت الداخل إليه إلى أوامر حركية منسّقة تنتج حركة شفاه متزامنة عبر لغات وسياقات صوتية متعددة، من دون فهم المعنى الدلالي للكلام. وعرض الفريق قدرات النظام باستخدام عبارات منطوقة ومقطع غنائي من ألبوم مولّد بالذكاء الاصطناعي. وأشار الباحثون إلى استمرار صعوبات مع بعض الأصوات، خصوصاً الحروف الانفجارية مثل «B» والأصوات الدائرية مثل «W»، مرجّحين تحسّن الأداء مع تعريض النظام لبيانات وأمثلة أكثر تنوعاً. وتركّز التدريب على تمارين النطق وتوزيع الحركات التي تستفيد من دقة الروبوت في وضع الشفاه والفك، إلى جانب دراسة أفضل طرق توقيت الأوامر الحركية مع الإشارات الصوتية. وقال قائد المشروع هود ليبسون إن هذه المقاربة تستبدل القواعد الوجهية المبرمجة مسبقاً بخرائط متعلَّمة، ما يمنح النظام قدرة أكبر على التكيّف. فالروبوت يتعلّم أولاً كيف تؤثر محركاته في مظهره، ثم يقلّد كيفية إنتاج البشر للأصوات، وأخيراً يدمج المعرفتين لإنتاج حركة فم أكثر واقعية. ويرى الباحثون أن تقليص الفجوة البصرية بين الكلام الاصطناعي والبشري أمر مهم، لأن الإشارات المرئية تؤثر بقوة في الفهم، خصوصاً في البيئات الصاخبة ولدى الأشخاص الذين يعانون صعوبات سمعية. وتشمل الخطوات المقبلة تحسين التعبير العاطفي بحيث تنقل حركات الوجه الإحساس والتأكيد، وتعزيز دقة التوقيت ومزامنة الصوت، إضافة إلى رفع الأداء في التعامل مع الأصوات الأكثر تعقيداً. https://www.youtube.com/watch?v=5RA9gMd5Q44