يُعنى كشف النشاط الصوتي بتحديد ما إذا كان الشخص يتحدث في البيانات السمعية البصرية وتحديد توقيت كلامه بدقة، وهي مهمة أساسية في تطبيقات مثل التعرف على الكلام والترجمة الفورية وتحليل الاجتماعات المرئية، وتتطلب هذه المهمة دقة زمنية عالية في تحديد بدايات الكلام ونهاياته، وتصبح أصعب في البيئات الصاخبة أو حين تتداخل الأصوات وتتعدد مصادرها، وقد عولجت هذه المهمة تقليديًا بمعالجة الإشارات الصوتية أو البيانات البصرية منفردة، أو بدمج الوسيلتين عبر الإدماج أو التعلم المشترك، ومع التقدم اللافت في النماذج البصرية اللغوية ظهرت إمكانات جديدة للاستفادة من الفهم الدلالي العميق الذي توفره هذه النماذج في مهام كانت حكرًا على المعالجة الإشارية التقليدية
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تقديم مقاربة جديدة لكشف النشاط الصوتي مستلهمة من التطورات الحديثة في النماذج البصرية اللغوية، تعتمد على نموذج التضمين المقارن للغة والصورة المعروف باسم كليب، إذ يحلل المشفر البصري في النموذج مقاطع مرئية تركز على الجزء العلوي من جسد الفرد، بينما يعالج المشفر النصي أوصافًا نصية مولدة بواسطة نموذج لغوي بصري توليدي ضخم هو مساعد اللغة والرؤية الكبير المعروف باسم لافا، ثم تُدمج التضمينات المستخرجة من المشفرين عبر شبكة عصبية عميقة تنفذ مهمة كشف النشاط الصوتي، وتقوم فكرة المقاربة على أن الوصف النصي للمشهد المرئي يلخص مؤشرات الكلام الظاهرة كحركة الشفاه وتعبيرات الوجه واتجاه النظر، فيتكامل مع التحليل البصري المباشر للمقاطع في تمثيل واحد
ثانيًا: أبرز النتائج
قيّم الباحثون المقاربة المقترحة عبر تحليل تجريبي شمل ثلاث مجموعات معيارية لكشف النشاط الصوتي، وقارنوها بالمقاربات القائمة، وتنوعت المقارنات بين أساليب تعتمد على البصر وحده وأخرى تمزج الصوت والصورة، بما أتاح تقديرًا شاملًا لموضع المقاربة الجديدة بين الحلول المتاحة، وجاءت أبرز النتائج على النحو الآتي
1- أظهرت المقاربة المقترحة أداء متفوقًا مقارنة بالمقاربات البصرية القائمة لكشف النشاط الصوتي
2- تفوقت المقاربة على عدد من الأساليب السمعية البصرية رغم بساطتها النسبية
3- حققت المقاربة هذا الأداء دون الحاجة إلى تدريب مسبق على مجموعات بيانات سمعية بصرية واسعة النطاق
4- أكدت النتائج جدوى توظيف النماذج البصرية اللغوية في مهام تحليل الكلام بما يتجاوز المعالجة التقليدية للإشارات
5- برهنت التجارب أن الأوصاف النصية المولدة من النموذج اللغوي البصري تضيف معلومة دلالية تعين على التمييز بين الكلام وغيره في المقاطع المرئية
ثالثًا: دلالات الدراسة وتطبيقاتها
تنطوي هذه النتائج على دلالات تطبيقية مهمة لمطوري أنظمة تحليل الوسائط المتعددة، إذ تقدم المقاربة بديلًا بسيطًا وفعالًا يمكن توظيفه في تطبيقات مثل فهرسة المحتوى المرئي والتعرف على المتحدثين وترجمة الاجتماعات وإتاحة الوصول لذوي الإعاقة السمعية، كما يبرهن نجاحها على إمكان نقل قدرات النماذج البصرية اللغوية إلى مهام زمنية دقيقة في تحليل الفيديو، ويقلل الاستغناء عن التدريب المسبق الضخم من كلفة بناء هذه الأنظمة ويسرّع نشرها في بيئات جديدة، ويشجع ذلك على مزيد من البحث في دمج التمثيلات الدلالية مع الإشارات الحسية في مهام مشابهة
وتتفادى المقاربة بذلك الحاجة إلى استخراج سمات صوتية أو بصرية مصممة يدويًا لكل بيئة تسجيل، إذ تتولى النماذج المدربة مسبقًا على نطاقات واسعة من الصور والنصوص تمثيل المشهد المرئي ووصفه دلاليًا، ثم تتعلم شبكة الدمج العصبية كيفية الموازنة بين التمثيلين البصري والنصي لاتخاذ قرار الكشف في كل مقطع زمني
وتفتح هذه المقاربة المجال أمام توظيف نماذج بصرية لغوية أخرى في مهام تحليل الكلام والفيديو، مثل تحديد هوية المتحدث وتتبع أدوار المتحاورين، بما يوسع عائلة التطبيقات المستفيدة من دمج الرؤية واللغة في واجهة واحدة
وخلاصة القول إن الدراسة قدمت مقاربة مبتكرة لكشف النشاط الصوتي تجمع بين مشفر كليب البصري وأوصاف نموذج لافا النصية عبر شبكة عصبية عميقة، وتفوقت في ثلاث مجموعات معيارية على المقاربات البصرية وعدد من الأساليب السمعية البصرية، مما يرسخ مكانة النماذج البصرية اللغوية في مهام تحليل الكلام