تواجه لغات كثيرة خارج دائرة اللغات العالمية الكبرى ندرة حادة في بيانات الكلام المشروحة وفي النماذج المصممة خصيصًا لخصائصها الصوتية واللغوية، ومنها اللغة الكازاخية التي يتحدث بها ملايين البشر في آسيا الوسطى، ويقدم التعرف السمعي البصري على الكلام مسارًا واعدًا لتجاوز حدود القناة الصوتية وحدها، إذ يستعين بحركة الشفاه المرئية مصدرًا تكميليًا للمعلومات يساند الصوت حين يتشوش بالضوضاء أو يتداخل مع كلام آخر أو يضعف في البيئات الواقعية
وتنبع أهمية هذا الاتجاه من أن الاتصال البشري نفسه متعدد الوسائط بطبيعته، فالمستمع يقرأ ملامح وجه المتحدث وشفاهه دون وعي منه، وحين تحاكي الأنظمة الحاسوبية هذه القدرة تصبح أكثر متانة في التطبيقات الواقعية مثل التعرف على الأوامر في الأماكن الصاخبة وخدمة ضعاف السمع وتوثيق المحتوى المرئي، كما أن بناء موارد ونماذج للغات قليلة الموارد يمثل في ذاته إسهامًا علميًا يحفظ التنوع اللغوي العالمي من التراجع الرقمي
أولًا: أهداف الدراسة ومنهجيتها
قدمت الدراسة نموذجًا للتعرف السمعي البصري على الكلام للغة الكازاخية يستغل القناتين الصوتية والبصرية معًا، وأنشأت مجموعة بيانات جديدة أطلقت عليها اسم كاز إيه في إس آر تضم سبعًا وخمسين ساعة من التسجيلات جمعت من 271 متحدثًا، واستُخرجت الإشارات الصوتية المتزامنة وتسلسلات فيديو منطقة الشفاه باستخدام أدوات معالجة وسائط ومكتبات رؤية حاسوبية معروفة في إصدارات محددة وثقها الباحثون
وتكونت البنية المقترحة من فرع صوتي يعتمد نموذج هيوبرت الأساسي ذا التعلم ذاتي الإشراف، وفرع بصري يعتمد نموذج محول الرؤية بي ستة عشر المدرب مسبقًا على بيانات إيماج نت، ثم دُمجت التمثيلات الصوتية والبصرية عبر كتلة اندماج ثلاثية الطبقات تجري عمليات انتباه داخلي وانتباه متبادل بين الوسائط في كل مستوى من مستوياتها، وخضعت النتائج لاختبارات دلالة صارمة بأسلوب إعادة المعاينة المقترنة، ولمقارنات مع بنى خارجية قوية مثل ويسبر الصغير وتشكيلات إيه في هيوبرت المكيفة للغة الكازاخية، ولتقويمات موسعة بمقاييس إضافية واختبارات اضطراب ضوضائي متنوعة
ثانيًا: أبرز النتائج
1، حقق النموذج الكامل متعدد الوسائط معدل خطأ حروف بلغ 31.2 في المئة ومعدل خطأ كلمات بلغ 43.1 في المئة في المتوسط، وهي نتائج تتفوق بفارق واضح على خطوط الأساس التقليدية العاملة بالقناة الصوتية وحدها أو القناة البصرية وحدها أو بدمج تمثيلي قياسي بينهما
2، أثبتت المقارنات مع البنى الخارجية القوية المكيفة للكازاخية، والمدعومة باختبارات دلالة إحصائية صارمة، الفاعلية المعمارية لإطار الاندماج ثنائي الوسائط المقترح، لا مجرد تفوق رقمي عابر قد تعيده الصدفة في عينات أخرى
3، أكدت مقاييس إضافية شملت معدل خطأ المطابقة والمعلومات المعجمية المحفوظة ومؤشر التآزر متعدد الوسائط أن التشكيلة السمعية البصرية الكاملة تحفظ المعلومات المعجمية بفاعلية أعلى بكثير من التشكيلات المنقوصة، بما يثبت أن الوسائط تتكامل تآزريًا لا تجميعيًا فحسب
4، أظهرت تجارب الاضطراب الضوضائي الواسعة أن البنية متعددة الوسائط تتفوق هيكليًا في الصمود أمام تشوهات صوتية معقدة تشمل الضوضاء البيئية وصدى الغرف الاصطناعي وأنسجة الكلام المتداخل، وهي ظروف تنهار فيها الأنظمة الصوتية المنفردة عادة
ثالثًا: دلالات الدراسة وتطبيقاتها
تقدم الدراسة موردًا ونموذجًا مرجعيًا للغة قليلة الموارد في المجال الرقمي، وتبين أن الاستثمار في بيانات محلية مشروحة وفي بنى دمج واعية بطبيعة الوسائط يثمر أنظمة تعرف كلامي تضاهي في منهجيتها ما يبنى للغات الكبرى، كما تؤسس مجموعة البيانات المنشورة لمنافسة بحثية لاحقة ولتحسينات متعاقبة يمكن قياس تقدمها على المعيار ذاته
وتمثل هذه التجربة درسًا مباشرًا للباحثين العرب وطلاب الدراسات العليا في معالجة الكلام واللغات، فاللغة العربية بلهجاتها المتعددة ومواردها الكلامية المحدودة في كثير من المجالات مرشحة للاستفادة من المنظومة ذاتها، من بناء مدونات سمعية بصرية محلية إلى تكييف النماذج ذاتية الإشراف ودمجها بانتباه عبر الوسائط، بما يخدم تطبيقات التعليم وخدمة الصم وضعاف السمع وأنظمة التفاعل الصوتي
وخلاصة القول إن التعرف على الكلام للغات قليلة الموارد لم يعد رهينًا بانتظار بيانات اللغات الكبرى، بل يمكن بناؤه بموارد محلية مصممة بعناية وبنى ذكية تستثمر تعدد الوسائط، وإن نموذج الكازاخية المقترح يقدم برهانًا عمليًا على أن الدمج الهرمي بين السمع والبصر يصنع أنظمة أصلب في وجه الضوضاء وأصدق في خدمة متحدثي هذه اللغات
