بروتوكول التدريب مرة واحدة والتقييم مرتين للكشف عن الاكتئاب عبر اللغات باستخدام النماذج اللغوية الكبيرة

يصيب الاكتئاب أكثر من 280 مليون شخص حول العالم، وتوفر نصوص وسائل التواصل الاجتماعي موردًا واسع النطاق للتقييم الآلي للصحة النفسية، وقد أظهرت مقاربات النماذج اللغوية الكبيرة أداء واعدًا في الكشف عن الاكتئاب من هذه النصوص، غير أن متانتها عبر اللغات ما تزال غير مستكشفة بما يكفي في اللغات قليلة التمثيل مثل العربية، إذ قد ينهار أداء نموذج درب على لغة واحدة عند نشره في لغة أخرى، ومن هنا اقترحت هذه الدراسة بروتوكولًا منهجيًا صريحًا لقياس هذه المتانة العابرة للغات، واختبرته على مهام الكشف عن الاكتئاب في الإنجليزية والعربية معًا

أولًا: أهداف الدراسة ومنهجيتها

هدفت الدراسة إلى تقييم المتانة العابرة للغات لثمانية نماذج لغوية كبيرة في الكشف عن الاكتئاب بالإنجليزية والعربية وفق بروتوكول سمي التدريب مرة واحدة والتقييم مرتين، واعتمدت الدراسة في ستة نماذج مفتوحة المصدر على الضبط الدقيق الكفء بالمعاملات بتقنية التكميم منخفض الرتبة المعروفة اختصارًا باسم كيو لورا، بينما ضبط نموذجا جي بي تي مغلقا المصدر ضبطًا دقيقًا عبر واجهة الضبط الخاضع للإشراف لدى شركة أوبن أيه آي، ولتوفير سياق لفهم أداء النقل اللغوي قيمت الدراسة أيضًا خط أنابيب قائمًا على الترجمة يجمع مترجم ماريان الآلي بنموذج إكس إل إم روبرتا، إضافة إلى تجربة استئصال للضبط الدقيق ثنائي اللغة استخدمت تقنيات خلط البيانات، وقاست الدراسة الأداء بمؤشر إف واحد الكلي في إعدادات أحادية اللغة وعابرة للغات في الاتجاهين من العربية إلى الإنجليزية ومن الإنجليزية إلى العربية، مع تحليل أخطاء يميز بين السلبيات الكاذبة والإيجابيات الكاذبة، ومقارنة زمن الاستدلال بين المحولات المدمجة الناتجة عن الضبط الكفء والاستدلال عبر الواجهات البرمجية

ثانيًا: أبرز النتائج

١- بلغت النماذج مستوى قريبًا من السقف في تقييمها أحادي اللغة بالإنجليزية، إذ حقق نموذج جي بي تي 4.1 ميني أفضل قيمة لمؤشر إف واحد الكلي بلغت 0.990، بينما جاء الأداء في العربية متوسطًا بأفضل قيمة بلغت 0.800 حققها نموذج كوين 2

٢- كشف التقييم العابر للغات عن عدم تماثل اتجاهي جوهري، فقد لوحظ أقوى أداء نقل في الاتجاه من العربية إلى الإنجليزية بقيمة 0.793 لنموذج جي بي تي 4.1 ميني، بينما ظل الاتجاه من الإنجليزية إلى العربية أكثر صعوبة بدرجة كبيرة بأفضل قيمة بلغت 0.638 لنموذج جي بي تي 3.5 تيربو

٣- حقق خط الأساس القائم على الترجمة ثم التصنيف أداء عابرًا للغات أدنى بصورة متسقة من النماذج التوليدية المضبوطة ضبطًا دقيقًا في هذه الدراسة، بما يرجح الضبط المباشر على الترجمة الوسيطة في هذا النوع من المهام

٤- أظهرت تجربة الاستئصال بالضبط ثنائي اللغة أن خلط البيانات الثنائي يكفي للحفاظ على أداء الإنجليزية عند مستويات قريبة من السقف، لكنه لم يحسن أداء العربية قياسًا إلى الضبط أحادي اللغة عليها، مما يعني أن التعرض البسيط للغتين لا يسد فجوة الأداء العابرة للغات في هذه العائلة من النماذج

٥- أظهر تحليل الأخطاء أن النقل من الإنجليزية إلى العربية رفع السلبيات الكاذبة بصورة غالبة، بينما أظهر النقل المعاكس تدهورًا أكثر توازنًا بين الدقة والاستدعاء، ولم تتفوق النماذج المتخصصة في العربية بانتظام على أقوى النماذج العامة متعددة اللغات، وأنتج الضبط الكفء محولات مدمجة بزمن استدلال محلي منخفض مقابل زمن إجمالي أعلى بكثير للاستدلال عبر واجهات جي بي تي

ثالثًا: دلالات الدراسة وتطبيقاتها

تدعم النتائج فكرة أن الضبط الدقيق القياسي أحادي اللغة لا يمنح متانة تذكر عند نشر النماذج عبر اللغات، ولا سيما في الاتجاه من الإنجليزية إلى العربية حيث تتسع الفجوة وتغلب السلبيات الكاذبة التي تعني إغفال حالات تستحق الانتباه، وهو ما يحمل دلالة عملية خطيرة لأي تطبيق يستخدم هذه النماذج في فرز محتوى الصحة النفسية بالعربية، ويدفع الباحثين إلى تطوير أساليب جديدة لتكييف النماذج اللغوية الكبيرة عبر لغات متعددة تتجاوز مجرد الخلط الثنائي للبيانات، كما يقدم البروتوكول المقترح إطار تقييم قابلًا لإعادة الاستخدام في لغات ومهام أخرى قليلة الموارد

وخلاصة القول إن الدراسة وثقت ببروتوكول تقييم منهجي أن النماذج اللغوية الكبيرة تقترب من السقف في لغتها الأصلية لكنها تتعثر عند النقل العابر للغات وخاصة نحو العربية، وأن الخلط الثنائي وحده لا يكفي، بما يجعل تطوير أساليب تكييف عابرة للغات أولوية بحثية ملحة