تمهيد
تتسارع قدرات النماذج اللغوية الكبيرة في إنتاج نصوص طليقة بلغات متعددة، غير أن الطلاقة اللفظية لا تعني بالضرورة القدرة على تنفيذ المهام المعقدة واتباع التعليمات المتعددة القيود بدقة واتساق، إذ قد ينتج النموذج نصا سليما من حيث اللغة وهو في الوقت ذاته قاصر عن جوهر المهمة المطلوبة منه، ومن هنا تنشأ الحاجة إلى معايير تقييم قادرة على التمييز بين جودة الصياغة وجودة الأداء الفعلي، ولا سيما في اللغات الأقل تمثيلا في بيانات التدريب كاللغة الرومانية، إذ تعتمد المعايير الرومانية القائمة غالبا على صيغ الاختيار من متعدد أو استخراج الإجابات أو التقييم بواسطة نماذج أخرى، وكلها صيغ تعجز عن قياس الاستدلال متعدد القيود وإتمام المهام المنظمة، وتأتي هذه الدراسة لتسد هذه الفجوة عبر بناء بيئات مهام مؤرضة يمكن التحقق من مخرجاتها بصورة حتمية وبرمجية خالصة
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تقديم معيار جديد يحمل اسم عوالم المهام متعددة اللغات المؤرضة للرومانية، ويقوم على بيئات محددة بالكامل تسمى عوالم المهام المؤرضة، حيث تخضع مخرجات النماذج لفحوص برمجية حتمية لا تعتمد على حكم بشري ولا على نموذج مقيم، ويغطي المعيار أربعة مجالات تطبيقية هي تخطيط السفر، وجدولة المواعيد في التقويم، والإجابة عن الأسئلة المستندة إلى سياق معطى، وتخطيط قوائم الطعام الغذائية، ويطلب من النموذج في كل مهمة إنتاج خطة منظمة بصيغة جيسون مرفقة بشرح مكتوب بلغة طبيعية بالرومانية، ويتفكك التقييم إلى ثلاثة مقاييس مستقلة هي الفهم الذي يقيس الالتزام بالقيود واتباع التعليمات، والتوليد الذي يقيس جودة النص الروماني من حيث دقة علامات التشكيل ونقاء اللغة وغياب التبديل اللغوي، والأمانة التي تقيس الاتساق بين الخطط المولدة والشروح المرافقة لها، وقد تحقق الباحثون من قابلية جميع الحالات للحل آليا باستخدام خوارزميات التراجع، وأصدروا مجموعتي بيانات منقحتين إحداهما قياسية تضم 500 حالة والأخرى عدائية تضم 300 حالة بتعقيد قيود أعلى، مرفقة بأدوات التقييم الكاملة وبمكتبة لمعالجة اللغة الطبيعية الرومانية بنيت خصيصا لهذا الغرض، ثم قيموا أحد عشر نموذجا لغويا كبيرا على هذا المعيار
ثانيًا: أبرز النتائج
1، تباين أداء النماذج الأحد عشر تباينا واسعا إذ تراوحت درجاتها بين 58.6 و90.7 بالمئة، وهو ما يكشف فروقا جوهرية بين النماذج في القدرة على إنجاز المهام المؤرضة رغم تقاربها الظاهري في طلاقة النصوص التي تولدها
2، ظهرت فجوة لافتة بين المعرفة والسلوك، إذ فشلت نماذج تتقن توليد اللغة الرومانية بطلاقة في مهام الاستدلال الأساسية التي يتطلبها إتمام المهام، وهو ما يؤكد أن جودة النص المنتج لا تستلزم سلامة التنفيذ ولا دقته
3، جاءت النماذج المضبوطة ضبطا دقيقا على اللغة الرومانية دون نظيراتها الأساسية، إذ سجل أحد النماذج الرومانية المضبوطة درجة أدنى بمقدار 20.1 نقطة مئوية من النموذج الأساسي الذي اشتق منه، وانخفض نجاحه في إخراج خطط جيسون المنظمة من 95 إلى 44 بالمئة
4، تثير هذه النتائج أسئلة جوهرية حول مدى حفاظ خطوط التكييف اللغوي الراهنة على قدرات اتباع التعليمات والاستدلال المنظم حين تضبط النماذج على لغة جديدة، وحول كلفة الضبط الدقيق غير المراعي لتلك القدرات
ثالثًا: دلالات الدراسة وتطبيقاتها
تحمل هذه الدراسة دلالات مهمة للباحثين العرب وطلاب الدراسات العليا المهتمين بتقييم النماذج اللغوية، فهي تقدم نموذجا منهجيا يمكن الاحتذاء به في بناء معايير تقييم مؤرضة للغة العربية تقيس التنفيذ الفعلي لا الانطباع اللغوي، إذ تعاني العربية بدورها من ندرة أدوات التقييم الحتمية القادرة على فحص الالتزام بالقيود واتساق الخطط مع شروحها، كما تنبه الدراسة مطوري النماذج المضبوطة على العربية إلى أن الضبط الدقيق قد ينتقص من قدرات النموذج الإجرائية إن لم تصحبه آليات للحفاظ عليها وقياسها قبل النشر وبعده، وتبرز كذلك قيمة إتاحة مجموعات البيانات وأدوات التقييم للباحثين بما يتيح إعادة الإنتاج والمقارنة العادلة بين النماذج عبر الزمن
وخلاصة القول إن هذه الدراسة تبني إطارا صارما وحتميا لتقييم النماذج اللغوية الكبيرة باللغة الرومانية، وتكشف أن الطلاقة لا تكفي دليلا على الكفاءة، وأن الضبط اللغوي الدقيق قد يضعف القدرات التي يقصد تعزيزها، وهو درس منهجي يتجاوز حدود الرومانية إلى كل لغة تسعى إلى تقييم منصف لنماذج الذكاء الاصطناعي
