أحدثت النماذج اللغوية الكبيرة تحولات واسعة في مجالات متعددة، غير أن تقويم أدائها باللغة العربية ما يزال محدودًا مقارنة بتقويمها باللغة الإنجليزية، وهو ما يترك صورة غير مكتملة عن القدرات اللغوية الحقيقية لهذه النماذج لدى المستخدمين العرب والباحثين في معالجة اللغة العربية، وتسد هذه الدراسة جزءًا من هذه الفجوة بتقديمها معيار تقويم ثنائي اللغة يتيح المقارنة المباشرة بين أداء النماذج في اللغتين على مهام لغوية موحدة، بما يساعد على فهم حدود هذه النماذج وقدراتها عند التعامل مع العربية فهمًا دقيقًا قائمًا على قياس منهجي لا على انطباعات عامة
وتنبع خطورة هذا القصور في التقويم من أن القرارات المتعلقة باعتماد النماذج اللغوية في التعليم والخدمات الحكومية والتطبيقات التجارية العربية قد تُبنى على سمعة النماذج في الإنجليزية دون اختبار حقيقي لقدراتها العربية، فقد يتفوق نموذج في مهام إنجليزية معقدة ثم يتعثر في مهام عربية أساسية، ولذلك كان لا بد من معيار يستخدم المادة الاختبارية ذاتها باللغتين ويعرض النماذج لمهام موحدة تسمح بحكم مقارن عادل، وقد اختارت الدراسة مادة اختبار القدرات العامة لما يتمتع به من انتشار واعتماد رسمي في القبول الجامعي عبر العالم العربي
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تقديم أسلوب جديد لتقويم النماذج اللغوية الكبيرة باللغتين الإنجليزية والعربية يسمح بالمقارنة المباشرة بين أداء اللغتين، وبنت الدراسة مجموعة بيانات تقويم جديدة استنادًا إلى اختبار القدرات العامة المستخدم على نطاق واسع للقبول في الجامعات في العالم العربي لقياس القدرات اللغوية للنماذج، وأجرت الدراسة تجارب عدة لفحص القدرات اللغوية لنموذج تشات جي بي تي وقياس مدى تفوقه في الإنجليزية على العربية، كما فحصت أثر تغيير أوصاف المهام من العربية إلى الإنجليزية وبالعكس في أداء النموذج، بما يكشف حساسية النماذج للغة التعليمات ذاتها وليس للغة محتوى المهمة فقط
ثانيًا: أبرز النتائج
أظهرت التجارب أن نموذج تشات جي بي تي أفضل في اللغة الإنجليزية منه في اللغة العربية بفارق واضح في القدرات اللغوية المقاسة، وأن تغيير لغة وصف المهمة بين العربية والإنجليزية يترك أثرًا في الأداء يستحق الاعتبار عند تصميم التقويمات والاستخدامات العملية، كما وجدت الدراسة أن أداة فاست تكست قادرة على تجاوز تشات جي بي تي في مهمة إيجاد التناظرات اللفظية العربية، وهو ما ينبه إلى أن النماذج اللغوية الكبيرة ليست متفوقة في كل المهام اللغوية، وخلصت الدراسة إلى أن القدرات اللغوية العربية لنموذج جي بي تي 4 أفضل بكثير من القدرات العربية لتشات جي بي تي وأنها قريبة من قدرات تشات جي بي تي في اللغة الإنجليزية
وتحمل نتيجة تفوق فاست تكست على تشات جي بي تي في التناظرات اللفظية العربية دلالة منهجية لافتة، فهي تبين أن ضخامة النموذج وحداثته لا تضمنان التفوق في كل مهمة لغوية، وأن أدوات أقدم وأبسط قد تحتفظ بميزة في مهام محددة كالعلاقات الدلالية بين الكلمات، كما أن تحسن جي بي تي 4 الكبير في العربية مقارنة بسلفه يرسم منحنى تطور سريعًا يستحق الرصد المستمر، إذ ما كان يمثل فجوة واسعة بين اللغتين أخذ يضيق بصورة ملحوظة خلال جيل واحد من أجيال النماذج
ثالثًا: دلالات الدراسة وتطبيقاتها
تقدم الدراسة للباحثين والمطورين أداة تقويم ثنائية اللغة يمكن البناء عليها في قياس تقدم النماذج اللغوية في العربية عبر إصداراتها المتعاقبة، وتنبه مطوري التطبيقات العربية إلى ضرورة اختبار النماذج بمهام عربية أصيلة قبل اعتمادها في التعليم والتقويم والخدمات، كما تشير النتائج إلى أن الفجوة بين العربية والإنجليزية تضيق مع الأجيال الأحدث من النماذج، وهو ما يشجع على الاستثمار في بيانات تقويم عربية موثوقة مستمدة من اختبارات مقننة معروفة في البيئة العربية مثل اختبار القدرات العامة
ومن الناحية التطبيقية يستفيد مطورو التطبيقات التعليمية والتقويمية العربية من هذه النتائج في اختيار النماذج المناسبة لكل مهمة بدلًا من الاعتماد الأعمى على أحدث إصدار، فمهام كالتناظر اللفظي قد تؤديها أدوات خفيفة بكفاءة أعلى وكلفة أدنى، بينما تتطلب مهام الفهم والاستدلال قدرات الأجيال الأحدث، كما تفيد النتائج الجهات المشرفة على اختبارات القبول في فهم كيفية تعامل النماذج مع مواد اختباراتها، وتؤسس لمكتبة تقويم عربية متنامية يمكن تحديثها مع كل جيل جديد من النماذج اللغوية
وخلاصة القول إن الدراسة قدمت معيارًا ثنائي اللغة مبتكرًا لتقويم النماذج اللغوية الكبيرة أظهر تفوق تشات جي بي تي في الإنجليزية على العربية وقدرة أدوات أبسط على منافسته في مهام عربية محددة، وأكدت أن قدرات جي بي تي 4 العربية قفزت قفزة كبيرة مقتربة من مستوى الإنجليزية، وهو ما يجعل التقويم العربي المنهجي ضرورة ملحة لمواكبة هذا التطور
