مع دخول نماذج اللغة الكبيرة إلى قاعات التعليم العالي، برز سؤال عملي ملح، وهو مدى إمكانية الاعتماد عليها في تقييم أعمال الطلبة، فالتقييم العادل يتطلب الاتساق، أي أن يحصل العمل نفسه على الدرجة نفسها عندما يقيم مرات متعددة وفي أوقات مختلفة، فإذا تذبذبت التقييمات من مرة إلى أخرى، اهتزت الثقة في النموذج بوصفه مقيمًا، مهما بدت إجاباته مقنعة في المرة الواحدة، ومن هنا تنبع أهمية فحص اتساق التقييمات التي تنتجها هذه النماذج فحصًا إحصائيًا دقيقًا
وتتناول الدراسة الحالية هذا السؤال من خلال نموذج جي بي تي فور، أحد أبرز نماذج اللغة الكبيرة، إذ فحصت اتساق تقييماته للتغذية الراجعة عبر تكرارات متعددة وأطر زمنية مختلفة وتنويعات أسلوبية، في سياق مهام تتعلق بالاقتصاد الكلي في التعليم العالي، وقيمت الردود من حيث المحتوى والأسلوب معًا
أولًا: أهداف الدراسة ومنهجيتها
هدف الباحثون إلى الإبلاغ عن معاملات الارتباط داخل الفئة لتقييمات التغذية الراجعة التي أنتجها نموذج جي بي تي فور، عبر تكرارات متنوعة وأطر زمنية وتنويعات أسلوبية، وقد استخدم النموذج لتقييم الردود على مهام تتعلق بالاقتصاد الكلي في التعليم العالي، استنادًا إلى محتواها وأسلوبها، وأجري التحليل الإحصائي لتحديد الاتفاق المطلق واتساق التقييمات في كل التكرارات، والارتباط بين التقييمات من حيث المحتوى والأسلوب، كما عرض الباحثون الموجّه المستخدم في الدراسة وشرحوه شرحًا مفصلًا ليتمكن الآخرون من تكرار التجربة وفحصها
ثانيًا: أبرز النتائج
1، كشفت النتائج عن ثبات مرتفع بين المقيمين، إذ تراوحت درجات معامل الارتباط داخل الفئة بين 0.94 و0.99 عبر الفترات الزمنية المختلفة، مما يشير إلى درجة عالية من الاتساق في التقييمات
2، أظهرت النتائج أن نموذج جي بي تي فور قادر على إنتاج تقييمات متسقة عبر التكرارات والأطر الزمنية والتنويعات الأسلوبية، وهو شرط أساسي لأي أداة تقييم يراد الاعتماد عليها في السياقات التعليمية
3، فحصت الدراسة كذلك الارتباط بين تقييمات المحتوى وتقييمات الأسلوب، بما يتيح فهمًا أدق لما يقيمه النموذج فعلًا، وما إذا كان يحافظ على تمييزه بين جودة الأفكار وجودة الصياغة عبر التكرارات
ثالثًا: دلالات الدراسة وتطبيقاتها
تحمل هذه النتائج دلالات مهمة للتعليم العالي، إذ تشير إلى أن نماذج اللغة الكبيرة قد تكون أدوات مساعدة واعدة في تقييم أعمال الطلبة، ولا سيما في المهام واسعة النطاق التي يصعب تقييمها يدويًا في وقت قصير، غير أن الاتساق وحده لا يكفي، فلا بد من فحص صلاحية التقييمات وعدالتها وشفافيتها، وضمان إشراف بشري على القرارات التقييمية المصيرية، وتبرز الدراسة كذلك أهمية الشفافية في استخدام النماذج اللغوية للتقييم، إذ إن عرض الموجّه المستخدم وشرحه يتيح للباحثين الآخرين تكرار التجربة والتحقق من نتائجها، ويمنح المعلمين فهمًا أوضح لما يطلبه النموذج فعلًا وكيف يصوغ أحكامه، كما أن فحص الاتساق عبر الأطر الزمنية المختلفة يطمئن إلى أن التقييمات لا تتأثر بتغيرات طفيفة في سياق الاستخدام، غير أن الباحثين يحذرون من أن الاتساق لا يعني بالضرورة الصواب، فالنموذج قد يكون متسقًا في أحكامه الخاطئة أيضًا، ولذلك يبقى التحقق من صلاحية التقييمات وعدالتها شرطًا لا غنى عنه قبل اعتمادها في قرارات مصيرية مثل الدرجات النهائية والقبول الأكاديمي، كما أن إتاحة الموجّه المستخدم علنًا تمكن المعلمين من تكييفه مع مقرراتهم واختبار حدوده قبل اعتماده، كما أن عرض الموجّه المستخدم وشرحه يمثل خطوة نحو تقييم أكثر شفافية وقابلية للتكرار في البحوث المستقبلية
وخلاصة القول، الاتساق هو حجر الأساس في أي تقييم عادل، وتشير هذه الدراسة إلى أن نموذج جي بي تي فور يمتلك هذا الأساس بدرجة عالية، غير أن الثقة الكاملة في المقيم الآلي تتطلب إلى جانب الاتساق صلاحية وعدالة وإشرافًا بشريًا يضمن أن يبقى التقييم في خدمة التعلم لا بديلًا عنه
