Learning to Love LLMs for Answer Interpretation

تقدم هذه الدراسة مجموعة بيانات جديدة واسعة للأسئلة الرياضية مفتوحة الاستجابة وإجاباتها، وتستكشف في الوقت ذاته إمكانات النماذج اللغوية الكبيرة في تقدير درجات إجابات الطلاب الصعبة التي تعجز عنها المصنفات القائمة على القواعد، وتنبع أهمية الدراسة من أن الأسئلة مفتوحة الاستجابة أغنى تعليميًا من الأسئلة مغلقة الإجابة، لكن تصحيحها الآلي ظل تحديًا يعوق انتشارها في أنظمة التعلم، وتجمع الدراسة بين تقديم مورد بيانات مفتوح وبين تجربتين تختبران جدوى النماذج اللغوية الكبيرة في التصحيح وآثار ذلك في تقدير إتقان الطلاب لدروسهم، وتكتسب الدراسة بعدًا تطبيقيًا إضافيًا من كون بياناتها مستمدة من منصة تعليمية عاملة في بيئات أفريقية محدودة الموارد، حيث تكون الحاجة إلى تصحيح آلي دقيق ومنخفض الكلفة أشد إلحاحًا لتمكين المعلمين من متابعة أعداد كبيرة من الطلاب بأسئلة مفتوحة غنية

أولًا: أهداف الدراسة ومنهجيتها

هدفت الدراسة أولًا إلى بناء مجموعة بيانات أمور التي تضم ثلاثة وخمسين ألف زوج من الأسئلة والإجابات الرياضية مفتوحة الاستجابة، مأخوذة من منصة روري لتعلم الرياضيات التي يستخدمها طلاب المرحلتين المتوسطة والثانوية في عدد من الدول الأفريقية، ثم أجرى الباحثون تجربتين، ففي التجربة الأولى قيموا أساليب متعددة قائمة على النماذج اللغوية الكبيرة، شملت التوجيه دون أمثلة والتوجيه بأمثلة قليلة والتوجيه بسلسلة التفكير، لتصحيح نسبة واحد في المئة من إجابات الطلاب التي يفشل المصنف القائم على القواعد في تصحيحها بدقة، وهي الحالات الأصعب والأكثر إرباكًا للأنظمة الآلية، وفي التجربة الثانية سعوا إلى فهم الصدق التبعي لتحسن دقة التصحيح، بتمرير الدرجات الناتجة عن أفضل الأساليب إلى نموذج تتبع المعرفة البايزي الذي يقدر إتقان الطلاب لدروس محددة، وتقوم فكرة التجربتين على أن دقة التصحيح ليست غاية في ذاتها، فالدرجة التي يمنحها النظام تغذي لاحقًا نماذج تقدير الإتقان التي تقرر تقدم الطالب أو حاجته إلى دعم إضافي، ومن ثم فإن أي خطأ في التصحيح يتضاعف أثره حين يبنى عليه قرار تعليمي، وهو ما يجعل اختبار الأساليب على أصعب الحالات وأكثرها إرباكًا للنظم القائمة اختبارًا حقيقيًا لقيمتها العملية

ثانيًا: أبرز النتائج

أظهرت التجربة الأولى أن أسلوب التوجيه بسلسلة التفكير كان الأفضل أداء، إذ صحح بدقة سبعة وتسعين في المئة من الحالات الحدية الصعبة، رافعًا الدقة الكلية للتصحيح من ستة وتسعين في المئة إلى سبعة وتسعين في المئة، أما التجربة الثانية فبينت أن تحسينات متواضعة في دقة النموذج يمكن أن تحدث تغيرات كبيرة في تقدير الإتقان، فحيث أخطأ المصنف القائم على القواعد في تصنيف حالة إتقان 6.9 في المئة من الطلاب عبر الدروس المنجزة، خفض أسلوب سلسلة التفكير بالنماذج اللغوية الكبيرة هذه النسبة إلى 2.6 في المئة، وهي نتيجة تكشف حساسية قرارات تقدير الإتقان لجودة التصحيح الآلي ودقته، فقد انخفضت نسبة الطلاب المصنفين خطأ في حالة إتقانهم إلى أقل من نصف ما كانت عليه مع المصنف القائم على القواعد، رغم أن التحسن الظاهر في الدقة الكلية للتصحيح لم يتجاوز نقطة مئوية واحدة، وهو ما يبرهن أن قيمة الأساليب الحديثة تتجلى في الحالات الصعبة القليلة العدد العميقة الأثر أكثر مما تتجلى في المتوسطات العامة للأداء

ثالثًا: دلالات الدراسة وتطبيقاتها

تشير نتائج الدراسة إلى أن النماذج اللغوية الكبيرة يمكن أن تكون ذات قيمة حقيقية في تصحيح الأسئلة قصيرة الإجابة وأسئلة ملء الفراغ في تعليم الرياضيات، بما قد يتيح اعتمادًا أوسع للأسئلة مفتوحة الاستجابة في أنظمة التعلم، فهذه الأسئلة تمنح صورة أصدق عن فهم الطلاب من أسئلة الاختيار من متعدد، كما تنبه الدراسة مطوري أنظمة التعلم التكيفية إلى أن الاستثمار في دقة التصحيح ليس ترفًا تقنيًا، لأنه ينعكس مباشرة على دقة تقدير الإتقان الذي تبنى عليه قرارات تخصيص التعلم والتدخل المبكر، وتقدم مجموعة بيانات أمور في الوقت ذاته موردًا مفتوحًا يتيح للباحثين تطوير أساليب التصحيح الآلي واختبارها على بيانات واقعية واسعة النطاق، كما تفيد النتائج القائمين على منصات تعلم الرياضيات في البيئات محدودة الموارد، إذ يمكن لدمج النماذج اللغوية الكبيرة في معالجة الحالات الصعبة وحدها، دون استبدال كامل لأنظمة التصحيح القائمة، أن يرفع جودة التقدير بتكلفة حاسوبية محدودة، ويحرر وقت المعلمين للتدخل التعليمي المباشر مع الطلاب الأكثر احتياجًا للدعم

وخلاصة القول إن الدراسة قدمت موردًا بياناتيًا ضخمًا لتصحيح الإجابات الرياضية المفتوحة، وأثبتت تجريبيًا أن توجيه النماذج اللغوية الكبيرة بسلسلة التفكير يحقق دقة عالية في أصعب الحالات، وأن هذا التحسن يمتد أثره إلى دقة تقدير إتقان الطلاب، بما يدعم توسيع استخدام الأسئلة مفتوحة الاستجابة في أنظمة تعلم الرياضيات