تقدم هذه الدراسة أسلوبًا جديدًا لتقدير ثبات الاختبارات في تحليلات التعلم يأخذ في الحسبان مكاسب التعلم ذاتها، فالتقويم ركيزة أساسية في تحليلات التعلم ولا سيما عند تقييم التدخلات التعليمية وتوجيه التحسين في بيئات التعلم عبر الإنترنت، ومع تنامي استخدام نماذج اللغة الكبيرة في تصحيح الإجابات المفتوحة تثور تساؤلات حول ثبات الدرجات التي تولدها هذه النماذج، وبخاصة في الصيغ القصيرة القبلية والبعدية التي يتوقع فيها تحسن المتعلمين بين القياسين، فتقدير الثبات التقليدي قد يخلط بين تغير الأداء الحقيقي وخطأ القياس، ومن هنا تنبع الحاجة إلى أسلوب تقدير واع بالتعلم يفصل بينهما
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تطوير أسلوب لتقدير ثبات الاختبار يعدل أثر مكاسب التعلم باستخدام منهج التجزئة النصفية المستند إلى نموذج راش، والتحقق من صلاحيته عبر محاكاة في ظروف واقعية من البيانات المفقودة وتغير الدرجات، ثم تطبيقه على بيانات فعلية، إذ طبق الأسلوب على مجموعة بيانات ضمت 985 معلمًا خصوصيًا أكملوا 12 درسًا عبر الإنترنت، وجرى تصحيح إجاباتهم باستخدام نموذج جي بي تي 4، كما استخدم تحليل المكونات الرئيسة لفحص بنية المهارات الكامنة وراء الأداء، وبذلك جمعت الدراسة بين التطوير المنهجي والتحقق بالمحاكاة والتطبيق التجريبي على بيانات تقويم حقيقية واسعة
ثانيًا: أبرز النتائج
أظهرت المحاكاة أن الأسلوب المقترح يحقق تحسينات ملموسة في تقدير الثبات مقارنة بالأساليب الأساسية، وأظهر التطبيق أن التصحيح القائم على جي بي تي 4 حقق ثباتًا مرضيًا، إذ تفوقت الإجابات المفتوحة بمعامل ثبات بلغ 0.733 على بنود الاختيار من متعدد التي بلغت 0.652، بينما حقق نوعا البنود مجتمعين أعلى ثبات بلغ 0.774، وبينت النتائج أن عددًا قليلًا نسبيًا من البنود المفتوحة قدره 14 بندًا موزعة على ما متوسطه ثلاثة إلى أربعة دروس منجزة كان كافيًا لتجاوز عتبات الثبات الشائعة البالغة 0.7 فأعلى، وكشف تحليل المكونات الرئيسة عن بنية مهارية ذات بعد رئيس قوي مشترك عبر الدروس كلها تقريبًا وأبعاد فرعية قابلة للتفسير هي مهارات التدريس الخصوصي الاجتماعية والوجدانية والمعرفية والمتعلقة بالعدالة، بما يدعم نموذجًا قريبًا من النموذج ثنائي العامل
ثالثًا: دلالات الدراسة وتطبيقاتها
تبين الدراسة أن نماذج اللغة الكبيرة مثل جي بي تي 4 يمكن توظيفها بفعالية في التقويم التكويني للمهارات التعليمية المعقدة في سياقات التعلم عبر الإنترنت والتعلم المشخصن، بشرط التحقق تجريبيًا من ثبات درجاتها، ويقدم الأسلوب المقترح إطارًا مفتوح المصدر واعيًا بالتعلم لتقويم مدعوم بالذكاء الاصطناعي قابل للتوسع وذي ثبات موثق، فيستفيد منه مصممو أنظمة تحليلات التعلم في بناء اختبارات قصيرة قبلية وبعدية دون التضحية بجودة القياس، كما يستفيد منه القائمون على برامج إعداد المعلمين الخصوصيين في رصد نمو مهارات اجتماعية ومعرفية وعدالية دقيقة يصعب قياسها بالبنود المغلقة وحدها
كما تتميز الدراسة بأنها لم تكتف بالتطوير النظري بل خضعت أسلوبها لتحقق صارم عبر المحاكاة في ظل ظروف واقعية تتضمن بيانات مفقودة وتغيرات في الدرجات بين القياسين، وهي ظروف تحاكي ما يحدث فعلًا في منصات التعلم حيث لا يكمل جميع المتعلمين جميع الدروس وتتبدل مستوياتهم مع التعلم، وبذلك تكون التقديرات المنتجة أقرب إلى الاستخدام الميداني منها إلى النماذج المثالية، وتلفت النتيجة الخاصة بعدد البنود المفتوحة انتباهًا خاصًا، فكون أربعة عشر بندًا مفتوحًا موزعة على ثلاثة إلى أربعة دروس منجزة في المتوسط كافية لتجاوز عتبات الثبات المعتمدة يعني أن التقويم الجيد بمساعدة نماذج اللغة الكبيرة لا يستلزم اختبارات طويلة مرهقة، بل يمكن بناؤه خفيفًا ومتكررًا داخل مسار التعلم ذاته، وهذا يفتح الباب لتقويم تكويني مستمر يرافق المعلمين الخصوصيين أثناء تطورهم المهني لا في نهايته فقط
وخلاصة القول إن قياس النمو التعليمي ذاته قد يربك تقديرات ثبات الاختبارات إن لم تعالج مكاسب التعلم منهجيًا، وتقدم هذه الدراسة أسلوب تجزئة نصفية مستندًا إلى نموذج راش يعدل هذا الأثر، وقد أثبتت المحاكاة والتطبيق على 985 معلمًا خصوصيًا جدواه، إذ حقق تصحيح جي بي تي 4 للإجابات المفتوحة ثباتًا مرضيًا تجاوز العتبات المعتمدة بعدد محدود من البنود، بما يرسي أساسًا عمليًا لتقويم تكويني موسع وموثوق مدعوم بنماذج اللغة الكبيرة في بيئات التعلم الرقمية
