تمهيد
يمكن للذكاء الاصطناعي التوليدي أن يحسن أعمال الطلاب ما دامت المساعدة متاحة لهم أثناء الإنجاز، غير أن الأداء الأفضل بمساعدة الذكاء الاصطناعي لا يدل بالضرورة على ما تعلمه الطلاب فعلًا أو ما يستطيعون أداءه باستقلال عنه، وتكمن الفجوة المنهجية في أن النواتج المجمعة في ظل ظروف مختلفة من حيث إتاحة الذكاء الاصطناعي وتوقيته وطبيعة المهمة كثيرًا ما تعامل كأنها قابلة للمقارنة، مع أنها تجيب عن أسئلة مختلفة أصلًا، فتختلط بذلك آثار التدخلات التعليمية وتضطرب الاستنتاجات المبنية عليها في البحوث والسياسات
وتزداد خطورة هذه الفجوة مع تسارع الدراسات التي تقيم تدخلات الذكاء الاصطناعي في التعليم وتقارن بينها أو تجمع نتائجها، إذ قد تصدر أحكام عامة عن فاعلية أداة أو استراتيجية بينما الحقيقة أن الظروف التي أنتجت الأرقام غير متكافئة من الأساس
أولًا: أهداف الدراسة ومنهجيتها
هدفت هذه الورقة المنهجية إلى اقتراح إطار يجعل ظروف التقييم صريحة قبل مقارنة آثار التدخلات أو توليفها، ويفصل بين ما يجري تقييمه، والمهمة المطلوبة، والظروف التي ينتج فيها الناتج، والأدلة المستخدمة للتحقق من استخدام الذكاء الاصطناعي أو عدم استخدامه
وطبق الإطار في تحليل ثانوي استرجاعي لدراسة وونغ وتشيو توضيحًا للمشكلة، إذ فحص كيف تتغير النتائج بين استراتيجية استخدام غير مقيد لتشات جي بي تي 4 واستراتيجية المتعلم أولًا التي يبدأ فيها الطالب بنفسه قبل أي مساعدة، عبر مهمتين مختلفتين وفي ظل بروتوكول الدراسة الخاص بمنع الذكاء الاصطناعي في مواضع محددة
ثانيًا: أبرز النتائج
فيما يتصل بالأصالة المقيمة من الخبراء تفوق الاستخدام غير المقيد لتشات جي بي تي 4 على استراتيجية المتعلم أولًا بفارق 0.78 نقطة في مهمة تحسين دمية محشوة، بينما تفوقت استراتيجية المتعلم أولًا على الاستخدام غير المقيد في مهمة لعبة مفردات بفارق 0.73 نقطة في الاتجاه المعاكس، بدلالة إحصائية عند قيمة احتمالية مصححة بطريقة هولم قدرها 0.01351، وأظهرت الفائدة النمط الاتجاهي نفسه، بينما لم تظهر التفاصيل والإسهاب هذا النمط
وتشدد الورقة على أن هذه النتائج لا تثبت إبداعًا عامًا ولا تعلمًا دائمًا ولا أثرًا سببيًا لإزالة الذكاء الاصطناعي، لأن ظروف المهمة وتسلسلها وإتاحتها تغيرت هي الأخرى بالتزامن، فالفارق المشاهد قد يعود إلى اختلاف المهام بقدر ما يعود إلى استراتيجية الاستخدام
ثالثًا: دلالات الدراسة وتطبيقاتها
الدلالة العملية للمعلمين والباحثين أن الأداء بمساعدة الذكاء الاصطناعي، والأداء المستقل، والاحتفاظ، والنقل، نواتج مختلفة لا ينبغي التعامل معها بوصفها بدائل متماثلة دون مبرر، فلكل منها سؤاله التربوي وطريقة قياسه المشروعة، ويقدم ملف الإبلاغ عن نظام التقييم المقترح وسيلة موجزة لتوثيق هذه الظروف قبل تعميم النتائج أو ترتيبها أو تجميعها
وعلى مستوى تصميم البحوث يدعو الإطار المؤلفين والمحكمين والمجلات إلى اشتراط الإفصاح الصريح عن ظروف الإتاحة والتوقيت والتحقق من الاستخدام في دراسات الذكاء الاصطناعي التعليمي، حتى تصبح المقارنات اللاحقة بين الدراسات عادلة وقابلة للدفاع علميًا
ويمتد خطر الخلط بين أنظمة التقييم إلى عمليات التوليف البحثي التي تجمع نتائج دراسات متعددة في حكم واحد، فحين توضع دراسة سمحت بالذكاء الاصطناعي طوال المهمة بجانب دراسة منعته بعد محاولة أولى مستقلة، يصبح متوسط الآثار رقمًا بلا معنى تربوي محدد، وقد تبنى عليه توصيات مناهج أو سياسات شراء أدوات أو قرارات تدريب معلمين، ومن هنا فإن إصلاح طريقة التوثيق قبل إجراء المقارنات شرط لسلامة البنية الاستدلالية لحقل بحوث الذكاء الاصطناعي في التعليم كله
ويوفر ملف الإبلاغ عن نظام التقييم الذي تقترحه الورقة صيغة عملية موجزة لهذا الإصلاح، إذ يلخص في موضع واحد ما قيم وكيف كانت المهمة وبأي ظروف إتاحة أنتج الناتج وبأي أدلة تحقق من الالتزام بتلك الظروف، فتستطيع فرق التحرير والمحكمون وقراء البحوث تقييم قابلية أي نتيجة للمقارنة أو التعميم في دقائق، بدل استنتاج الظروف تخمينًا من متن الدراسات أو تجاهلها بالكلية
وخلاصة القول إن الحكم على أثر الذكاء الاصطناعي التوليدي في التعلم لا يستقيم دون فصل صريح بين موضوع التقييم والمهمة وظروف إنتاج الناتج وأدلة التحقق من الاستخدام، كما أبان التحليل الاسترجاعي بانعكاس اتجاه التفوق بين مهمتين مختلفتين، فما يبدو تناقضًا في النتائج قد يكون في حقيقته اختلافًا في أنظمة التقييم، وملف الإبلاغ المقترح خطوة عملية لجعل هذه الأنظمة مرئية قبل أي مقارنة أو تعميم
