تقويم ملفات الإنجاز بالذكاء الاصطناعي التوليدي للتفكير المركب في تعليم الأعمال

الخلفية والهدف

تتناول الدراسة إمكان استخدام الذكاء الاصطناعي التوليدي لمساندة تقويم ملفات الإنجاز التي توثق أداء الطلبة في مهارات التفكير المركب في تعليم الأعمال، وتنطلق من أن هذه الملفات تجمع منتجات متنوعة وتأملات وأدلة على حل المشكلات، ولذلك تمنح صورة أغنى من الاختبار القصير لكنها تفرض عبئًا كبيرًا على المقوم وتفتح مجالًا للاختلاف في تطبيق المحكات، وطوّر الباحثان مساعد GPT-eComplex ليطبق أداة eComplex على ملفات الإنجاز ويولد تقريرًا منظمًا، وكان الهدف اختبار اتساق أحكامه مع أحكام مقومين بشريين ودراسة قدرته على تقديم تغذية راجعة قابلة للاستخدام، لا استبدال الحكم الأكاديمي أو إثبات أن نموذجًا لغويًا يستطيع تقرير جودة التعلم بصورة مستقلة

التصميم والسياق والعينة

استخدمت الدراسة منهجًا نوعيًا استكشافيًا وثائقيًا مع تحليل ارتباطي لمقارنة التقويم البشري والآلي، وجرت في مدرسة دراسات عليا للأعمال في بيرو، وتكونت المادة الكاملة من 120 ملف إنجاز قدمها طلبة في 17 شعبة دراسية خلال مقررات عقدت من يوليو 2024 إلى يوليو 2025، ولم تكن العينة تجربة عشوائية على أفراد ولا مقارنة بين مجموعة علاج وضبط، بل تحليلًا لمنتجات تعليمية موجودة في سياق مؤسسي محدد، واختيرت عينة استطلاعية من 12 ملفًا تمثل 10% من المجموعة لمعايرة المساعد ومقارنة أحكامه تفصيليًا مع المقومين قبل تطبيقه مرة واحدة على الملفات المائة والعشرين

أداة التقويم وبناء المساعد

استند المساعد إلى سلم eComplex الذي يضم 27 بندًا موزعة على أربعة أبعاد للتفكير المركب هي التفكير المنظومي والعلمي والنقدي والابتكاري، ويقرأ النظام أدلة الملف ويعين مستويات الأداء وفق المحكات ثم ينظم تقريرًا يوضح مواطن القوة وجوانب التحسين، وقد بُني المساعد داخل بيئة ChatGPT بتعليمات وأمثلة وقواعد إخراج ثابتة، ولم يُقدَّم بوصفه نموذجًا مدربًا تدريبًا جديدًا على بيانات الطلبة، بل وكيلًا معدًا لتطبيق سلم محدد، وهذا التمييز مهم لأن جودة المخرجات تعتمد على وضوح المحكات وطريقة صياغة التعليمات ومعايرة الاستخدام البشري بقدر اعتمادها على قدرة النموذج العامة

إجراءات المعايرة والمقارنة

قيّم مدرسان عينة الملفات الاثني عشر بصورة مستقلة ومن دون الاطلاع على حكم المساعد، ثم طبق المساعد بعد مرحلة المعايرة على العينة نفسها، وقورنت 324 ملاحظة ناتجة من 12 ملفًا مضروبة في 27 بندًا، واستخدم الباحثان عدة مؤشرات لأن كل مؤشر يجيب عن جانب مختلف من الاتفاق، فحُسب التطابق الحرفي في الفئة ومعامل Kendall W لاتساق الترتيب ومعامل Fleiss kappa للاتفاق الفئوي المصحح عن المصادفة ومعامل الارتباط داخل الفئات بصيغتي الحكم الفردي والمتوسط، إضافة إلى ارتباط Spearman بين الدرجات، ويمنع هذا التنوع الاعتماد على رقم واحد قد يخفي اختلاف المقومين أنفسهم

نتائج الاتفاق في العينة الاستطلاعية

طابق المساعد تقييم المدرس الأول في 188 من 324 حكمًا أي 58%، وطابق المدرس الثاني في 175 حكمًا أي 54%، واتفق المقومان والمساعد جميعًا تطابقًا تامًا في 119 حكمًا أي 36٫7%، وبلغ Kendall W مقدار 0٫68 مع p أقل من 0٫001 بما يشير إلى اتساق رتبي جوهري، بينما بلغ Fleiss kappa مقدار 0٫28 مع اتفاق مشاهد قدره 0٫57، وهو اتفاق فئوي محدود بعد تصحيح المصادفة، وبلغ ICC(2,1) مقدار 0٫51 للحكم المفرد وICC(2,k) مقدار 0٫76 لمتوسط المقومين، كما بلغ ارتباط Spearman مقدار 0٫55 مع p أقل من 0٫001، وتوضح هذه القيم أن الأداة الآلية مفيدة بوصفها مقومًا مساعدًا لكنها لا تنتج حكمًا مطابقًا باستمرار للإنسان

جودة التقارير وتطبيق المجموعة الكاملة

أنتج المساعد البنية المطلوبة كاملة في جميع تقارير العينة الاستطلاعية، وصنف الباحثان جودة العرض والأسلوب بأنها مرتفعة في ثمانية تقارير من أصل اثني عشر أي 67%، غير أن أربعة تقارير افتقرت إلى استشهادات محددة من الملف أو إلى تبرير تفصيلي كاف لبعض الأحكام، وبعد المعايرة طبق المساعد مرة واحدة على الملفات المائة والعشرين لتكوين صورة وصفية عن الأداء، وأظهرت التقارير أن الملفات وفرت أدلة أوضح نسبيًا على التفكير المنظومي وعلى جوانب من التفكير النقدي والابتكاري، بينما كان البعد العلمي أضعف، وخصوصًا استخدام البيانات وصياغة الفرضيات، وهي نتيجة تشخيصية داخل العينة وليست مقارنة معيارية بجميع طلبة تعليم الأعمال

الدلالة التربوية والضوابط الأخلاقية

ترى الدراسة أن التقويم المدعوم بالذكاء الاصطناعي يمكن أن يقلل الوقت اللازم لفرز ملفات كبيرة وأن يزيد اتساق شكل التغذية الراجعة، لكنه يحتاج إلى مقوم بشري يراجع الأدلة ويصحح التفسير ويملك القرار النهائي، كما تتطلب الممارسة الإفصاح للطلبة عن دور الأداة وحماية الملفات والحد من إدخال البيانات الشخصية ومراجعة الانحياز، وقد حصل المشروع على موافقة لجنة أخلاقيات البحث في الجامعة الكاثوليكية البابوية في بيرو، وجُمعت الموافقات اللازمة لاستخدام الأعمال الأكاديمية، ويؤكد هذا الإطار أن الكفاءة التشغيلية لا تعفي المؤسسة من الشفافية والمسؤولية عن الحكم والبيانات

القيود

تحد الدراسة مؤسسة واحدة وتخصصات أعمال وعينة استطلاعية صغيرة من 12 ملفًا من قوة التعميم، كما أن الملفات المائة والعشرين جاءت من مقررات وشعب في سياق واحد ولم تستخدم عينة احتمالية وطنية أو دولية، واعتمد المساعد على تعليمات ومحكات محددة سلفًا ولم تختبر الدراسة بدائل متعددة للنماذج أو الصياغات، ولم تجمع تصورات المعلمين والطلبة عن العدالة والفائدة والقبول، ولم تبحث الفروق الإقليمية في الوصول إلى التقنية أو أثرها في الاستخدام، كذلك تعكس مؤشرات الاتفاق معايرة معينة وزمنًا معينًا وقد تتغير مع تحديث النموذج، ولا يثبت التصميم أن استخدام المساعد حسن تعلم الطلبة أو أن تقاريره أفضل من التغذية الراجعة البشرية من حيث الأثر اللاحق

التوصيات والخلاصة

توصي الدراسة بتوسيع الاختبار إلى تخصصات ومؤسسات وبلدان مختلفة، وزيادة حجم عينات المعايرة، ودراسة ثبات النتائج عبر نماذج وتعليمات متعددة، وإشراك الطلبة والمعلمين في تقييم وضوح التغذية الراجعة وعدالتها، كما تقترح تجارب تتبع ما إذا كان الطلبة يستخدمون الملاحظات لتحسين أعمال لاحقة، مع بناء إجراءات مؤسسية للتدقيق البشري والخصوصية وتوثيق نسخة النموذج والتعليمات، والخلاصة أن GPT-eComplex أظهر اتساقًا متوسطًا إلى جوهريًا بحسب المؤشر ونجح في إخراج تقارير منظمة، لكنه لم يحقق تطابقًا كاملًا مع المقومين، ولذلك تصلح نتائجه لدعم التقويم وتوسيعه لا للتقويم الذاتي المستقل أو لاتخاذ قرارات عالية المخاطر من دون مراجعة بشرية