الأسئلة الاختيارية بالذكاء الاصطناعي مقابل الأسئلة البشرية: دراسة مقارنة في امتحان طبي عالي المخاطر

تعد صياغة أسئلة اختيار من متعدد عالية الجودة ركنًا أساسيًا في تقويم التعليم الطبي، لكنها مهمة تستنزف وقت الخبراء وجهدهم حين تؤدى يدويًا، ومع صعود النماذج اللغوية الكبيرة مثل تشات جي بي تي برزت إمكانية توليد هذه الأسئلة آليًا بسرعة وكلفة أقل، غير أن كفاءة هذه الأسئلة ظلت غير مؤكدة، ولا سيما في الامتحانات عالية المخاطر التي ترتبط بنتائجها قرارات الترخيص المهني وسلامة المرضى

وفي هذا السياق تأتي هذه الدراسة لتقويم جودة الأسئلة المولدة بالذكاء الاصطناعي وخصائصها القياسية مقارنة بالأسئلة التي يصوغها البشر، في سياق امتحان ترخيصي فعلي، بما يقدم دليلًا تجريبيًا يساعد كليات الطب وهيئات الامتحانات على تحديد الدور المناسب للذكاء الاصطناعي في بناء بنوك الأسئلة وحدود الاعتماد عليه

أولًا: أهداف الدراسة ومنهجيتها

هدفت الدراسة إلى تقويم جودة الأسئلة التي ولدها نموذج تشات جي بي تي 4 أو وخصائصها السيكومترية مقارنة بالأسئلة البشرية في امتحان طبي عالي المخاطر، واعتمدت تصميم دراسة أترابية استباقية بين أطباء يستعدون لامتحان الطب الطارئ الأساسي الذي نظمته كلية هونغ كونغ لطب الطوارئ في أغسطس 2024، إذ حاول المشاركون مجموعتين من مئة سؤال لكل منهما، إحداهما مولدة بالذكاء الاصطناعي والأخرى بشرية، وقيم مراجعون خبراء الأسئلة من حيث الصحة الواقعية والملاءمة والصعوبة والاتساق مع تصنيف بلوم للمستويات المعرفية وعيوب صياغة البنود، وأجريت تحليلات سيكومترية شملت مؤشري الصعوبة والتمييز وثبات الاختبار، إضافة إلى قياس أداء المرشحين وكفاءة الوقت المستغرق في توليد الأسئلة

ثانيًا: أبرز النتائج

1، كانت أسئلة الذكاء الاصطناعي أسهل من الأسئلة البشرية، إذ بلغ متوسط مؤشر صعوبتها 0.78 بانحراف معياري قدره 0.22 مقابل 0.69 بانحراف معياري قدره 0.23 للأسئلة البشرية، بفارق دال إحصائيًا

2، تشابهت مؤشرات التمييز بين المجموعتين، إذ بلغ متوسطها 0.22 لأسئلة الذكاء الاصطناعي مقابل 0.26 للأسئلة البشرية، وبلغ الاتفاق بين المقيمين حدًا متوسطًا بمعامل ارتباط داخل الفئة قدره 0.62

3، رصد المراجعون في أسئلة الذكاء الاصطناعي أخطاء واقعية بنسبة 6 في المئة مقابل 4 في المئة في الأسئلة البشرية، وحالات عدم ملاءمة بنسبة 6 في المئة مقابل صفر في الأسئلة البشرية، ومستويات صعوبة غير مناسبة بنسبة 14 في المئة مقابل 1 في المئة

4، اختبرت أسئلة الذكاء الاصطناعي مهارات معرفية دنيا في معظمها، بينما قيمت الأسئلة البشرية مهارات عليا بصورة أفضل، بفارق دال إحصائيًا عند مستوى دلالة قدره 0.003

5، خفض الذكاء الاصطناعي زمن توليد الأسئلة خفضًا كبيرًا، إذ استغرق 24.5 ساعة عمل بشرية مقابل 96 ساعة لتوليد الأسئلة بالطريقة التقليدية

ثالثًا: دلالات الدراسة وتطبيقاتها

تستدعي هذه النتائج موقفًا متوازنًا من توظيف الذكاء الاصطناعي في بناء الامتحانات، فهو يمتلك قدرة حقيقية على توليد الأسئلة بكفاءة زمنية عالية وبخصائص تمييز مقبولة، لكنه ما زال يفتقر إلى العمق اللازم للتقويمات المعقدة، وترتفع في أسئلته نسب الأخطاء وعدم الملاءمة والصعوبة غير المناسبة، ويبقى تركيزه على المستويات المعرفية الدنيا قيدًا جوهريًا في امتحانات يفترض أن تقيس التحليل والحكم السريري

ويبدو الجمع بين كفاءة الذكاء الاصطناعي وإشراف الخبراء هو النموذج الأمثل، إذ تستخدم النماذج اللغوية في توليد مسودات أولية واسعة ثم يتولى الخبراء مراجعتها وتصحيحها ورفع مستواها المعرفي، وهو توجه يفيد الباحثين العرب في القياس والتقويم الطبي عند بناء بنوك أسئلة موثوقة توفر الجهد دون التضحية بجودة القرارات عالية المخاطر المرتبطة بها

كما تنبه النتائج هيئات الامتحانات إلى ضرورة بناء حوكمة واضحة لاستخدام النماذج اللغوية في إعداد الأسئلة، تشمل توثيق مصدر كل سؤال ومعايير قبوله ومراجعة ثنائية لأخطائه الواقعية ومستواه المعرفي، ففارق الزمن الكبير الذي يوفره الذكاء الاصطناعي ينبغي أن يعاد استثماره في المراجعة البشرية المعمقة لا أن يختصر على حساب الجودة والسلامة

وخلاصة القول إن تشات جي بي تي 4 أو يولد أسئلة اختيار من متعدد بسرعة وكفاءة واعدة، لكن أسئلته أسهل وأكثر أخطاء وأدنى معرفيًا من الأسئلة البشرية، فتظل المراجعة البشرية الخبيرة شرطًا لا غنى عنه في الامتحانات الطبية عالية المخاطر