أتاح التقدم المتسارع في التعلم الآلي تطوير أنظمة دعم قرار تتفوق دقتها التنبؤية على قدرات البشر في سيناريوهات معينة، غير أن هذا التحسن جاء على حساب تزايد تعقيد النماذج حتى غدت صناديق سوداء تحجب منطقها الداخلي عن مستخدميها، فهذه النماذج مصممة أساسًا لتحسين الدقة التنبؤية، وهو ما يحد من قابليتها للتطبيق في مجالات حرجة كالطب والقانون والتمويل حيث لا تكفي الدقة وحدها بل تشكل القابلية للتفسير عاملًا حاسمًا في قبول النموذج والثقة بمخرجاته
ورغم تنامي أدبيات القابلية للتفسير وتعدد المقاربات المقترحة لتفسير النماذج، ما يزال ثمة نقص كبير في طرائق تقييم هذه المقاربات والحكم على جودتها، فمن دون تقييم منهجي يصعب المفاضلة بين مناهج التفسير المختلفة أو الاطمئنان إلى صحة التفسيرات التي تقدمها، وهو ما يجعل مسألة التقييم حلقة مفقودة في سلسلة بناء نماذج قابلة للتفسير جديرة بالاعتماد في المجالات الحساسة
وتتفرع عن مشكلة التقييم مشكلة أعمق هي غياب اتفاق على ما يعنيه التفسير الجيد أصلًا، فهل يقاس بمدى مطابقته لمنطق النموذج الداخلي أم بمدى فهم المستخدم له وانتفاعه به أم باستقراره أمام تغيرات طفيفة في المدخلات، ولكل جواب مقاييسه المفضلة وحدوده، ومن هنا يصبح رسم خريطة لطرائق التقييم القائمة وتصنيف أهدافها خطوة تأسيسية لأي تقدم لاحق في هذا المجال
أولًا: أهداف الدراسة ومنهجيتها
هدفت هذه الدراسة المسحية إلى تسليط الضوء على طرائق التقييم المختلفة المستخدمة في تفسير النماذج وتصنيفها ونقدها، إذ استعرضت الإجراءين السائدين في الأدبيات وهما التقييم النوعي المعتمد على أحكام البشر والتقييم الكمي المعتمد على مقاييس حاسوبية، وحللت مظاهر التقييم البشري وحدوده، وفحصت المقاييس الحاسوبية الصاعدة والأهداف التي صممت لخدمتها مثل الأمانة وقابلية الفهم والاستقرار، كما ناقشت التحديات التي تواجه هذه المقاييس عند التوسع أو التطبيق على أنواع مختلفة من مخرجات النماذج، والمشكلات المفاهيمية الأعمق المتصلة بغياب الإجماع على تعريف القابلية للتفسير ومتطلباتها
ثانيًا: أبرز النتائج
1- يسود في الأدبيات إجراءان لتقييم طرائق التفسير هما التقييم النوعي المعتمد على أحكام البشر والتقييم الكمي المعتمد على مقاييس حاسوبية
2- يتجلى التقييم البشري عادة في حدس الباحث أو في تجارب مصممة تصميمًا جيدًا، لكنه عرضة لتحيزات البشر وإجهادهم ولا يستطيع المفاضلة بين نموذجين مفاضلة كافية
3- تراجع استخدام التقييم البشري مؤخرًا وتقدمت المقاييس الحاسوبية بوصفها أسلوبًا أكثر صرامة لمقارنة المقاربات المختلفة وتقييمها، وهي مقاييس مصممة لخدمة أهداف محددة كالأمانة وقابلية الفهم والاستقرار
4- تواجه المقاييس القائمة تحديات عند توسيع نطاقها أو تطبيقها على أنواع مختلفة من مخرجات النماذج والمقاربات البديلة
5- قد لا تكون نتائج تقييم طرائق التفسير دقيقة تمامًا، فالاعتماد على انخفاض الاحتمال في قياس الأمانة يثير إشكالات ولا سيما أمام البيانات الخارجة عن التوزيع، ويزيد الأمر تعقيدًا غياب الإجماع على تعريف القابلية للتفسير ومتطلباتها وهو ما يظهر جليًا عند تقييم قابلية الفهم
6- يشكل إجراء التقييم نفسه موضوعًا بحثيًا مستقلًا يتطلب أدوات ومقاييس مضبوطة لا تقل صرامة عن طرائق التفسير التي يقيمها
ثالثًا: دلالات الدراسة وتطبيقاتها
يفيد هذا المسح الباحثين والممارسين في اختيار طرائق تقييم ملائمة لأهدافهم بدل الاكتفاء بانطباعات ذاتية عن جودة التفسير، فحين يقصد بناء نموذج للطب أو القانون أو التمويل يصبح التحقق الصارم من أمانة التفسير وقابلية فهمه واستقراره شرطًا لقبول النموذج من المستخدمين والجهات المنظمة على السواء، كما يوجه المسح الانتباه إلى أن المقاييس ليست حيادية بل تجسد تعريفات ضمنية لما يعنيه التفسير الجيد، وهو ما يستدعي وضوحًا مفاهيميًا قبل أي مقارنة كمية
وتدعو التحديات المرصودة، من بيانات خارجة عن التوزيع إلى غياب تعريف متفق عليه، إلى جهد بحثي مستقبلي يوحد المفاهيم ويطور مقاييس قابلة للتوسع عبر أنواع النماذج ومخرجاتها
وخلاصة القول إن تقييم طرائق تفسير النماذج ما يزال الحلقة الأضعف في بحوث القابلية للتفسير، وإن التقدم فيه رهين بمقاييس حاسوبية صارمة وبتوافق أوضح على تعريف القابلية للتفسير ومتطلباتها
المصدر الأصلي: https://www.mdpi.com/2078-2489/14/8/469
DOI: 10.3390/info14080469