فجوة التقييم: لماذا تقلل مقاييس الدقة القياسية وكاشفات الانحراف من تقدير مخاطر نشر نماذج التنبؤ بشدة الحوادث

تستخدم سلطات الطرق على نحو متزايد نماذج التعلم الآلي لتصنيف المواقع عالية الخطورة وتخصيص موارد السلامة الشحيحة، وتُحكم هذه النماذج في الغالب دائمًا بدقتها التنبؤية على عينة احتجاز عشوائية، وتُظهر هذه الدراسة أن تلك الممارسة تخفي خطرًا مهمًا، إذ تقيم نماذج شدة الحوادث بالطريقة التي تستخدم بها فعليًا في الممارسة، فتُدرب النماذج على بيانات ماضية وتُطبق على سنوات لاحقة، ويقاس مستوى جودة القرار لا الدقة وحدها، مستندة إلى عشرات الآلاف من الحوادث المسجلة لدى الشرطة في جميع مناطق المملكة العربية السعودية الإدارية، لتكشف فجوة واسعة بين ما توحي به مقاييس الدقة التقليدية وبين القيمة القرارية الفعلية للنماذج عند نشرها زمنيًا

أولًا: أهداف الدراسة ومنهجيتها

هدفت الدراسة إلى كشف مدى إخفاء ممارسات التقييم القياسية لمخاطر نشر نماذج التنبؤ بشدة الحوادث، فدُربت النماذج على بيانات ماضية وطُبقت على سنوات لاحقة محاكاة لظروف النشر الحقيقية، وقيس تدهور جودة القرار مقارنة بتدهور الدقة عبر فجوات نشر زمنية ممتدة، وشملت البيانات 45288 حادثًا مسجلًا لدى الشرطة في المناطق الإدارية الثلاث عشرة كلها بالمملكة العربية السعودية بين عامي 2016 و2021، وفُحص أثر إعادة التدريب في استرداد جودة القرار، وسلوك كاشف الانحراف القياسي المتمثل في مؤشر استقرار المجتمع عبر ثمانية عشر إعدادًا تصميميًا، وقورن بمقياس واع بالقرار قائم على دوران مجموعة المواقع عالية الخطورة في مخرجات النموذج نفسه، كما قورن اختيار النماذج بمعيار الدقة باختيارها بمعيار جودة القرار

ثانيًا: أبرز النتائج

النتيجة الأولى: تدهورت جودة القرار بوتيرة أسرع بكثير من الدقة، فعبر فجوة نشر قدرها ثلاث سنوات انخفضت المساحة تحت المنحنى بأقل من اثنين في المئة، بينما هبط التداخل بين المواقع عالية الخطورة المتوقعة والحقيقية من 0.44 إلى 0.24 مقتربًا من القيمة المتوقعة بالصدفة، بما يعني أن النموذج يبدو دقيقًا وهو يفقد قدرته العملية على تحديد المواقع الأخطر

النتيجة الثانية: كانت مدة الصلاحية المفيدة للنموذج قصيرة، إذ اقتربت تصنيفات المواقع من العشوائية خلال نحو سنتين إلى ثلاث سنوات، ولم تسترد إعادة التدريب سوى جزء صغير من جودة القرار المفقودة بلغت ثلاثة نقاط مئوية من التداخل في أحسن الأحوال

النتيجة الثالثة: لم يتجاوز كاشف الانحراف القياسي المتمثل في مؤشر استقرار المجتمع عتبة التنبيه قط خلال هذا التدهور عبر ثمانية عشر إعدادًا تصميميًا، في حين كشف المقياس الواعي بالقرار القائم على دوران مجموعة المواقع عالية الخطورة للنموذج ذاته قيم دوران تراوحت بين 0.20 و0.60 من بيانات زمن النشر ذاتها

النتيجة الرابعة: اختلف اختيار النماذج عند التقييم على مستوى القرار عنه عند التقييم بالدقة، إذ اقترب معامل الارتباط بين ترتيبي المعيارين من الصفر، فلم يكن النموذج الأكثر دقة هو الأفضل أداء على مستوى القرار، بما يضلل الممارسة القياسية مرحلتي الاختيار والرصد معًا

ثالثًا: دلالات الدراسة وتطبيقاتها

تقتضي هذه النتائج أن تُقيم نماذج شدة الحوادث وتُرصد على مستوى القرارات التي تغذيها لا على مستوى الدقة التوقعية وحدها، فسلطات الطرق التي تخصص موارد السلامة بحسب تصنيفات نماذج قديمة قد توجه الإنفاق إلى مواقع لم تعد الأخطر فعليًا بينما تتراجع أولوية مواقع صاعدة الخطورة، ومن ثم ينبغي اعتماد مؤشرات واعية بالقرار مثل دوران مجموعة المواقع عالية الخطورة في الرصد الروتيني، وإعادة النظر في دورات إعادة التدريب في ضوء محدودية ما تسترده، وبناء اختبارات قبول للنشر تقيس جودة القرار عبر فجوات زمنية تحاكي الاستخدام الفعلي قبل اعتماد أي نموذج

وخلاصة القول إن فجوة التقييم في نماذج التنبؤ بشدة الحوادث فجوة حقيقية ومؤثرة، إذ تنهار جودة قراراتها خلال سنتين إلى ثلاث سنوات بينما تبقى دقتها الظاهرية شبه ثابتة وتصمت كاشفات الانحراف القياسية عن التنبيه، ومن ثم لا غنى عن التقييم والرصد على مستوى القرار لحماية قرارات السلامة المرورية من نماذج فقدت صلاحيتها العملية