يواجه تقييم كشف الشذوذ غير الموجه تحديات جسيمة بسبب غياب التصنيفات المرجعية الحقيقية من جهة، والطبيعة المعقدة لتوزيعات الحالات الشاذة من جهة أخرى، فالمقاييس التقليدية لا تستطيع الحكم على أداء النموذج حين لا تتوافر تصنيفات معتمدة يقاس عليها، وهو واقع كثير من التطبيقات العملية التي يُكتشف فيها الشذوذ قبل تصنيفه، ومن هنا تقدم هذه الدراسة مؤشرين داخليين جديدين للتقييم هما مؤشر فصل الشذوذ ومؤشر فصل الشذوذ وتداخله، مصممين لتجاوز قيود المقاييس التقليدية وتمكين الباحثين والممارسين من تقييم نماذجهم وضبطها حتى في غياب أي تصنيفات مرجعية، بما يملأ فراغًا منهجيًا ملموسًا في هذا الميدان
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تطوير مقاييس تقييم داخلية مبتكرة لنماذج كشف الشذوذ غير الموجه، إذ يقيس مؤشر فصل الشذوذ درجة الانفصال بين الحالات الشاذة المكتشفة والتوزيعات الطبيعية، بينما يدمج مؤشر فصل الشذوذ وتداخله بين درجة الفصل والتداخل التوزيعي بين الطرفين، فيقدم مقاربة تقييمية أكثر شمولًا لأداء النماذج في غياب التصنيفات الحقيقية، ولاختبار المؤشرين أجرت الدراسة تجارب واسعة عبر اختبارات تدهور الدقة وخوارزميات كشف الشذوذ غير الموجه على مجموعات بيانات متعددة، تميزت بتفاعلات معقدة بين السمات ومستويات متفاوتة من تلوث البيانات بالحالات الشاذة، وقارنت النتائج بالمقاييس التقليدية وعلى رأسها درجة إف واحد، لبيان مدى اتساق المؤشرين الجديدين مع معايير التقييم المعروفة حين تتوافر التصنيفات
ثانيًا: أبرز النتائج
أشارت النتائج إلى أن المؤشرين المقترحين يرتبطان باستمرار بالمقاييس التقليدية مثل درجة إف واحد عبر مجموعات البيانات المعيارية المتنوعة، وأظهر مؤشر فصل الشذوذ وتداخله ارتباطًا أعلى بدرجة إف واحد مقارنة بمؤشر فصل الشذوذ وعدد من المقاييس الداخلية الكلاسيكية الأخرى، كما أكدت النتائج فائدة هذا المؤشر بوصفه مقياس تحقق داخليًا لتحسين النماذج في مهام الشذوذ غير الموجه، فهو يرشد ضبط النماذج واختيار أفضلها دون الحاجة إلى تصنيفات مرجعية، وتبين فضلًا عن ذلك أن المؤشرين المقترحين يتمتعان بكفاءة حسابية وقابلية للتوسع والتكيف مع طيف واسع من سيناريوهات كشف الشذوذ
وتتضح قيمة هذين المؤشرين عند مقارنتهما بالمقاييس الداخلية الكلاسيكية التي حاولت بدورها تقييم كشف الشذوذ دون تصنيفات مرجعية، فقد تفوق مؤشر فصل الشذوذ وتداخله عليها في قوة ارتباطه بدرجة إف واحد، وهو ما يعني أنه الأقرب إلى محاكاة الحكم الذي كان سيصدر لو توافرت التصنيفات الحقيقية، ويرجع ذلك إلى إدماجه بعدين متكاملين هما شدة الفصل بين الشاذ والطبيعي ومدى تداخل توزيعيهما، فبعض النماذج تفصل بقوة ظاهرة لكن توزيعاتها متداخلة بما يجعل قراراتها هشة عند العتبات الفعلية، وبعضها عكس ذلك، ولا يلتقط مقياس أحادي البعد هذه الصورة المركبة التي يلتقطها المؤشر المقترح
ثالثًا: دلالات الدراسة وتطبيقاتها
تتجلى القيمة العملية لهذه الدراسة في ميادين كثيرة يعز فيها الحصول على بيانات مصنفة، ففي الأمن السيبراني تتدفق الأحداث بلا تصنيفات مسبقة، وفي كشف الاحتيال تتخفى الحالات الشاذة وتتطور أنماطها باستمرار، وفي الصيانة التنبؤية تسبق الأعطال ندرة الأمثلة الموثقة لها، وفي كل هذه الميادين يمنح التقييم الداخلي المضبوط فرق العمل قدرة على تطوير نماذجهم ومراقبة أدائها بثقة، كما تفتح الدراسة الباب أمام دمج مؤشر فصل الشذوذ وتداخله في خطوط أنابيب التعلم الآلي المؤتمتة، بحيث يُختار النموذج الأفضل ويُضبط تلقائيًا، ويظل المؤشر قابلًا للتطوير نحو أنواع بيانات وسيناريوهات كشف أكثر تخصصًا
وتتعاظم الفائدة العملية للمقاييس الداخلية الموثوقة في بيئات الإنتاج الحية التي تعمل فيها نماذج كشف الشذوذ باستمرار على بيانات متدفقة غير مصنفة، إذ يمكن لفرق الأمن السيبراني وكشف الاحتيال والصيانة التنبؤية أن تراقب تدهور نماذجها أو تحسنها دون انتظار حملات تصنيف يدوية مكلفة وبطيئة، كما يمكن توظيف المؤشر في اختيار النموذج الأنسب من بين بدائل متنافسة قبل النشر، وفي ضبط معلماته ضبطًا منهجيًا بدل التجريب العشوائي، وبما أن المؤشرين المقترحين يتسمان بالكفاءة الحسابية وقابلية التوسع فإنهما يصلحان للبيانات الضخمة والسيناريوهات المتغيرة، ويشكلان لبنة يمكن تكييفها مع أنواع شذوذ متخصصة في قطاعات أخرى كالطاقة والتصنيع والخدمات المالية
وخلاصة القول إن هذه الدراسة قدمت مؤشري فصل الشذوذ وفصل الشذوذ وتداخله بوصفهما أداتين داخليتين لتقييم كشف الشذوذ غير الموجه في غياب التصنيفات المرجعية، وأثبتت ارتباطهما المتسق بالمقاييس التقليدية وتفوق ثانيهما في ذلك، مع كفاءة حسابية وقابلية واسعة للتطبيق، بما يجعلهما إضافة منهجية عملية لميادين الأمن السيبراني وكشف الاحتيال والصيانة التنبؤية وغيرها
