تتزايد قدرة النماذج اللغوية الكبيرة على إصلاح الثغرات الأمنية في البرمجيات، غير أن معظم التقويمات المتاحة لهذه القدرة تحكم على الرقعة المقترحة بمعيار واحد محدود، فإما أن تقيس تشابهها مع إصلاح المطور الأصلي، وإما أن تكتفي بالتحقق من إزالة الضعف الأمني ذاته، وكلا المعيارين لا يكشف ما إذا كانت الرقعة قد عطّلت كودًا كان يعمل بصورة سليمة قبل تطبيقها، وهنا تكمن فجوة تقويمية خطيرة، لأن رقعة تزيل الثغرة لكنها تكسر وظائف عاملة قد تكون أسوأ عمليًا من عدم الإصلاح، وفي هذا السياق تأتي هذه الدراسة لتقدم تقويمًا منضبطًا بالتنفيذ الفعلي يقيس قدرة النماذج اللغوية على إصلاح الثغرات مع الحفاظ على الوظائف، ويختبر في الوقت نفسه حدود استخدام النماذج اللغوية ذاتها محكّمات في هذا النوع من التقويم
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى تقويم ثمانية نماذج لغوية كبيرة تجارية ومفتوحة المصدر في إصلاح ثغرات برمجية، مستندة إلى 922 رقعة لثغرات في لغة جافا سكريبت، وقد قيّم الباحثون الأداء على محورين متمايزين هما تحييد الثغرة أي إزالة الضعف الأمني، والحفاظ على الوظيفة أي عدم كسر الكود العامل، ولما كانت الاختبارات البرمجية غير متاحة على هذا النطاق الواسع، فقد اعتمدت الدراسة في القياس على محكّم من النماذج اللغوية يعمل وفق مرجع مقارن، مع معايرة هذا المحكّم بالتنفيذ الفعلي على معيار تنفيذي مكون من 144 رقعة، وعلى 254 رقعة لثغرات موثقة في لغة جافا، إضافة إلى توظيف محكّم ثان من عائلة نماذج مختلفة للمقارنة بين المحكّمين، وأخيرًا إتاحة أدوات التقويم والمعيار التنفيذي للباحثين للبناء عليها
ثانيًا: أبرز النتائج
أظهرت النتائج أن أفضل نموذج لم يُصلح سوى 23 في المئة من الثغرات وفق تقدير المحكّم، وأن كفاءة التكلفة قلبت ترتيب الدقة بين النماذج رأسًا على عقب، فليست النماذج الأعلى دقة هي الأجدى اقتصاديًا بالضرورة، غير أن النتيجة الجوهرية للدراسة تعلقت بأداة القياس ذاتها، فقد تبين أن المحكّمَين كليهما يبلّغان عن إصلاحات مفرطة بمعدلات أعلى مما يؤكده التنفيذ الفعلي، إذ لم تتجاوز دقة إبلاغهما نسبة تتراوح بين 5 و10 في المئة، ومع ذلك اتفق المحكّمان معًا على المحور الوظيفي بدرجة أعلى بكثير من اتفاقهما مع التنفيذ، إذ بلغ معامل كابا بينهما 0.75 مقابل 0.26 أو أقل لاتفاق أي منهما مع التنفيذ، ما يعني أن اتفاق المحكّمين يقيس الثبات لا الصدق، وأكدت الاختبارات على كود جافا الحقيقي استمرار هذا الإفراط في الإبلاغ مع تباعد تقديرات المحكّمين للصحة، فلا يبقى أي محكّم منفرد جديرًا بالثقة الكاملة
ثالثًا: دلالات الدراسة وتطبيقاتها
تضيف النتائج تفصيلًا مهمًا حول ظاهرة الإفراط في الإصلاح ذاتها، فهذه الظاهرة حقيقية لكنها غير شائعة عند قياسها بالتنفيذ الفعلي، إذ لا تمثل سوى بضع نقاط مئوية من الرقع التي تزيل الثغرات، أو أقل من 2 في المئة عند استبعاد سيناريو واحد عرضة للآثار المصطنعة، مع التأكيد أن هذه الأرقام حدود دنيا لا تقديرات نهائية، وتنطوي هذه الخلاصات على دلالات منهجية حاسمة لمجال تقويم إصلاح الثغرات آليًا، إذ يجب أن يقوم تقويم رقع الأمن على تشغيل الكود فعليًا باختبارات كافية القياس، وأن يقتصر دور المحكّم من النماذج اللغوية على ترتيب النماذج لا على إصدار أحكام نهائية، وأن توزن التكاليف في أي مقارنة بين النماذج، وهي دلالات تمتد إلى مطوري أدوات الإصلاح الآلي والفرق الأمنية التي تفكر في اعتمادها في بيئات الإنتاج الحقيقية
وتمتد دلالات هذه الدراسة إلى قرارات عملية تواجه فرق الأمن السيبراني وتطوير البرمجيات عند اختيار نماذج لغوية لمساعدتها في معالجة الثغرات، فالانقلاب الذي أحدثه احتساب التكلفة في ترتيب النماذج يعني أن النموذج الأعلى دقة على الورق قد لا يكون الخيار الأرشد حين تكون الرقع المطلوبة بمئات الآلاف وتتفاوت كلفة الاستدعاءات تفاوتًا كبيرًا، كما أن إتاحة أدوات التقويم والمعيار التنفيذي القابل للتشغيل تمنح المجتمع البحثي بنية اختبار مشتركة يمكن البناء عليها بدل الاكتفاء بادعاءات تسويقية أو تقويمات ذاتية، ويبقى الدرس المنهجي الأعمق أن أي وكيل آلي للتقويم، مهما بلغ اتفاقه مع أقرانه، لا يغني عن مواجهة الكود الحقيقي بالتنفيذ والاختبار، فالثبات بين المحكّمين خاصية إحصائية مريحة لكنها لا تضمن أن الحكم يطابق الواقع البرمجي الفعلي
وخلاصة القول إن هذه الدراسة قومت ثمانية نماذج لغوية كبيرة في إصلاح 922 رقعة ثغرات بمعايرة تنفيذية دقيقة، فأظهرت محدودية نسب النجاح وانقلاب ترتيب النماذج عند احتساب التكلفة، وكشفت أن محكّمات النماذج اللغوية تفرط في الإبلاغ عن الإصلاحات الكاسرة للوظائف وأن اتفاقها المتبادل يقيس الثبات لا الصدق، بما يفرض أن يكون التنفيذ الفعلي أساس تقويم رقع الأمن البرمجي
