إطار آداك التكيفي لتقدير ميزانية ذاكرة التخزين المؤقت في استدلال النماذج اللغوية الكبيرة طويلة السياق

يعيق نشر النماذج اللغوية الكبيرة على الأجهزة محدودة الموارد ما تستهلكه آلية ذاكرة التخزين المؤقت للمفاتيح والقيم من ذاكرة واسعة، فهذه الآلية تخزن تمثيلات الرموز السابقة لتفادي إعادة حسابها عند توليد كل رمز جديد، لكنها تنمو باطراد مع طول السياق حتى تستنزف ذاكرة الأجهزة الطرفية وتحد من أطوال النصوص القابلة للمعالجة، وتعالج المقاربات التقليدية هذه المشكلة بتثبيت عدد الرموز المحتفظ بها عند قيمة واحدة جامدة لا تراعي اختلاف المهام وتباين أهمية أجزاء السياق

ولتجاوز هذا الجمود تقترح دراسة نشرتها مجلة فرونتيرز في الذكاء الاصطناعي إطارًا تكيفيًا لتقدير ميزانية ذاكرة التخزين المؤقت يسمى آداك، يهدف إلى تحليل استدلال النماذج اللغوية الكبيرة طويلة السياق وضبط استهلاكها للذاكرة بصورة ديناميكية، بما يمهد لتشغيل هذه النماذج على عتاد مقيد الموارد دون التضحية غير المدروسة بجودة المخرجات، ويفصل بين مرحلة تقدير الميزانية ومرحلة تنفيذ الانتباه بما يجعل التقدير خطوة آمنة قابلة للتدقيق

أولًا: أهداف الدراسة ومنهجيتها

يقدم إطار آداك ثلاث استراتيجيات متكاملة لتقدير الميزانية هي العتبة القائمة على الإنتروبيا، وجدول البحث الواعي بالمهمة، وشبكة سياسات خفيفة الوزن، وقارنت الدراسة أداء الإطار بخطوط أساس تستخدم قيمة ثابتة قدرها 2048 للرموز المحتفظ بها في الذاكرة، عبر ستة عشر إعدادًا تجريبيًا على ثلاثة نماذج لغوية هي كوين 3 بحجم أربعة مليارات معامل، وكوين 3 بحجم ثمانية مليارات معامل، وميسترال بحجم سبعة مليارات معامل، بما يغطي أحجامًا وبيئات استدلال متنوعة تسمح بتقويم عمومية الإطار

ثانيًا: أبرز النتائج

1، كشف إطار آداك عن خفض تقديري في حجم ذاكرة التخزين المؤقت يصل إلى 17.9 في المئة مقارنة بخطوط الأساس ذات القيمة الثابتة 2048 عبر الإعدادات الستة عشر المختبرة

2، شملت التغطية التجريبية ثلاثة نماذج متفاوتة الأحجام وستة عشر إعدادًا، بما يدعم قابلية الإطار للتطبيق عبر بيئات استدلال متنوعة وأحجام نماذج مختلفة

3، يتيح التصميم المفكك للإطار تقديرًا آمنًا للميزانية بوصفه سقفًا ديناميكيًا يمكن أن تعمل تحته نواة الانتباه المتفرقة في المراحل اللاحقة من خط الاستدلال

ثالثًا: دلالات الدراسة وتطبيقاتها

يفيد هذا الإطار مهندسي أنظمة الذكاء الاصطناعي والباحثين في كفاءة الاستدلال، إذ يوفر آلية عملية لتقدير ميزانية الذاكرة قبل تشغيل نواة الانتباه، بما يساعد على نشر النماذج اللغوية الكبيرة على أجهزة محدودة الموارد وتوسيع تطبيقاتها في البيئات الطرفية والمؤسسات التي تفضل التشغيل المحلي لأسباب الخصوصية والكلفة، ويمثل موضوع كفاءة الذاكرة في الاستدلال مجالًا خصبًا لطلبة الدراسات العليا العرب الراغبين في البحث عند تقاطع تعلم الآلة وهندسة الأنظمة، خاصة مع تزايد الطلب على تشغيل النماذج الكبيرة بموارد متواضعة

ويندرج هذا العمل ضمن تيار بحثي متنام يعنى بكفاءة تشغيل النماذج اللغوية الكبيرة، وهو تيار تتزايد أهميته العملية مع انتقال هذه النماذج من مختبرات الشركات الكبرى إلى الجامعات والمؤسسات متوسطة الإمكانات، ويمكن للباحثين العرب وطلبة الدراسات العليا في هندسة البرمجيات وعلوم الحاسوب الإفادة من فكرة السقف الديناميكي للميزانية في تصميم أنظمة استدلال تخدم تطبيقات عربية كالمساعدات التعليمية وخدمة العملاء بالعربية، حيث تكون الموارد الحاسوبية محدودة وأطوال السياقات متباينة بين الاستعلامات القصيرة والوثائق الطويلة، كما يفتح الإطار أسئلة بحثية لاحقة حول دمج تقدير الميزانية مع تقنيات الضغط والكمية وجدولة الطلبات المتزامنة في بيئات خدمة حقيقية وتجدر الإشارة إلى أن الإطار لا يعدل بنية النماذج ذاتها ولا يعيد تدريبها، بل يعمل طبقة تقدير سابقة لأي نواة انتباه متفرقة، وهذه الحدودية الواضحة في التصميم تجعل تبنيه منخفض المخاطر في الأنظمة القائمة وتسمح بقياس أثره بمعزل عن عوامل أخرى كثيرة

وخلاصة القول إن تقدير ميزانية ذاكرة التخزين المؤقت بصورة تكيفية، بدلًا من تثبيتها بقيمة واحدة لكل المهام والسياقات، يمثل خطوة عملية نحو استدلال أكثر كفاءة للنماذج اللغوية الكبيرة طويلة السياق، ويقدم إطار آداك باستراتيجياته الثلاث نقطة انطلاق يمكن تطويرها وربطها بنواة انتباه متفرقة فعلية وتقويمها في مهام توليد واقعية أوسع في دراسات لاحقة