أصبحت نماذج خليط الخبراء خيارًا واسع الانتشار في تدريب النماذج واسعة النطاق، إذ تخفض كلفة الحوسبة عبر استراتيجية التنشيط المتناثر التي لا تفعّل في كل خطوة إلا جزءًا من الخبراء، غير أن هذه البنية ما تزال تواجه مشكلات مؤثرة في أدائها في مقدمتها تكرار المعرفة بين الخبراء وفيض الرموز الناجم عن التوجيه الثابت، فحين يعجز التوجيه عن توزيع الرموز توزيعًا سليمًا تزدحم بعض الخبراء برموز فائضة عن سعتها بينما تخبو أخرى شبه معطلة، وحلول هذا الخلل القائمة بدورها لا تخلو من العيوب، وتقترح الدراسة استراتيجية تحسين تعالج المشكلة من جذورها التنبؤية بإعادة التفكير في كيفية تخصيص السعات وضبط أهداف التوازن أثناء التدريب
أولًا: أهداف الدراسة ومنهجيتها
تجمع الاستراتيجية المقترحة بين خبراء الإجماع والتخصيص الدينامي للسعة، ففي بنية خبير الإجماع يستخدم نموذج أريما للتنبؤ بالسلاسل الزمنية لتقدير توزيع الأحمال المستقبلي على الخبراء، ثم تخصص سعة دينامية لكل خبير بما يخفف تقلبات التوجيه خلال مرحلة التدريب الأولية التي تشتد فيها الاضطرابات، وبمقارنة الحمل المتوقع بالحمل الفعلي يعاد بناء دالة الخسارة بحيث لا تسعى إلى توازن مطلق قسري بين الخبراء، وتتفادى الاستراتيجية بذلك عيوب الحلول القائمة التي ترفع سعة الخبراء أو تشدد قيود دالة الخسارة لفرض التوازن، وما يرافقها من هدر للموارد الحوسبية بسبب تعقد دوال الخسارة وخمول سعات حرة لدى بعض الخبراء لا تجد رموزًا تشغلها
ويعني التخلي عن مطاردة التوازن المطلق أن دالة الخسارة المعاد بناؤها تعاقب على الانحرافات الضارة عن الحمل المتوقع فحسب، فتترك لتوزيع الرموز الفعلي مرونة تتوافق مع طبيعة البيانات وتباين احتياجات الخبراء، بدل إجباره على توزيع مصطنع متساو لا يراعي تخصص الخبراء ولا اقتصاديات التدريب
ثانيًا: أبرز النتائج
اختبر الباحثون الطريقة على نموذج سويتش ترانسفورمر الأساسي ذي الخبراء الثمانية، فحققت متوسط دقة بلغ 81.55 في المئة عبر تسع من مهام معيار غلو، بتحسن قدره 1.07 في المئة عن خط الأساس، وكانت المكاسب لافتة في مجموعات البيانات غير المتوازنة مثل بيانات إم آر بي سي إذ وصل التحسن إلى 1.8 في المئة، كما أثبتت تجارب إضافية فاعلية الطريقة عند رفع عدد الخبراء إلى ستة عشر خبيرًا واثنين وثلاثين خبيرًا، بما يشير إلى قابلية الاستراتيجية للتوسع مع نمو البنية، وتدل هذه النتائج مجتمعة على أن التنبؤ الاستباقي بالأحمال يعالج تقلبات التوجيه في مهدها خلال التدريب المبكر بدل معالجة آثارها بعد وقوعها بقيود خسارة أشد، وأن إعادة بناء دالة الخسارة على أساس الفجوة بين المتوقع والفعلي تحقق توازنًا وظيفيًا أرشد من التوازن الشكلي المطلق
ثالثًا: دلالات الدراسة وتطبيقاتها
تقدم النتائج لمطوري النماذج اللغوية الضخمة مسارًا عمليًا لرفع كفاءة بنى خليط الخبراء دون هدر حوسبي إضافي، إذ تستثمر التنبؤ الزمني في تخصيص السعات وتحرر التدريب من قيود توازن مصطنعة تستهلك الموارد دون مردود، وتنسجم الاستراتيجية مع الحاجة المتزايدة إلى تدريب مستدام أقل كلفة وأعلى أداء في ظل تصاعد أحجام النماذج وتكاليف تشغيلها، كما تفتح المجال لدمج منبئات زمنية أخرى غير أريما ولاختبار النهج على بنى ومهام أوسع، ويمتد أثر الفكرة إلى ما وراء النموذج المختبر، إذ يمكن نقل مبدأ التخصيص الدينامي القائم على التنبؤ إلى أي بنية توجيه متناثرة تعاني اختلال الأحمال وفيض الرموز عن سعات خبرائها
ويتصل هذا العمل بمسألة أوسع في اقتصاديات الذكاء الاصطناعي المعاصر، فمع تضخم أحجام النماذج اللغوية وتكاليف تدريبها أصبحت كفاءة التوجيه المتناثر عاملًا حاسمًا في جدوى بنى خليط الخبراء ذاتها، وأي هدر في السعات أو اضطراب في توزيع الرموز يترجم مباشرة إلى طاقة ووقت وموارد مهدرة، ومن هنا تأتي قيمة استراتيجية تتنبأ بالأحمال قبل وقوع اختلالها بدل أن تلاحق الاختلال بقيود تصحيحية أثقل، وتدل مكاسب مجموعات البيانات غير المتوازنة خصوصًا على أن البيانات الواقعية متفاوتة التوزيع هي المستفيد الأكبر من هذا النهج التنبؤي، ويمهد نجاح الطريقة عند مضاعفة أعداد الخبراء لتطبيقها في بنى أضخم حيث تشتد مشكلات التوجيه وتتضاعف كلفة سوء التوزيع
وخلاصة القول إن الجمع بين خبراء الإجماع والتنبؤ بأحمال الخبراء بنموذج أريما والتخصيص الدينامي للسعة يرفع دقة نماذج خليط الخبراء ويخفف تقلبات التوجيه وهدر الموارد، كما أثبتت التجارب عبر تسع مهام معيارية وأعداد متصاعدة من الخبراء
