تتنامى النماذج اللغوية الكبيرة في عدد معلماتها من ملايين إلى مليارات، وأصبح الضبط الدقيق الفعال في المعلمات مقاربة حاسمة لتكييف نماذج مثل جي بي تي ولاما وديب سيك مع البيئات محدودة الموارد والحساسة للخصوصية، وتفرض وفرة هذه النماذج وقوتها في المهام المعقدة حاجة متزايدة إلى بيانات تدريب متاحة، وهو ما دفع إلى التعلم الموحد الذي تتعاون فيه جهات متعددة على تدريب نموذج مشترك دون مشاركة بياناتها، إذ تجمّع خوادم مركزية النماذج المحلية في نموذج شامل
غير أن ضبط النماذج الكبيرة تعاونيًا يصطدم بعبء التدريب على جانب العميل لكثرة المعلمات القابلة للتدريب، وهنا يأتي التعلم المنقسم الذي يقسم النموذج فيوزع بعض مهام التدريب على الخادم، وقد أرسى إطاران سابقان هما سبليت لورا وإتش سبليت لورا أسس هذا الاتجاه، لكن الحفاظ على الخصوصية وجودة التكييف ظلا تحديين بحثيين مفتوحين، فبقاء البيانات الخام أو التصنيفات مكشوفة للخادم يهدد سرية بيانات المشاركين ويحد من تبني هذه الأطر في القطاعات الحساسة
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى اقتراح إطار يو سبليت دورا، وهو إطار ضبط دقيق منقسم فعال في المعلمات على هيئة حرف يو مع الحفاظ على الخصوصية عبر تفكيك الأوزان، ويستثمر الإطار قوة التوازي في التعلم الموحد عبر منهج التعلم المنقسم، مستخدمًا التكييف منخفض الرتبة المفكك للأوزان المعروف بدورا تقنية للضبط الفعال بدل التكييف منخفض الرتبة التقليدي لورا
ويعتمد نمط حرف يو في تقسيم النموذج إلى ثلاثة أجزاء هي الرأس والجسم والذيل، فيبقى الرأس والذيل لدى العميل بينما يوضع الجسم لدى الخادم، وبذلك لا تنكشف البيانات الخام ولا التصنيفات للخادم فتتحقق خصوصية قوية، ويحدث دورا مقدار الأوزان واتجاهها معًا فيمنح قدرة تعبيرية أعلى ويضيّق الفجوة بين الضبط الفعال والضبط الكامل للمعلمات إلى هامش ضئيل، وأجريت التجارب باستخدام نموذجي جي بي تي 2 إس وجي بي تي 2 إم على مجموعة بيانات إي تو إي المعيارية
ويوازن الإطار بذلك بين ثلاث قيم متزامنة يصعب جمعها عادة، وهي حماية خصوصية المشاركين وخفض كلفة الحساب والاتصال لدى العملاء والحفاظ على جودة النموذج المدرب قريبًا من جودة الضبط الكامل، وهذا التوازن هو ما تسعى إليه أبحاث التعلم الموزع المعاصرة لتوسيع نطاق تدريب النماذج الكبيرة إلى جهات صغيرة ومتوسطة الإمكانات
ثانيًا: أبرز النتائج
1. حقق إطار يو سبليت دورا درجات دقة أفضل من أطر الضبط الدقيق المنافسة الأحدث للنماذج اللغوية الكبيرة في التجارب المحاكاة على النموذجين المستخدمين ومجموعة البيانات المعيارية، وهو ما تحقق بفضل تحديث مقدار الأوزان واتجاهها معًا عبر تقنية دورا لا بزيادة عدد المعلمات المدربة
2. أظهر الإطار سرعة تقارب أعلى أثناء التدريب مقارنة بالأطر المنافسة، بما يعني بلوغ الأداء المستهدف بعدد أقل من جولات التدريب والاتصال بين العملاء والخادم، وتقليل كلفة الاتصال والحساب على جانب العميل في الوقت ذاته
3. عالج الإطار فجوات جوهرية في الخصوصية وجودة التكييف معًا، فحمى البيانات والتصنيفات داخل بيئة العميل عبر تقسيم حرف يو، ورفع جودة التكييف عبر تفكيك الأوزان إلى مقدار واتجاه بدل الاكتفاء بتحديث منخفض الرتبة
ثالثًا: دلالات الدراسة وتطبيقاتها
يفتح هذا الإطار الطريق أمام ضبط دقيق فعال وقوي وحافظ للخصوصية للنماذج اللغوية الكبيرة في البيئات الموزعة، وهو ما يهم قطاعات كالصحة والتعليم والخدمات المالية التي تمتلك بيانات حساسة لا يمكن تجميعها مركزيًا، ويمكن للمؤسسات البحثية العربية توظيف مثل هذه الأطر لتدريب نماذج لغوية على نصوصها المحلية دون إخراج بياناتها من بيئاتها، مع ملاحظة أن النتائج الحالية مستمدة من تجارب محاكاة على نموذجين متوسطي الحجم وتحتاج إلى تحقق أوسع على نماذج أكبر ومهام متنوعة
وخلاصة القول إن يو سبليت دورا يقدم توليفة مبتكرة تجمع بين التعلم الموحد والتعلم المنقسم وتفكيك الأوزان لتجاوز معضلتي الخصوصية وجودة التكييف في ضبط النماذج اللغوية الكبيرة، وتشير نتائج محاكاته إلى تفوق في الدقة وسرعة التقارب يجعله مرشحًا واعدًا لتطبيقات التدريب الموزع الآمن
