أظهرت نماذج بيرت المدربة مسبقًا أداء استثنائيًا في سياق مهام تصنيف النصوص، غير أن بعض مجالات المشكلات تستلزم توزيع البيانات دون مشاركتها ذاتها حماية للخصوصية، وهنا يبرز التعلم الاتحادي الذي يتيح لعملاء متعددين تدريب نموذج عالمي بصورة جماعية عبر مشاركة النماذج المتعلمة بدلًا من البيانات الخام، لكن تبني نموذج ضخم مثل بيرت داخل إطار التعلم الاتحادي يستتبع كلف اتصال كبيرة بسبب ضخامة المعلمات المتبادلة بين العملاء والخادم، وتعالج هذه الدراسة هذا التحدي بإطار جديد يخفض كلف الاتصال بدرجة كبيرة مع الحفاظ على أداء تصنيفي متفوق في تحليل المشاعر العربية
وتتضح جسامة مشكلة كلفة الاتصال حين نتذكر أن نماذج اللغة الضخمة تضم مئات الملايين من المعلمات التي يتطلب التعلم الاتحادي التقليدي تبادلها بين الخادم وكل عميل في كل جولة تدريب، وهو ما يرهق الشبكات ويبطئ التدريب ويحد من عدد العملاء المشاركين، وقد اختارت الدراسة مسارًا مختلفًا جذريًا، إذ بدلًا من تقليص النموذج أو ضغطه أبقت نموذج بيرت مجمدًا كما هو واستخرجت منه التضمينات الجاهزة، ثم دربت فوقه بنية تجميع خفيفة وحدها، فصغر حجم ما يُنقل بين الأطراف إلى جزء يسير من الحجم الأصلي دون التضحية بجودة التمثيل اللغوي الذي يقدمه النموذج الضخم
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى اقتراح إطار جديد أطلق عليه فيد فريز بيرت لتصنيف النصوص المعتمد على بيرت داخل بيئات التعلم الاتحادي، ويعمل الإطار بإضافة بنية تجميع فوق نموذج بيرت للحصول على تضمين أفضل للجمل لأغراض التصنيف مع إبقاء معلمات بيرت مجمدة دون تدريب، وببقاء المعلمات مجمدة يخفض الإطار كلف الاتصال بعامل كبير مقارنة بأحدث الأساليب المنافسة، ونُفذ الإطار بصورة موزعة لا تُنقل فيها إلا بنية التجميع وتُجمع بخوارزميات التعلم الاتحادي مثل فيد أفغ وفيد بروكس، ونُفذ أيضًا بصورة مركزية تُرسل فيها تضمينات البيانات المستخرجة من بيرت إلى الخادم المركزي لتدريب بنية التجميع
ثانيًا: أبرز النتائج
أظهرت التجارب أن إطار فيد فريز بيرت حقق أداءً جديدًا بوصفه الأحدث في مجال تحليل المشاعر العربية على مجموعة بيانات آر ساركازم في إصدارها الثاني، إذ سجل تحسينًا مقداره 12.9 في المئة و1.2 في المئة مقارنة بأسلوبي فيد أفغ وفيد بروكس وبأحدث أداء سابق على الترتيب، كما خفض الإطار كلفة الاتصال بمقدار خمسة أضعاف مقارنة بأحدث أداء سابق، وتجمع هذه النتائج بين مكسبين متلازمين هما رفع دقة التصنيف في مهمة عربية واقعية وخفض عبء الاتصال الذي يعوق نشر التعلم الاتحادي مع النماذج اللغوية الضخمة، بما يثبت جدوى تجميد النموذج الأساسي وتدريب بنية تجميع خفيفة فوقه
ويبرز اختيار تحليل المشاعر العربية على مجموعة بيانات آر ساركازم ميدانًا لاختبار الإطار اختيارًا موفقًا، إذ تجمع هذه المهمة بين تحديات اللغة العربية ولهجاتها وبين طبيعة بيانات التواصل الاجتماعي الحساسة التي يصعب تبادلها بين الجهات، وقد أثبت الإطار تفوقه على أساليب التعلم الاتحادي المعروفة وعلى أحدث أداء سابق في وقت واحد، وخفضه كلفة الاتصال إلى خمسها يعني عمليًا إمكان إشراك عملاء أكثر أو إجراء جولات تدريب أكثر بالميزانية الاتصالية ذاتها، وهو مكسب يتضاعف أثره كلما كبرت شبكة العملاء المتعاونين
ثالثًا: دلالات الدراسة وتطبيقاتها
يفتح الإطار المقترح آفاقًا عملية لتطبيقات معالجة اللغة الطبيعية التي تتطلب حماية خصوصية البيانات مثل تحليل آراء المستخدمين ومشاعرهم لدى جهات متعددة لا تستطيع تبادل بياناتها الخام، إذ يتيح لها بناء نماذج تصنيف مشتركة بكلفة اتصال منخفضة، كما يفيد الباحثين في معالجة اللغة العربية بتقديمه مقاربة فعالة لتكييف النماذج الضخمة المدربة مسبقًا مع مهام التصنيف العربية ضمن قيود الاتصال والخصوصية، ويمهد لتوسيع التعلم الاتحادي نحو مهام لغوية أخرى وبيانات أكبر حجمًا في المستقبل
وتتجه دلالات الدراسة إلى مستقبل تطبيقي واعد، فالمؤسسات التي تمتلك بيانات نصية حساسة كمقدمي الخدمات ومنصات التواصل والجهات الحكومية تستطيع بناء نماذج تصنيف عربية مشتركة دون تجميع بياناتها في مكان واحد، بما يحفظ الخصوصية ويقلل المخاطر القانونية والأمنية، كما يستطيع الباحثون نقل فكرة التجميد وبنية التجميع إلى مهام عربية أخرى كتصنيف الموضوعات وكشف المحتوى المسيء وتلخيص النصوص، وتبقى دراسات توسيع الإطار على نماذج أضخم وبيانات أطول خطوة تالية طبيعية للتحقق من قابلية التعميم
وخلاصة القول إن الدراسة قدمت إطار فيد فريز بيرت الذي يجمد معلمات بيرت ويدرب بنية تجميع خفيفة فوقه، فحقق أحدث أداء في تحليل المشاعر العربية على بيانات آر ساركازم مع خفض كلفة الاتصال إلى خمس ما كانت عليه، وهو ما يقدم حلًا عمليًا متوازنًا بين الدقة والخصوصية وكفاءة الاتصال في التعلم الاتحادي
