تقدم هذه الدراسة إطارًا جديدًا للتعلم المعزز التطوري يعرف باسم سار إيرل، يقوم على تضمين التمثيل المشترك للحالة والفعل، وينطلق من أن التعلم المعزز التطوري يجمع بين قدرة الخوارزميات التطورية على الاستكشاف الشامل وبين أمثلة التعلم المعزز المعتمدة على التدرج، محققًا نتائج واعدة في المهام المعقدة، غير أن الطرق التقليدية في هذا المجال غالبًا ما تعجز عن التقاط الديناميكيات الكامنة في البيئة، مما يقود إلى تقارب بطيء في التدريب المبكر وإلى تعلم دون المستوى الأمثل للسياسات، ومن هنا هدفت الدراسة إلى معالجة هذا القصور عبر مشفر للتمثيل المشترك للحالة والفعل ييسر أمثلة السياسة ويقوي نمذجة ديناميكيات البيئة في آن واحد
أولًا: أهداف الدراسة ومنهجيتها
صمم الباحثون مشفرًا يمثل التفاعلات الدقيقة بين الحالات والأفعال بما يتيح تعلم تمثيلات فاعلة من الملاحظات الخام مباشرة، وأثناء تدريب المشفر صممت وحدة للتنبؤ بالمكافأة تعزز جودة التمثيل واستقراره عبر الأمثلة المشتركة، وضمّنت التمثيلات المشتركة الناتجة في شبكتي القيمة والسياسة معًا، مما حسن تقدير قيمة الفعل باستخدام الديناميكيات الكامنة وسرّع تقارب السياسة عبر تمثيلات منظمة، كما قدمت الدراسة تحليلًا نظريًا يبين أن دالتي القيمة والسياسة المعززتين تحققان، في ظل افتراضات معتدلة، خاصية استمرارية ليبشيتز بما يضمن الاستقرار العددي والتقارب، واختبر الإطار المقترح على مهام موجوكو المعيارية لمقارنة أدائه مع الأساليب المرجعية المطورة في هذا المجال
ثانيًا: أبرز النتائج
أظهرت التجارب على مهام موجوكو المعيارية أن الإطار المقترح حسن متوسط الأداء بنسبة 17.3 في المئة مقارنة بإطار إيفورينبو المرجعي، وهو ما يعكس فاعلية تضمين التمثيل المشترك للحالة والفعل في شبكتي القيمة والسياسة، ودعمت النتائج فرضية الدراسة الأساسية بأن نمذجة التفاعلات الدقيقة بين الحالات والأفعال ووحدة التنبؤ بالمكافأة تعالج بطء التقارب المبكر الذي تعانيه الطرق التقليدية للتعلم المعزز التطوري، إذ أتاحت التمثيلات المتعلمة تقديرًا أدق لقيم الأفعال وتسريعًا ملحوظًا في تقارب السياسات المستفادة، وجاء التحليل النظري مؤيدًا لهذه النتائج التجريبية بما أثبته من خصائص استقرار وتقارب للدوال المعززة بالتمثيلات الكامنة
ثالثًا: دلالات الدراسة وتطبيقاتها
تقدم الدراسة للباحثين في مجال التعلم المعزز مسارًا منهجيًا واعدًا لرفع كفاءة الخوارزميات التطورية المعززة عبر تعلم التمثيل، إذ تبين أن الاستثمار في جودة تمثيل الحالات والأفعال ينعكس مباشرة على سرعة التعلم وجودة السياسات النهائية، وتنسحب دلالاتها على تطبيقات المهام المعقدة التي تتطلب استكشافًا واسعًا وضبطًا دقيقًا في بيئات ذات ديناميكيات كامنة يصعب التقاطها بالتمثيلات التقليدية، كما تفتح الدراسة الباب أمام أعمال لاحقة تختبر الإطار في بيئات ومهام أوسع نطاقًا وتدرس أثر مكوناته الفرعية كل على حدة، وتطور وحدات تنبؤ مساعدة أخرى قد تعزز جودة التمثيل واستقراره أكثر
ويقوم التصميم المقترح على فكرة أن جودة التمثيلات المتعلمة هي مفتاح تجاوز بطء التقارب في التدريب المبكر، فالمشفر المصمم لهذا الغرض لا يعالج الحالات والأفعال منفصلة، بل يلتقط التفاعلات الدقيقة بينهما ويحولها إلى تمثيلات مشتركة غنية بالمعلومات عن ديناميكيات البيئة الكامنة، وتأتي وحدة التنبؤ بالمكافأة لتدعم هذا التعلم، إذ تخضع التمثيلات لأمثلة مشتركة تجعلها أكثر جودة واستقرارًا عبر مراحل التدريب، ثم توظف هذه التمثيلات مزدوجة في شبكة القيمة لتقدير قيم الأفعال بدقة أعلى اعتمادًا على الديناميكيات الكامنة، وفي شبكة السياسة لتسريع تقاربها نحو سياسات أفضل عبر تمثيلات منظمة، ويضفي التحليل النظري على هذا البناء أساسًا رياضيًا، إذ يثبت أن الدوال المعززة تحافظ على استمرارية ليبشيتز في ظل افتراضات معتدلة، وهي خاصية تضمن الاستقرار العددي وسلوك التقارب، فتتكامل بذلك الأدلة التجريبية على مهام موجوكو المعيارية مع الضمانات النظرية في تقديم إطار متماسك، وتؤكد النتائج أن معالجة ديناميكيات البيئة الكامنة هي الجبهة الأهم لتطوير التعلم المعزز التطوري في مهام التحكم المعقدة ومهام اتخاذ القرار المتسلسل
وخلاصة القول إن الدراسة تعالج نقطة ضعف جوهرية في التعلم المعزز التطوري تتمثل في عجزه عن التقاط ديناميكيات البيئة، فتقترح مشفرًا للتمثيل المشترك للحالة والفعل مدعومًا بوحدة للتنبؤ بالمكافأة وتحليل نظري يضمن الاستقرار، وتحقق بذلك تحسنًا ملموسًا في متوسط الأداء على المهام المعيارية، مما يجعل تعلم التمثيل ركيزة أساسية في تطوير خوارزميات التعلم المعزز التطوري مستقبلًا
