Using Large Language Models for Automated Coding of Self-Regulated Learning Think-Aloud Protocol Data

يمكن لتوثيق عمليات التعلم المنظم ذاتيًا وفهمها أن يرشد تصميم أنشطة التعلم والسقالات الداعمة بما يعزز نجاح الطلاب في مجالات ستيم، وتكشف بروتوكولات التفكير بصوت مرتفع، التي يلفظ فيها الطلاب أفكارهم أثناء أداء المهام، لفظيات آنية حساسة للسياق تعبر عن عمليات التعلم المنظم ذاتيًا مثل التخطيط والرصد واستخدام الاستراتيجيات، غير أن ترميز بيانات هذه البروتوكولات يتطلب موارد كبيرة من الوقت والجهد البشري، ومن هنا تتجه هذه الدراسة إلى النماذج اللغوية الكبيرة خيارًا لأتمتة هذا الترميز وتوسيع نطاقه

أولًا: أهداف الدراسة ومنهجيتها

بحثت الدراسة قدرات النماذج اللغوية الكبيرة في أتمتة ترميز عمليات التعلم المنظم ذاتيًا في بروتوكولات التفكير بصوت مرتفع عبر مقررات ستيم الجامعية، وفحصت كيفية ارتباط سمات المهام واستراتيجيات هندسة التوجيه ورموز التعلم المنظم ذاتيًا بدقة ترميز النماذج، مستخدمة تصميمًا عامليًا يقارن نماذج لغوية مختلفة هي جي بي تي-4 أو وكلود 3.5 سونيت وجيميناي 1.5 برو، عبر ستة رموز تمثل عمليات معرفية وما وراء معرفية متميزة، وستة شروط توجيه تتفاوت في عدد الأمثلة القليلة ومستويات السياق، ومهمتين في ستيم هما الرياضيات والأحياء، وحللت 600 لفظية طلابية

أظهر التحليل أن مهام الرياضيات حققت دقة تصنيف أعلى بكثير من مهام الأحياء، وأن جي بي تي-4 أو وكلود 3.5 سونيت تفوقا على جيميناي 1.5 برو، وأظهر التوجيه بالأمثلة القليلة آثارًا خاصة بكل رمز، إذ ارتبط بدقة وصفية أعلى في رصد أحكام التعلم السلبية، وبانخفاض كبير في الدقة عند تحديد الأهداف الفرعية، وأظهرت إضافة المعلومات السياقية أثرًا ضئيلًا عبر المهام، وأبدت رموز العمليات المعرفية مثل حل المشكلات الرياضية دقة التصنيف الأكثر اتساقًا عبر المهام، بينما أظهر الرصد ما وراء المعرفي مثل حكم التعلم تباينات كبيرة مرتبطة بالمهمة

ويتيح التصميم العاملي للدراسة عزل أثر كل عامل في دقة الترميز الآلي ومقارنته بغيره، فالنماذج اللغوية الثلاثة طبقت على المادة ذاتها، والرموز الستة تمثل عمليات معرفية كحل المشكلات وعمليات ما وراء معرفية كالرصد وحكم التعلم وتحديد الأهداف الفرعية، وشروط التوجيه الستة تتفاوت في تقديم أمثلة قليلة محلولة وفي مستوى المعلومات السياقية المرافقة، والمهمتان تنتميان إلى مجالين مختلفين من ستيم هما الرياضيات والأحياء بما يختبر حساسية الأداء لطبيعة المحتوى، وبنيت المقارنات على 600 لفظية طلابية موزعة عبر هذه التشكيلات، بحيث يمكن نسبة فروق الدقة إلى النموذج أو الرمز أو شرط التوجيه أو المهمة

ثانيًا: أبرز النتائج

وتبرز هذه النتائج وعود النماذج اللغوية الكبيرة وحدودها معًا في توسيع بحوث التعلم المنظم ذاتيًا، فهي قادرة على تخفيف عبء الترميز اليدوي وفتح الباب أمام تحليل مدونات لفظية أوسع، لكن دقتها ليست متجانسة عبر المهام والرموز، وتشير الدراسة إلى أن المواءمة النظرية في هندسة التوجيهات ضرورية لترميز فعال للعمليات التنظيمية الديناميكية، بحيث تصمم التوجيهات في ضوء طبيعة العملية المستهدفة لا بقالب واحد يعمم على كل الرموز

وتفصّل النتائج صورة غير متجانسة لأداء النماذج، فتفوق الرياضيات على الأحياء يشير إلى أن بنية المهمة ووضوح خطواتها يؤثران في قابلية اللفظيات للترميز الآلي، وتفوق نموذجين على الثالث يبين أن اختيار النموذج قرار بحثي مؤثر لا تفصيل تقني عابر، أما آثار التوجيه بالأمثلة القليلة فجاءت خاصة بكل رمز، إذ حسنت رصد أحكام التعلم السلبية بدرجة وصفية، بينما خفضت بدقة ملحوظة ترميز تحديد الأهداف الفرعية، ولم تضف المعلومات السياقية أثرًا يذكر عبر المهام، وبدت رموز العمليات المعرفية أكثر اتساقًا في الدقة عبر المهام، بينما تباين الرصد ما وراء المعرفي تباينًا كبيرًا بحسب المهمة، بما يدعو إلى الحذر عند أتمتة ترميز العمليات التنظيمية الدقيقة

ثالثًا: دلالات الدراسة وتطبيقاتها

وتنبه الدراسة الباحثين كذلك إلى ضرورة التحقق من مخرجات الترميز الآلي قبل البناء عليها، لا سيما في الرموز ما وراء المعرفية التي تباين أداؤها باختلاف المهمة، بما يحفظ جودة الاستدلالات المستخلصة عن عمليات تعلم الطلاب وتنظيمهم الذاتي

ومن دلالات الدراسة العملية أن فرق بحوث التعلم المنظم ذاتيًا يمكنها توظيف النماذج اللغوية مسرّعًا أوليًا للترميز مع إبقاء التحقق البشري على الرموز الحساسة، خاصة في سياقات الأحياء والعمليات ما وراء المعرفية حيث تباين الأداء

وخلاصة القول إن النماذج اللغوية الكبيرة تصلح أداة واعدة لأتمتة ترميز عمليات التعلم المنظم ذاتيًا في بروتوكولات التفكير بصوت مرتفع، مع تفوق واضح في مهام الرياضيات ولبعض النماذج دون غيرها، غير أن نجاحها يظل مشروطًا بهندسة توجيهات موائمة نظريًا وبمراعاة خصوصية كل رمز ومهمة