نماذج اللغة الكبيرة والسلامة السريرية: مقارنة بين شات جي بي تي وجيميني وديب سيك في إجابة أسئلة المرضى عن البواسير

تمهيد

يتزايد لجوء المرضى إلى نماذج اللغة الكبيرة للحصول على معلومات طبية والإجابة عن استفساراتهم الصحية قبل مراجعة الطبيب أو بدلًا منها في بعض الأحيان، غير أن هذا الاتساع في الاستخدام يثير مخاوف مشروعة تتعلق بالسلامة السريرية لهذه النماذج وموثوقية مخرجاتها ومدى ملاءمة توجيهها للمرضى، خاصة في الحالات التي تنطوي على أعراض إنذارية قد تخفي أمراضًا خطرة، وتُعد أسئلة المرضى المتصلة بالبواسير ميدانًا مناسبًا لاختبار هذه المخاوف لأن أعراضها تتشابه مع أعراض أمراض شرجية ومستقيمية أكثر خطورة، ورغم ذلك ما تزال الأدلة المقيمة لأداء نماذج اللغة في هذا المجال تحديدًا محدودة، ومن هنا تأتي أهمية المقارنات المنهجية بين النماذج الكبرى بعيون خبراء سريريين

أولًا: أهداف الدراسة ومنهجيتها

هدفت هذه الدراسة إلى مقارنة الدقة السريرية والسلامة والكفاية السريرية العامة لإجابات شات جي بي تي وجيميني وديب سيك عن أسئلة المرضى المتعلقة بالبواسير، واعتمدت تصميمًا مقارنًا مقطعيًا صيغت فيه خمسة وعشرون سؤالًا من أسئلة المرضى النموذجية وصُنفت في ثلاث فئات محددة سلفًا هي الأسئلة المعلوماتية الأساسية والسيناريوهات ذات الأهمية السريرية والعبارات المضللة أو الخطرة الصادرة عن المرضى، وقوم جراحان خبيران الإجابات المولدة من النماذج الثلاثة بأسلوب التقييم الخبير التوافقي وبمقياس تقويم منظم من خمس درجات يقيس الدقة السريرية والسلامة وملاءمة توجيه المريض والكفاية السريرية العامة، كما حُللت الأخطاء الجسيمة والخصائص النوعية لأسلوب التواصل، واستخدم اختبار فريدمان واختبارات كونوفر اللاحقة مع تصحيح بونفيروني في المقارنات الإحصائية بين النماذج

ثانيًا: أبرز النتائج

1، اختلفت جودة الإجابات العامة بين النماذج الثلاثة اختلافًا دالًا إحصائيًا، إذ بلغت قيمة مربع كاي عند درجتي حرية 29.119 بقيمة دلالة تقل عن 0.001 ومعامل كيندال قدره 0.582

2، حقق شات جي بي تي أعلى الدرجات العامة بمتوسط بلغ 5.00 وانحراف معياري صفري، تلاه جيميني بمتوسط 4.80 وانحراف معياري قدره 0.41، ثم ديب سيك بمتوسط 4.12 وانحراف معياري قدره 0.67

3، تركزت الفروق الدالة أساسًا بين ديب سيك والنموذجين الآخرين، في حين أظهر شات جي بي تي وجيميني أداءً متقاربًا

4، ازداد التباعد بين النماذج وضوحًا في السيناريوهات ذات الأهمية السريرية التي تنطوي على أعراض إنذارية مثل النزيف الشرجي واستمرار الأعراض وألم الشرج والمستقيم الحاد

5، لم يقدم أي نموذج من النماذج الثلاثة توصيات طبية ضارة مباشرة أو توجيهًا صريحًا من شأنه أن يؤدي إلى تأخير تشخيصي جوهري

6، أظهر التقييم النوعي فروقًا في أسلوب التواصل وطريقة إيصال المخاطر، إذ قدم شات جي بي تي إجابات أكثر توازنًا وملاءمة للسياق، وقدم جيميني إجابات أكثر شرحًا وتفصيلًا، وأبدى ديب سيك ميلًا إلى لغة عاجلة أو منذرة بصورة غير متناسبة في بعض السيناريوهات الأعلى خطرًا

ثالثًا: دلالات الدراسة وتطبيقاتها

تشير هذه النتائج إلى أن نماذج اللغة الكبيرة قد تصلح أدوات داعمة مفيدة في تثقيف المرضى وإيصال المعلومات الصحية، شريطة أن تبقى خاضعة لتقييم مستمر وأن تُعامل بوصفها أنظمة مساندة للحكم السريري البشري لا بديلة عنه، خاصة في المواقف عالية الخطر حيث تتباين النماذج في أسلوب إيصال المخاطر وقد يبالغ بعضها في الإنذار أو يختصر التوجيه، وتبرز الدراسة أهمية اختيار النموذج المناسب وتوعية المرضى بحدود الاعتماد على هذه الأدوات وضرورة مراجعة الطبيب عند وجود أعراض مقلقة مثل النزيف، وتهم هذه القضية الباحثين العرب في المعلوماتية الصحية وطلاب الدراسات العليا الذين يعملون على تقييم مخرجات الذكاء الاصطناعي الطبي وتطوير إرشادات لاستخدامه الآمن في التثقيف الصحي باللغة العربية

وخلاصة القول إن نماذج اللغة الكبيرة أظهرت دقة سريرية عالية عمومًا في الإجابة عن أسئلة المرضى المتعلقة بالبواسير، مع فروق جوهرية بين النماذج في التوجيه السريري وأسلوب التواصل وإيصال المخاطر تتجلى خاصة في السيناريوهات عالية الخطر، بما يجعل قيمتها في التثقيف الصحي مشروطة بإشراف بشري وحكم سريري يبقى هو المرجع الأخير في قرارات المرضى