أحدثت التطورات الحديثة في الذكاء الاصطناعي، وبخاصة النماذج اللغوية الكبيرة المدعومة بمعالجة اللغة الطبيعية، تحولًا كبيرًا في كيفية استرجاع المعلومات الطبية واستخدامها، إذ بات الأطباء والمرضى يلجؤون إلى هذه النماذج للحصول على إجابات سريعة حول الأمراض وعلاجاتها، غير أن جودة هذه المعلومات ومدى إمكان الاعتماد عليها وسهولة فهمها ودرجة تطابقها مع الإرشادات السريرية المعتمدة تظل أسئلة مفتوحة تستدعي التقييم الدقيق
ويُعد التليف الرئوي مجهول السبب من الأمراض الرئوية المزمنة التي تتطلب معلومات دقيقة ومحدثة، نظرًا لتعقد تشخيصه وعلاجه واعتماد قراراته على إرشادات دولية متخصصة، ولم يسبق أن خضعت المعلومات التي تولدها النماذج اللغوية الكبيرة عن هذا المرض لفحص منهجي يقيس جودتها وإمكان الاعتماد عليها وقابليتها للقراءة ودرجة توافقها مع الإرشادات السريرية، وهو الفراغ الذي سعت هذه الدراسة إلى ملئه
أولًا: أهداف الدراسة ومنهجيتها
هدفت الدراسة إلى الإجابة عن سؤال محوري مفاده ما جودة المعلومات الطبية والسريرية المتعلقة بالتليف الرئوي مجهول السبب التي تولدها النماذج اللغوية الكبيرة، وما مدى إمكان الاعتماد عليها وسهولة قراءتها وتوافقها مع الإرشادات السريرية، ولتحقيق ذلك قارن الباحثون بين إجابات نموذجي تشات جي بي تي 4 وجيميناي 1.5 برو عن 23 سؤالًا مستمدًا من الإرشادات الدولية الخاصة بالمرض الصادرة عن الجمعيات العلمية المتخصصة في أمراض الجهاز التنفسي
قيّم ستة مقيّمين مستقلين إجابات النموذجين وفق أبعاد أربعة، هي الجودة بأداة ديسيرن، والاعتمادية بمعايير جاما المرجعية، وقابلية القراءة بمؤشر فليش وكينكيد، والتوافق مع الإرشادات السريرية على مقياس يتراوح من صفر إلى أربعة، واستخدم الباحثون التحليل الوصفي ومعامل الارتباط داخل الفئة واختبار ويلكوكسون للإشارات والرتب وأحجام الأثر، وحددوا مستوى الدلالة الإحصائية عند قيمة تقل عن 0.05
ثانيًا: أبرز النتائج
كشفت مقارنة النموذجين عن فروق وملامح مشتركة يمكن تلخيصها في النقاط الآتية
1- قدم النموذجان إجابات يمكن الاعتماد عليها جزئيًا وفق معايير جاما المرجعية، ما يعني أن معلوماتهما مفيدة في جوانب ومحدودة الفائدة في جوانب أخرى
2- أظهرت تقييمات قابلية القراءة أن إجابات النموذجين كليهما صعبة الفهم على القارئ العام، وهو تحدٍّ رئيس يقف أمام استخدامها مرجعًا مباشرًا للمرضى
3- قدم نموذج جيميناي 1.5 برو معلومات علاجية أفضل بصورة دالة إحصائيًا، إذ سجل 56 درجة على أداة ديسيرن مقابل 43 درجة لتشات جي بي تي 4، عند مستوى دلالة يقل عن 0.001
4- تفوق جيميناي كذلك في درجة التوافق مع الإرشادات الدولية للمرض، إذ بلغ وسيط توافقه 3.0 بنطاق ربيعي من 3.0 إلى 3.5، مقابل وسيط 3.0 بنطاق ربيعي من 2.5 إلى 3.0 لمنافسه، عند مستوى دلالة قدره 0.0029
5- لم يقدم أي من النموذجين إجابات متوافقة توافقًا تامًا مع الإرشادات السريرية المعتمدة، رغم ما وفراه من رؤى طبية مفيدة
ثالثًا: دلالات الدراسة وتطبيقاتها
تنبه هذه النتائج المؤسسات الصحية ومطوري النماذج اللغوية إلى ضرورة مواصلة تطوير هذه الأدوات قبل الاعتماد عليها مراجع في الرعاية الصحية، فهي قادرة على دعم الأطباء والمرضى في اتخاذ قرارات مستندة إلى الأدلة، لكن محدودية إمكان الاعتماد عليها وصعوبة قراءتها تستلزمان إشرافًا بشريًا متخصصًا وتحسينًا مستمرًا لمخرجاتها، وبخاصة في الأمراض المعقدة كالتليف الرئوي مجهول السبب
كما تبرز الدراسة أهمية إخضاع المعلومات الطبية المولدة آليًا لتقييمات دورية بأدوات معيارية تقيس الجودة والتوافق مع الإرشادات، حتى لا تتحول سرعة الوصول إلى المعلومة إلى مصدر لأخطاء قد تؤثر في سلامة المرضى وقرارات علاجهم
وتمنح الدراسة الباحثين في تقنيات الصحة الرقمية إطارًا تقييميًا جاهزًا يمكن تطبيقه على أمراض ونماذج لغوية أخرى، إذ تتكامل فيه أدوات قياس الجودة والاعتمادية وقابلية القراءة والتوافق مع الإرشادات، فتتحول عملية التقييم من انطباعات عامة إلى أحكام موثقة قابلة للمقارنة عبر الدراسات والنماذج
وخلاصة القول إن النماذج اللغوية الكبيرة تحمل وعدًا حقيقيًا في تقديم المعلومات الطبية، وقد تفوق جيميناي 1.5 برو على تشات جي بي تي 4 في جودة معلومات العلاج والتوافق مع الإرشادات في هذه الدراسة، غير أن محدودية الاعتماد عليها وصعوبة القراءة تفرضان تطويرًا متواصلًا ومراجعة مهنية قبل الاعتماد الكامل عليها