MBZUAI: دقة الAI في التشخيص الصحي تتراجع ل 39 نقطة بالمحادثات

أبرز النقاط

1. معيار MedRoundsQA يُظهر تراجع دقة 15 نموذجاً لغوياً بين 13 و39 نقطة مئوية في التشخيص الحواري
2. الاختبارات متعددة الخيارات تمنح النماذج أداءً أعلى مما تحققه عند سؤال المريض مباشرة
3. النتيجة تضع شركات الصحة أمام فجوة بين نتائج الاختبارات وأداء مساعد التشخيص الفعلي

خبر:

تراجعت دقة نماذج الذكاء الاصطناعي في التشخيص الطبي بين 13 و39 نقطة مئوية حين جرى التشخيص عبر محادثة متعددة الجولات بدل الاختبارات متعددة الخيارات، وفق دراسة أعدها باحثون من جامعة محمد بن زايد للذكاء الاصطناعي ومؤسسات أخرى. وطوّر الباحثون معياراً باسم MedRoundsQA يضع النموذج في دور الطبيب أمام مريض محاكى. وعُرضت الدراسة في مؤتمر EMNLP 2026 في بودابست.

تفصيل:

• المعيار: يضم MedRoundsQA، بحسب الباحثين، 1,387 حالة سريرية موزعة على 17 تخصصاً طبياً، ومصنّفة بين سهلة ومتوسطة وصعبة. ويختلف هذا التصميم عن الاختبارات التقليدية التي تعرض على النموذج سؤالاً واحداً مع قائمة إجابات جاهزة للاختيار بينها.
• آلية الاختبار: وُضع 15 نموذجاً لغوياً في دور الطبيب، وفق الدراسة، مع حد أقصى 20 جولة من الأسئلة والأجوبة لكل حالة. وعلى النموذج انتزاع المعلومات من المريض بنفسه قبل الوصول إلى التشخيص، بدل تلقيها مكتملة في نص السؤال.
• الأرقام الأساسية: سجّلت النماذج تراجعاً في الدقة بين 13 و39 نقطة مئوية في وضع المحادثة مقارنة بالتقييم ذي الجولة الواحدة، بحسب الدراسة. وجاء نموذج Kimi-K2.5 في المقدمة ضمن التقييم الحواري بنسبة دقة بلغت 42%.
• مقابل الأطباء: في 60 حالة مصنّفة صعبة، بلغ متوسط دقة ثلاثة أطباء بشريين 48%، مقابل 27% للنماذج، وفق نتائج الدراسة. الفارق يقارب 21 نقطة مئوية لصالح الطبيب البشري في الحالات الأكثر تعقيداً.
• شخصيات المرضى: حاكى المعيار مرضى تختلف شخصياتهم في مستوى التعليم والنبرة العاطفية وإتقان اللغة والمهنة، بحسب الباحثين. الهدف اختبار أداء النموذج أمام أنماط تواصل متباينة، لا أمام حالة سريرية مكتوبة بصيغة موحدة.
• فجوة العدالة: خفّض مستوى تعليم المريض المحاكى أداء النماذج بين سبع وثماني نقاط مئوية، ووصف الباحثون ذلك بمخاطر على العدالة لا تكشفها اختبارات الجولة الواحدة. أي أن المريض الأقل تعليماً يحصل من النموذج نفسه على تشخيص أقل دقة.
• الجهة والمنصة: أعد الدراسة باحثون من جامعة محمد بن زايد للذكاء الاصطناعي في أبوظبي ومؤسسات أخرى، وعُرضت في مؤتمر الأساليب التجريبية في معالجة اللغة الطبيعية (EMNLP) لعام 2026 المنعقد في بودابست.

خلفية:

تعتمد معظم تقييمات النماذج الطبية حتى اليوم على أسئلة متعددة الخيارات تُعرض فيها الحالة كاملة مع إجابات محددة، وهو إطار يقيس المعرفة المخزّنة لا القدرة على انتزاع المعلومة من مريض حقيقي خلال استجواب سريري متدرج.

بين السطور:

الفجوة بين 42% كأفضل أداء حواري و48% متوسط الأطباء في الحالات الصعبة تشير إلى أن العائق ليس المعرفة الطبية وحدها، بل إدارة الحوار وجمع المعلومات الناقصة. وتراجع الأداء سبع إلى ثماني نقاط أمام المريض الأقل تعليماً يعني أن التفاوت ينتقل إلى الأداة نفسها، وهو ما يرى الباحثون أن معايير الجولة الواحدة تخفيه عن المشترين والجهات التنظيمية.

ماذا بعد؟

يبقى أن يُختبر أثر المعيار على تقييم مساعدي التشخيص قبل اعتمادهم، وما إذا كانت شركات النماذج ستنشر نتائجها على MedRoundsQA إلى جانب درجات الاختبارات متعددة الخيارات المعتادة.