Chat GPT vs experts: Comment pensent les robots et les neuroradiologues face à des textes et des images ?

Les modèles de langage comme ChatGPT (OpenAI) et Gemini (Google) sont désormais capables de raisonner à partir d'images. En radiologie, ils semblent rivaliser avec des experts humains dans des cas complexes intégrant des images clés et un contexte clinique. Cependant, il n'est pas certain que ces modèles tirent réellement parti de l'intégration des images et des textes, comme le feraient des radiologues, ou s'ils basent principalement leurs réponses sur une analyse approfondie du contexte. Pour évaluer cette question, nous avons sélectionné 53 cas de neuroradiologie issus de la série Diagnosis Please du journal Radiology. Les images et le contexte clinique de chaque cas ont été séparés. GPT-4o et Gemini 1.5 Pro, ainsi que six neuroradiologues provenant de quatre centres différents, ont été testés individuellement sur ces cas, en leur présentant soit uniquement les images, soit uniquement le contexte, soit les deux combinés. GPT-4o et Gemini ont surpassé les radiologues lorsqu'ils disposaient uniquement du contexte clinique (34,0 % de bonnes réponses pour GPT-4o, 29,1 % pour Gemini, contre 16,3 % pour les radiologues, p < 0,01). Cependant, les radiologues ont obtenu de meilleurs résultats que les modèles face aux images seules (42 % pour les radiologues contre 3,9 % pour GPT-4o et 7,2 % pour Gemini, p < 0,01), ou face aux cas complets combinant images et contexte (48 % pour les radiologues contre 33 % pour GPT-4o et 32 % pour Gemini, p < 0,001). De plus, les radiologues ont démontré leur capacité à bénéficier de l'apport des images au contexte clinique et du contexte aux images. A l'inverse, les modèles n'ont pas montré d'amélioration significative de leurs performances lorsqu'ils passaient du contexte clinique seul au cas complet. Ces résultats soulignent la capacité spécifique des radiologues à intégrer des informations multimodales pour raisonner efficacement sur des cas complexes mêlant textes et images.