Quand l’intelligence artificielle générative répond à Google à propos de la spondyloarthrite : qu’en pense un panel d’experts ?

Abstract

Introduction

Les spondyloarthrites (SpA) représentent un groupe de rhumatismes inflammatoires touchant préférentiellement l’adulte jeune familiarisé avec les nouvelles technologies, et notamment les chatbots ou robots conversationnels. L’ère du COVID a mis en évidence l’augmentation des recherches sur le web pour des questions de santé, mais aussi l’hétérogénéité du contenu retrouvé. Les chatbots sont de plus en plus utilisés dans divers domaines et notamment l’information médicale. Le but de ce travail est d’évaluer, via un panel d’expert, les réponses des deux principaux chatbots à intelligence artificielle (IA) générative aux questions les plus fréquemment posées en France sur les SpA.

Matériels et méthodes

Les 5 questions les plus fréquemment posées en France en juillet 2024 ont été identifiées par une sélection subjective basée sur les mots-clés les plus représentés à l’aide des suggestions de recherche, des requêtes associées Google Trends et autres questions, Les mots-clés utilisés étaient : « spondylarthrite » « spondylarthrite ankylosante » et « spondyloarthrite ». Nous avons ensuite posé ces 5 questions aux deux principaux chatbots à IA générative : ChatGPT 4.0® et Gemini®. Enfin, une fois les réponses obtenues par les chatbots, nous avons soumis ces réponses à un panel de 15 experts français sur les spondyloarthrites (groupe FAST) et nous avons recueilli leur degré d’agrément entre 0 et 10 avec la réponse obtenue.

Résultats

Nous avons ainsi identifié les 5 principales questions posées à Google : 1) Quelles sont les causes de la spondylarthrite ? 2) Quels sont les symptômes de la spondyloarthrite ? 3) Quels sont les traitements de la spondyloarthrite ? 4) La spondyloarthrite, est-ce une maladie grave ? 5) Quelle est l’espérance de vie en cas de spondyloarthrite ? Les réponses obtenues par les chatbots ont été évaluées par le panel d’expert avec des notes allant de 6,2 ± 1,4 à 7,9 ± 0,7 (Tableau 1). L’agrément était meilleur avec ChatGPT qu’avec Gemini pour 4 des 5 réponses. Enfin, Gemini renvoie systématiquement sur le site de l’Assurance Maladie et du Vidal pour obtenir d’autres sources à consulter et oriente les patients vers un médecin. Chat GPT ne renvoie jamais vers d’autres sources utiles et n’oriente qu’une seule fois les patients vers leur médecin.

Discussion

Cette étude permet de mettre en évidence un niveau de réponse plutôt satisfaisant des deux principaux chatbots pour les principales questions à propos de la SpA. L’utilisation de Google trends pour identifier les questions les plus fréquentes permet d’obtenir un panel important pour identifier les questions d’intérêt, mais présente la limite de savoir s’il s’agit bien de patients qui posent cette question. Enfin, les réponses des chatbots peuvent différer en fonction de la personne ou de la répétition de la question. Enfin le prompt est essentiel dans ce genre de travail, mais nous nous sommes basés sur les questions principales des patients et donc sur ce qu’ils peuvent obtenir réellement comme information.

Conclusion

Ce travail permet de voir ce que les patients recherchent comme information sur les SpA ainsi que le type d’information recueillie. Même si l’information obtenue des chatbots n’est pas encore jugée « parfaite » par un panel d’experts, elle est tout de même « plus que satisfaisante ». Ceci nous rassure quant aux informations retrouvées par nos patients, en l’attente bien sûr de quelques améliorations.