Evolution of guideline-based male infertility responses by large language models between 2025 and 2026: a comparative analysis of ChatGPT, Perplexity, and DeepSeek.

Abstract

RéSUMé: CONTEXTE: Les grands modèles de langage (LLM) sont de plus en plus utilisés par les patients et les cliniciens pour obtenir des informations médicales, mais leurs performances peuvent évoluer au fil du temps à mesure que les modèles sont mis à jour. L'infertilité masculine est un domaine étroitement encadré par des recommandations, dans lequel des informations inexactes ou incomplètes peuvent influer sur l'évaluation diagnostique, le conseil aux patients et les attentes thérapeutiques. Cette étude a évalué l'évolution, entre 2025 et 2026, des performances de ChatGPT, Perplexity et DeepSeek dans leurs réponses à des questions sur l'infertilité masculine élaborées à partir de recommandations cliniques. RéSULTATS: Au total, 528 réponses de chatbots ont été évaluées à partir de 88 questions sur l'infertilité masculine issues des recommandations de l'Association européenne d'urologie (EAU), auxquelles ChatGPT, Perplexity et DeepSeek ont répondu en 2025 et en 2026. En 2025, des différences significatives entre les modèles ont été observées dans les quatre domaines évalués: Perplexity a obtenu les meilleurs scores pour la qualité du contenu et l'évaluation par les experts, tandis que DeepSeek affichait les performances les plus faibles. En 2026, les scores DISCERN ont convergé entre les modèles, alors que des différences significatives persistaient en matière de lisibilité, de score global de qualité et d'avis des experts. ChatGPT s'est significativement amélioré dans les quatre domaines évalués et a obtenu le meilleur score global de qualité en 2026. DeepSeek a enregistré l'amélioration la plus marquée, notamment pour les scores DISCERN et d'avis des experts. La lisibilité des réponses de Perplexity s'est améliorée, mais cette évolution ne s'est pas accompagnée d'une amélioration parallèle du score global de qualité ni de l'utilité clinique évaluée par les experts. Des risques potentiels pour la sécurité des patients ont été relevés dans sept des 88 réponses fournies par DeepSeek en 2025, tandis qu'aucun risque de ce type n'a été constaté dans les réponses de 2026. Aucune des 528 réponses ne contenait de recommandation explicite considérée comme susceptible de causer un préjudice immédiat ou grave aux patients. CONCLUSIONS: Les performances ont évolué selon des modalités propres à chaque modèle, plutôt que de manière uniformément progressive. Les résultats correspondent à un échantillon de réponses obtenues lors d'une première interrogation à des questions clairement formulées et dérivées de recommandations, plutôt qu'à des estimations robustes des performances ou de la reproductibilité des modèles. Les grands modèles de langage (LLM) peuvent faciliter l'accès aux informations sur l'infertilité masculine, mais une vérification auprès de sources faisant autorité et une supervision humaine appropriée demeurent nécessaires.