The promising role of chatbots in keratorefractive surgery patient education

Abstract

Purpose

To evaluate the appropriateness, understandability, actionability, and readability of responses provided by ChatGPT-3.5, Bard, and Bing Chat to frequently asked questions about keratorefractive surgery (KRS).

Method

Thirty-eight frequently asked questions about KRS were directed three times to a fresh ChatGPT-3.5, Bard, and Bing Chat interfaces. Two experienced refractive surgeons categorized the chatbots’ responses according to their appropriateness and the accuracy of the responses was assessed using the Structure of the Observed Learning Outcome (SOLO) taxonomy. Flesch Reading Ease (FRE) and Coleman-Liau Index (CLI) were used to evaluate the readability of the responses of chatbots. Furthermore, the understandability scores of responses were evaluated using the Patient Education Materials Assessment Tool (PEMAT).

Results

The appropriateness of the ChatGPT-3.5, Bard, and Bing Chat responses was 86.8% (33/38), 84.2% (32/38), and 81.5% (31/38), respectively (P > 0.05). According to the SOLO test, ChatGPT-3.5 (3.91 ± 0.44) achieved the highest mean accuracy and followed by Bard (3.64 ± 0.61) and Bing Chat (3.19 ± 0.55). For understandability (mean PEMAT-U score the ChatGPT-3.5: 68.5%, Bard: 78.6%, and Bing Chat: 67.1%, P < 0.05), and actionability (mean PEMAT-A score the ChatGPT-3.5: 62.6%, Bard: 72.4%, and Bing Chat: 60.9%, P < 0.05) the Bard scored better than the other chatbots. Two readability analyses showed that Bing had the highest readability, followed by the ChatGPT-3.5 and Bard, however, the understandability and readability scores were more challenging than the recommended level.

Conclusion

Artificial intelligence supported chatbots have the potential to provide detailed and appropriate responses at acceptable levels in KRS. Chatbots, while promising for patient education in KRS, require further progress, especially in readability and understandability aspects.

Objectif

Évaluer la pertinence, la compréhensibilité, l’applicabilité et la lisibilité des réponses fournies par ChatGPT-3.5, Bard et Bing Chat aux questions fréquemment posées sur la chirurgie kératoréfractive (CKR).

Méthode

Trente-huit questions fréquemment posées sur la CKR ont été adressées trois fois à des interfaces de ChatGPT-3.5, Bard et Bing Chat. Deux chirurgiens réfractifs expérimentés ont catégorisé les réponses des chatbots selon leur pertinence et l’exactitude des réponses a été évaluée à l’aide de la taxonomie SOLO (Structure of the Observed Learning Outcome). L’indice de facilité de lecture de Flesch (FRE) et l’indice de Coleman-Liau (CLI) ont été utilisés pour évaluer la lisibilité des réponses des chatbots. De plus, les scores de compréhensibilité des réponses ont été évalués à l’aide de l’outil d’évaluation des matériels pédagogiques pour les patients (PEMAT).

Résultats

La pertinence des réponses de ChatGPT-3.5, Bard et Bing Chat était respectivement de 86,8 % (33/38), 84,2 % (32/38) et 81,5 % (31/38) (p > 0,05). D’après le test SOLO, ChatGPT-3.5 a obtenu la précision moyenne la plus élevée (3,91 ± 0,44), suivi de Bard (3,64 ± 0,61) et de Bing Chat (3,19 ± 0,55). Pour la compréhensibilité (score moyen PEMAT-U: ChatGPT-3.5: 68,5 %, Bard: 78,6 %, et Bing Chat: 67,1 %, p < 0,05) et l’applicabilité (score moyen PEMAT-A: ChatGPT-3.5: 62,6 %, Bard: 72,4 %, et Bing Chat: 60,9 %, p < 0,05), Bard a obtenu de meilleurs résultats que les autres chatbots. Deux analyses de lisibilité ont montré que Bing avait la meilleure lisibilité, suivie de ChatGPT-3.5 et Bard, cependant, les scores de compréhensibilité et de lisibilité étaient plus difficiles que le niveau recommandé.

Conclusion

Les chatbots soutenus par l’intelligence artificielle ont le potentiel de fournir des réponses détaillées et appropriées à des niveaux acceptables en CKR. Les chatbots, bien qu’ils soient prometteurs pour l’éducation des patients en CKR, nécessitent des progrès supplémentaires, en particulier en matière de lisibilité et de compréhensibilité.