026 Formative assessment using audit and feedback to improve nuchal translucency image quality

Abstract

Background and Objective Ultrasound measurements of nuchal translucency and crown-rump length during the first trimester of pregnancy are already used efficiently to detect chromosomal abnormalities. This method can detect between 70% and 90% of Down's syndrome cases, with a false-positive rate of 5%, depending on whether this risk estimation is combined solely with the risk due to maternal age or also with first or second trimester maternal serum markers. However, the performance of this technique depends largely on the precision of ultrasound measurement. The objective is to study the impact of feedback on the improvement of ultrasound scanning practices during the first trimester of pregnancy. Program The Collège Français d'Echographie Fœtale (CFEF) has encouraged its members to participate in practice assessment programs. It has set up a protected Web site (https://nuque.epp-echofoetale.fr/) devoted exclusively to auditing programs and feedback on foetal scanning. 506 sonographers each sent 30 consecutive images to a dedicated, protected server for double-blind, independent and remote analysis by the new CFEF/CNRS image-scoring method. After scoring, sonographers were classified into low (<13/20) or high (≥13/20) scorers. Out of these 506 sonographers, 88 sent a second set of 30 images, 73 of whom had received a feedback report by e-mail and 15 who had received no feedback. No evidence of sampling bias was shown between different groups. Results The scores of the sonographers who received feedback increased significantly between rounds from 11.1±1.3 to 13.4±1.4 for low scorers (p<0.00001) and from 15.1±1.2 to 16.0±1.4 for high scorers (p<0.001), unlike the performance of sonographers who received no feedback increase from 10.9±1.5 to 12.1±2.0 for low scorers (p=0.11), no change (14.7±1.3 to 14.6±1.3) for high scorers (p=0.99). Feedback prompted a 48% increase in satisfactory images in low scorers. Discussion In our study, the adjusted risk difference for the number of satisfactory ultrasound images was 0.22 for low scorers and 0.11 for high scorers. The adjusted risk ratios were 1.48 and 1.15, respectively (increases of 48% and 15%, respectively). Thus the relative effectiveness of audit and feedback is likely to be greater when baseline adherence to recommended practice is low. Our feedback system favours this improvement, since the report not only provides an overall score, but also allows sonographers to see all those shots which are judged inadequate by the rater, and this is valid for each criterion. However, our study also shows that the improvement in practice has its limits. Low scorers improved but did not achieve the performance of high scorers in the first round. As 30% (150/506) of our starting population were low scorers and as 33% (11/33) of these low scorers did not achieve a high score in the second round, we can conclude that, overall, 10% (0.33×0.30) of sonographers will probably not attain a high score after moderately intensive feedback but will require 'intensive' audit and feedback. Conclusion This audit and feedback led to an improvement in ultrasound scanning during the first trimester of pregnancy, which was all the more remarkable when the starting level was low. Formative assessment using a moderately intensive audit and feedback is clearly effective. Amélioration des pratiques échographiques du premier trimestre de la grossesse par l’évaluation formative Contexte, objectifs Les mesures échographiques de la clarté nucale et de la longueur crânio-caudale au cours du premier trimestre de la grossesse sont performantes pour le dépistage des anomalies chromosomiques. Elles permettent de détecter 70% à 90% des cas de trisomie 21, avec un taux de faux positifs de 5%, selon que l'estimation du risque liée à ces mesures soit combiné uniquement avec le risque lié à l'âge de la mère ou avec le risque estimé par les marqueurs sériques du premier ou du deuxième trimestre. Toutefois, la performance de ce dépistage dépend largement de la qualité des mesures échographiques. L'objectif de cette étude est d'étudier l'impact d'un audit clinique sur l'amélioration des pratiques échographiques durant le premier trimestre de la grossesse. Programme Le Collège Français d'Echographie Fœtale (CFEF) a encouragé ses membres à participer à des programmes d’évaluation des pratiques professionnelles. Il a construit un site Internet sécurisé (https://nuque.epp-echofoetale.fr/) consacré à l'analyse des images échographiques numérisées et anonymisées par des experts. 506 échographistes ont envoyé chacun 30 images consécutives à un serveur dédié pour l'analyse en double aveugle, avec l'aide d'un référentiel établi par le CFEF. Le résultat de la première évaluation a permis de distinguer des échographistes ayant une pratique insuffisante (score <13/20) des échographistes ayant une pratique satisfaisante (score ≥ 13/20). Sur ces 506 échographistes, 88 ont envoyé une deuxième série de 30 images, dont 73 avaient reçu leur rapport d’évaluation par e-mail alors que 15 échographistes n'ont pas reçu ce rapport. Auncun biais de sélection n'a été retrouvé entre les différents groupes. Résultats Le score des échographistes recevant leur rapport d’évaluation, augmentait significativement entre les 2 évaluations passant de 11.1±1.3 à 13.4±1.4 pour des opérateurs ayant une pratique insuffisante (p<0.00001) et de 15.1±1.2 à 16.0±1.4 pour des opérateurs ayant une pratique satisfaisante (p<0.001), alors que la performance des échographistes ne recevant pas leur rapport d’évaluation, augmentait de manière non significative passant de 10.9±1.5 à 12.1±2.0 pour des opérateurs ayant une pratique insuffisante (p=0.11), et ne changeait pas (14.7±1.3 à 14.6±1.3) pour des opérateurs à niveau initial élevé (p=0.99). De plus les échographistes ayant une pratique insuffisante augmentaient de 48% le nombre d'images satisfaisantes après lecture de leur rapport d’évaluation. Discussion Notre étude montre un risque ratio ajusté de 1,48 pour des opérateurs ayant une pratique insuffisante et de 1,15 pour des opérateurs ayant une pratique satisfaisante, (augmentation de 48% et 15%, respectivement). Ainsi, l'amélioration est plus importante lorsque le niveau à la pratique professionnelle est bas. Notre programme d’évaluation formative favorise cette amélioration, car le rapport d’évaluation ne fournit pas seulement une note globale, mais permet également à chaque échographiste de revoir les images que l'expert a jugé insuffisants. Cependant, notre étude montre également que l'amélioration des pratiques a ses limites. Malgré leur amélioration, les opérateurs ayant une pratique insuffisante n'atteignent pas le niveau où se situent les échographistes ayant une pratique satisfaisante. Comme 30% (150/506) de notre population de départ avaient des pratiques insuffisantes et que 33% (11/33) de ces échographistes n'atteignent pas le sore de 13/20, nous pouvons conclure que, globalement, 10% (0,33 * 0,30) de la totalité des échographistes ne parviendront pas à un niveau satisfaisant. Il sera nécessaire pour ces échographistes de mettre en place des programmes plus personnalisés. Conclusion Ce programme d’évaluation des pratiques professionnelles a permis une amélioration des pratiques échographiques du premier trimestre de la grossesse, amélioration d'autant plus importante que le niveau de départ est bas. Nous avons pu montré que l'évaluation formative en utilisant un programme d'audit clinique via Internet est réeellement efficace.