229 Evaluating the clinical impact of quality improvement measures in patients with type 2 diabetes in general practice: repeat audit or cohort follow-up?

Abstract

Background and Objectives In 2005, the six general practitioners (GPs) in our health centre attended mostly by vulnerable patients began an audit of the management of patients with type 2 diabetes. Our objective was to compare assessment of the impact of our improvement plan on glycated haemoglobin (HbA1c) values using the results obtained (i) during the three rounds of the audit, (ii) during follow-up of the cohort of the first round. Programme The improvement plan used computer reminders. Each GP could create an individual patient by patient system for decision support. Each round of the audit concerned 50 patients with type 2 diabetes. The first sample (in 2005) was made up of patients who had attended the centre during a 3-month period. They were identified from paper diaries and included in chronological order. Patients forming the two following samples were randomly selected from the updated electronic register of all patients with type 2 diabetes. Results The results for 36 patients in the 2005 sample were analysed in 2008. The audits showed a statistically significant improvement during this period in compliance with six criteria in the guidance provided by HAS. Although the percentage of orders for an HbA1c test of going back less than 4 months increased, albeit not significantly (78% vs 82%), tests were actually carried out less often (74% vs 66%). A comparison of the mean values for the first HbA1c tests in 2005 and the last tests in 2008 revealed a very nearly significant difference for the audits (8.05 (n=41) vs 7.19 (n=36), p=0.05) but no difference on cohort follow-up (n=30; 8.18 vs 8.22 p=0.92). The percentage of patients with a first HbA1c value of less than 7% was significantly lower in 2005 than in 2008 for the audits (30% vs 55%, p=0.02) but stable for the cohort (27% vs 33%, p=0.57). Discussion and Conclusion Overall, there were improvements in practice that were maintained over time. However, results for HbA1c did not agree for the two assessment methods (audits vs cohort). An improvement was recorded in the audits whereas results were stable for the cohort. The sampling fraction was high (between a quarter to a third of the whole population) in each audit round, thus limiting selection bias due to different sampling techniques in 2005 and 2008. However, a substantial annual turnover of the diabetic population of the centre led to a change in the reference population during repeated sampling. This bias would require a more detailed analysis of the comparability of samples, in particular in terms of disease characteristics (history, severity of diabetes). This is not usually done in an audit. The cohort approach appears more reliable but is hampered by the number of drop-outs and the natural course of the disease when impact is assessed over several years. In conclusion, computer management and the use of reminders improved practices and compliance with HAS guidance in a primary care setting. However, our quality initiative had only a moderate effect on HbA1c in diabetic patients. The best way to assess this impact in daily practice is probably by repeated sampling. Contexte En 2005, les six médecins généralistes d'un centre de santé accueillant majoritairement des personnes en situation de précarité, ont démarré un cycle d'audit sur le suivi des diabétiques de type 2. Nous analysons ici l'impact de cette démarche sur l'évolution des valeurs de l'HbA1c, d'une part avec les résultats obtenus lors des 3 tours d'audit, et d'autre part avec le suivi de l'échantillon constitué au premier tour d'audit. Programme Le plan d'amélioration a reposé sur l'informatisation et la mise en place de rappels avec la possibilité pour chaque praticien de créer, patient par patient, un système d'aide à la décision. Les échantillons (50 patients) ont été constitués à chaque tour d'audit de façon aléatoire parmi la patientèle diabétique de type 2 du centre. Le premier échantillon a été constitué par repérage chronologique à partir des agendas papier de consultation sur une période de 3 mois. Les deux échantillons suivants ont été constitués aléatoirement à partir du registre électronique actualisé de l'ensemble des patients diabétiques du centre. 36 patients de l'échantillon de 2005 ont pu être analysés en 2008. Résultats Les audits répétés montrent une amélioration statistiquement significative du respect de six des critères du référentiel de la HAS entre 2005 et 2008. Sans atteindre le seuil de significativité, la comparaison de 2005 et 2008 retrouve plus souvent une HbA1c prescrite de moins de quatre mois (78% vs 82%) mais elle est moins souvent réalisée (74% vs 66%). La comparaison de la moyenne des premières valeurs d'HbA1c enregistrées en 2005 et des dernières valeurs d'HbA1c enregistrées en 2008 montre une différence statistique à la limite de la significativité entre les échantillons de l'audit répété (8.05 (n=41) vs 7.19 (n=36), p=0.05), et une absence de différence dans le suivi de cohorte (n=30; 8.18 vs 8.22 p=0.92). La proportion de patients dont la première valeur d'HbA1c était inférieure à 7 en 2005 par rapport à 2008 était statistiquement plus basse dans l'audit répété (30% vs 55%, p=0.02) et stable dans le suivi de cohorte (27 % vs 33%, p=0.57). Discussion L'ensemble de la démarche montre des améliorations dans les pratiques, maintenues dans le temps. En terme d'état de santé apprécié par les valeurs d'HbA1c, les résultats de deux méthodes d'évaluation sont contradictoires, montrant une amélioration avec l'audit répété, et une stabilité avec le suivi de cohorte. Lors de chaque tour d'audit, la fraction d'échantillonnage était élevée (entre le quart et le tiers de la population de référence), ce qui limite le biais de sélection introduit par des techniques d'échantillonnage différente en 2005 et 2008. Cependant, un taux de renouvellement annuel important de la population des diabétiques de la patientèle du centre a entraîné un changement de la population de référence lors de la répétition de l'échantillonnage. Ce biais nécessiterait une analyse plus fine de la comparabilité des échantillons en particulier vis-à-vis des caractéristiques du diabète (ancienneté, gravité), ce qui n'est habituellement pas fait lors d'un audit. Bien qu'il soit plus fiable, le suivi de cohorte s'avère être un outil d'intérêt très rapidement limité par le nombre de perdus de vue, et l'évolution naturelle de la maladie pour apprécier l'impact d'une démarche qualité sur plusieurs années. Conclusion L'informatisation et la génération de rappels a permis d'améliorer les pratiques et de se rapprocher du référentiel de la HAS. Cependant, l'impact de cette démarche qualité montre un effet modéré sur l'HbA1c de patients diabétiques en médecine ambulatoire. La meilleure méthode pour l'apprécier reste l'échantillonnage aléatoire répété.