Die Qualität von CME-Fragen in der ärztlichen Fortbildung – eine empirische Studie

Einleitung

Mit der Änderung der ärztlichen Fortbildungsverpflichtungen ist ein deutlicher Anstieg an zertifizierten Fortbildungsangeboten (CME) zu verzeichnen. Eine Möglichkeit, Fortbildungspunkte zu erlangen, ist die strukturierte Fortbildung über Printmedien mit Erfolgskontrolle. International wird CME zunehmend auf den messbaren Nutzen für den Patienten ausgerichtet. Eine vergleichende Bewertung der Qualität und Praxisorientierung von Fortbildungsangeboten ist notwendig.

Methode

Für eine vergleichende Bewertung wurden 200 Items von 20 Fortbildungseinheiten aus vier deutschen renommierten Fachzeitschriften begutachtet. Kriterien waren die Lernziele sowie die Itemkonstruktion, Autorenvorgaben und Fragenqualität. Die Begutachtung der Items erfolgte unabhängig durch zwei in Itemerstellung und Review geschulten und geübten Personen. Die Analysen der beiden Gutachter wurden verglichen und eventuelle Abweichungen gemeinsam diskutiert.

Ergebnisse

In allen Fortbildungseinheiten fanden sich Schwächen in der Fragenformulierung. Bei 52% der Items fehlte eine klare Fragestellung und alle Fortbildungseinheiten enthielten Items mit versteckten Lösungshinweisen. Nur bei 10% der Fragen war eine Fallvignette mit einem klinischen Szenario vorangestellt und nur 14,5% der Items fragten nach einer konkreten klinischen Entscheidung.

Schlussfolgerung

Die CME-Fragen der ausgewählten Fachzeitschriften zeigen Schwächen in der Formulierung und prüfen überwiegend Faktenwissen. Verlagsabhängige Unterschiede sind erkennbar und lassen Rückschlüsse auf die Vorgaben an die Autoren zu. Der bisherige Prozess von Fragenerstellung und Review ist unzureichend. Die Berücksichtigung internationaler Standards bei der Fragenerstellung könnte zu einer Qualitätsverbesserung führen, die zugleich eine Übertragung der gelernten Inhalte auf eine konkrete klinische Behandlungssituation impliziert und damit den Anwendungsbezug der Fortbildung erhöht.

Introduction

Changes in physician-training requirements have led to a significant increase in continuing medical education (CME) courses. Structured CME courses based on print media in combination with outcome evaluation offers one opportunity for earning credit points. On the international stage, CME courses are increasingly directed towards measurable patient benefit. Comparative assessment of quality and practical orientation in training courses is required.

Method

Two hundred items in twenty training units from four established German medical journals were analysed for comparison-based evaluation. The criteria applied were training goals, as well as item construction, authors’ requirements and question quality. The items were analyzed independently by two persons trained and experienced in preparing and reviewing items. The analyses from the two assessors were then compared, and any deviations were subjected to mutual consultation.

Results

Question formulation showed weaknesses in all the training units. In 52% of the items a clear question was lacking, and all of the training units contained items with concealed hints indicating the correct answer. Only 10% of the questions were preceded by a cameo case study presenting a clinical scenario, and only 14.5% of the items asked for a correct clinical decision.

Conclusion

The CME questions from the medical journals selected show weaknesses in formulation, and mostly tested factual knowledge. Differences were revealed between publishing houses yielding insights into the requirements made of the authors by the publishers. The question preparation process is still deficient. Adherence to international standards in item construction may lead to an improvement in quality, which would also enhance the implicit transferability of content learned to actual clinical situations, thus improving the practical usefulness of training courses.