Development of a questionnaire to assess medical competencies: Reliability and validity of the Questionnaire Translated title: Entwicklung eines Fragebogens zur Erfassung von Kompetenzen in der Medizin: Ergebnisse zur Reliabilität und Validität

Abstract

Introduction: While preparing a graduate survey for medical education in 2008 we realized that no instrument existed that would be suitable to evaluate whether the learning outcomes outlined in the Medical Licensure Act (ÄAppO) would be met. Therefore we developed the Freiburg Questionnaire to Assess Competencies in Medicine (Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin, FKM) ¹ which has been revised and extended several times since then.

Currently the FKM includes 45 items which are assigned to nine domains that correspond to the CanMEDS roles: medical expertise, communication, team-work, health and prevention, management, professionalism, learning, scholarship, and personal competencies.

Methods: In order to test the reliability and validity of the questionnaire we have repeatedly surveyed medical students and residents since May 2008. In this article we report on the results of a cross-sectional study with 698 medical students from the preclinical and clinical years. In addition, we report the results of a survey of 514 residents who were up to two years into their residency.

Results and conclusions: In summary, results show that the scales of the FKM are reliable (Cronbach’s α between .68 and .97). Significant differences in means between selected groups of students support the measure’s construct validity. Furthermore, there is evidence that the FKM might be used as a screening tool e.g. in graduate surveys to identify weaknesses in the medical education curriculum.

Translated abstract

Einführung: Bei der Vorbereitung einer Absolventenbefragung im Fach Humanmedizin wurde deutlich, dass ein Verfahren fehlte, mit dem erfasst werden kann, ob die in der ÄAppO aufgeführten Lehr- und Lernziele erreicht werden. Aus diesem Grund wurde der Freiburger Fragebogen zur Erfassung von Kompetenzen in der Medizin (FKM) ¹ von einer Arbeitsgruppe an der Medizinischen Fakultät der Universität Freiburg entwickelt. Der FKM wurde seitdem mehrmals überarbeitet und erweitert. Er umfasst derzeit 45 Items, die neun Kompetenzbereichen zugeordnet werden. Diese Kompetenzbereiche stimmen im Wesentlichen mit den CanMEDS-Rollen überein.

Methode: Um die Reliabilität und Validität des Fragebogens zu überprüfen, wurden seit Mai 2008 mehrfach Studierende und Assistenzärzte befragt. In dem vorliegenden Beitrag werden die Ergebnisse einer Querschnittsstudie berichtet, in der 698 Studierende des ersten und zweiten Studienabschnitts den FKM beantwortet haben. Des Weiteren werden die Ergebnisse von 514 Assistenzärzten mit bis zu zwei Jahren Berufserfahrung beschrieben, die den FKM im Rahmen einer Absolventenbefragung ausgefüllt haben.

Ergebnisse und Schlussfolgerungen: Die bisherigen Ergebnisse zeigen, dass die einzelnen Kompetenzskalen des FKM hinreichend reliabel sind (Cronbach's α=.68 bis .97). Mittelwertunterschiede zwischen ausgewählten Gruppen von Studierenden stützen die Annahme der Konstruktvalidität des Verfahrens. Zudem gibt es Hinweise darauf, dass der FKM zumindest ab dem 2. Abschnitt des Studiums der Humanmedizin und im Rahmen von Absolventenstudien als Screening-Instrument eingesetzt werden kann, um Schwächen in der Ausbildung festzustellen.