DOPS (Direct Observation of Procedural Skills) in undergraduate skills-lab: Does it work? Analysis of skills-performance and curricular side effects Translated title: DOPS (Direct Observation of Procedural Skills) im studentischen Skills-Lab: Funktioniert das? Eine Analyse der Performanz klinischer Fertigkeiten und der curricularen Nebeneffekte

Abstract

Objective: Sufficient teaching and assessing clinical skills in the undergraduate setting becomes more and more important. In a surgical skills-lab course at the Medical University of Innsbruck fourth year students were teached with DOPS (direct observation of procedural skills). We analyzed whether DOPS worked or not in this setting, which performance levels could be reached compared to tutor teaching (one tutor, 5 students) and which curricular side effects could be observed.

Methods: In a prospective randomized trial in summer 2013 (April – June) four competence-level-based skills were teached in small groups during one week: surgical abdominal examination, urethral catheterization (phantom), rectal-digital examination (phantom), handling of central venous catheters. Group A was teached with DOPS, group B with a classical tutor system. Both groups underwent an OSCE (objective structured clinical examination) for assessment.

193 students were included in the study. Altogether 756 OSCE´s were carried out, 209 (27,6%) in the DOPS- and 547 (72,3%) in the tutor-group.

Results: Both groups reached high performance levels. In the first month there was a statistically significant difference (p<0,05) in performance of 95% positive OSCE items in the DOPS-group versus 88% in the tutor group. In the following months the performance rates showed no difference anymore and came to 90% in both groups.

In practical skills the analysis revealed a high correspondence between positive DOPS (92,4%) and OSCE (90,8%) results.

Discussion: As shown by our data DOPS furnish high performance of clinical skills and work well in the undergraduate setting. Due to the high correspondence of DOPS and OSCE results DOPS should be considered as preferred assessment tool in a students skills-lab.

The approximation of performance-rates within the months after initial superiority of DOPS could be explained by an interaction between DOPS and tutor system: DOPS elements seem to have improved tutoring and performance rates as well.

DOPS in students ‘skills-lab afford structured feedback and assessment without increased personnel and financial resources compared to classic small group training.

Conclusion: In summary, this study shows that DOPS represent an efficient method in teaching clinical skills. Their effects on didactic culture reach beyond the positive influence of performance rates.

Zusammenfassung

Zielsetzung: Die suffiziente Vermittlung und Prüfung klinisch-praktischer Fertigkeiten bereits während des Medizinstudiums gewinnt zunehmend an Bedeutung. Im Rahmen des chirurgischen Pflichtpraktikums an der Medizinischen Universität Innsbruck wurde untersucht, ob das Teaching mittels DOPS im Skills-Lab Setting überhaupt funktioniert, zu welcher Performanz von klinischen Fertigkeiten DOPS (direct observation of procedural skills) im Vergleich zu einem Tutor-System (1 ärztlicher Tutor à 5 Studierende) führen und welche curricularen Side-Effects zu beobachten sind.

Methoden: Im Sommersemester 2013 (Monate April – Juni) wurden im Rahmen einer prospektiv randomisierten Studie 4 kompetenzlevelbasierte Skills mittels DOPS (Gruppe A) und einem klassischen Tutor System (Gruppe B) in einwöchigen Kleingruppen-Kursen gelehrt und mittels OSCE (objective structured clinical examination) geprüft:

Chirurgische Abdominaluntersuchung, Harnkatheteranlage (Phantom), rektal-digitale Untersuchung (Phantom), Handhabung zentralvenöser Katheter.

In die Studie wurden 193 Studierende inkludiert. Insgesamt wurden 756 Einzel-OSCE´s durchgeführt, davon entfielen auf die DOPS-Gruppe 209 (27,6%) und auf die Tutor-Gruppe 547 (72,3%).

Ergebnisse: Die Beobachtung der Performanz zeigt sehr gute Resultate in beiden Gruppen. Im ersten Monat wies die DOPS Gruppe gegenüber der Tutorgruppe einen statistisch signifikanten (p<0,05) Performanzunterschied von rund 95% versus 88% an vollständig erfüllten OSCE-Items auf. In den Folgemonaten glichen sich die Performanzen beider Gruppen weitgehend an und betrugen in beiden Gruppen rund 90%.

Bei den praktischen Fertigkeiten zeigte sich eine hohe Übereinstimmung zwischen DOPS- und OSCE-Resultaten (positive Ergebnisse: DOPS 92,4%, OSCE 90,8%).

Diskussion: Die Studiendaten zeigen, dass DOPS eine hohe Performanz klinischer Fertigkeiten erbringen und im studentischen Skills-Lab Setting gut funktionieren. Durch die hohe Übereinstimmung von DOPS- und OSCE-Ergebnissen im Assessment praktischer Fertigkeiten könnte man überlegen, DOPS auch als alleiniges Assessment-Tool im studentischen Skills-Lab einzusetzen.

Die zeitbedingte Annäherung der Performanzraten nach initialer Überlegenheit der DOPS-Gruppe könnte auf eine Wechselwirkung zwischen DOPS und klassischem Tutorsystem zurückzuführen sein: die DOPS-Elemente scheinen das Tutoring und die Performanz insgesamt verbessert zu haben.

Verglichen mit einem Kleingruppenunterricht bieten DOPS im studentischen Skills-Lab bei gleichem Personal- und Zeitaufwand zusätzlich strukturiertes Feedback und Assessment.

Schlussfolgerung: Zusammenfassend zeigt die vorliegende Studie, dass DOPS eine ressourcenschonende, effiziente Methode in der didaktischen Vermittlung klinisch-praktischer Fertigkeiten darstellt. Die Effekte der DOPS auf die universitären/klinischen Institutionen reichen weit über die unmittelbare positive Beeinflussung der Performanz hinaus.