Clinical skills assessment: limitations to the introduction of an "OSCE" (Objective Structured Clinical Examination) in a traditional Brazilian medical school Translated title: Avaliação de habilidades clínicas: limitações à introdução de um exame clínico objetivo estruturado ("OSCE") em uma escola médica brasileira tradicional

Abstract

CONTEXT: Assessment of clinical skills has a central role in medical education and the selection of suitable methods is highly relevant. The OSCE (Objective Structured Clinical Examination) is now established as one of the most valid, reliable and effective tests for the assessment of clinical skills. OBJECTIVE: To describe student and faculty perceptions of an OSCE introduced in a traditional Brazilian medical school. TYPE OF STUDY: Descriptive, semi-quantitative study. SETTING: Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo. PARTICIPANTS: 258 junior medical students finishing an introductory course on basic clinical skills and six faculty members deeply involved with the OSCE administration. PROCEDURES: Over a period of three consecutive years, student perceptions on the examination were evaluated using a structured questionnaire containing several five-point scales; faculty members' opinions were collected using a structured questionnaire plus a personal interview. MAIN MEASUREMENTS: Student satisfaction or dissatisfaction with aspects of OSCE administration and positive or negative opinions from faculty members. RESULTS: Students were comfortable with cases and tasks, but nearly half (48%) of them criticized organizational aspects of the OSCE. Substantial proportions of students reported difficulties with both time management (70%) and stress control (70%). Improvement of several aspects of exams reduced criticism of organization to a minority (5%) of students, but the proportions of students reporting difficulties with time management (40%) and stress control (75%) during the exam remained virtually unchanged. Faculty members acknowledged the accuracy of the OSCE, but criticized its limitations for assessing the integrated approach to patients and complained that the examination was remarkably time and effort-consuming. The educational impact of the OSCE was felt to be limited, since other faculty members did not respond to the communication of exam results. CONCLUSIONS: In addition to shortage of resources and organizational difficulties, local cultural aspects and the absence of a more favorable educational climate may hinder lasting improvements in assessment methods in traditional medical schools.

Translated abstract

CONTEXTO: A avaliação das habilidades clínicas tem um papel central na educação médica, sendo importante o uso de métodos apropriados para esta finalidade. O exame clínico objetivo estruturado ("OSCE") constitui um dos mais válidos, fidedignos e efetivos meios de avaliação de habilidades clínicas. OBJETIVOS: Descrever as percepções de estudantes e professores frente à introdução de um exame "OSCE" em uma escola médica tradicional. TIPO DE ESTUDO: Estudo descritivo, semiquantitativo. LOCAL: Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo. PARTICIPANTES: Um total de 258 estudantes de Medicina que terminaram um curso sobre habilidades clínicas básicas e seis professores que se envolveram na administração da "OSCE". PROCEDIMENTOS: Aplicou-se aos estudantes um questionário estruturado para a medida da sua percepção sobre vários aspectos do exame. As opiniões dos professores foram colhidas com outro questionário, cuja aplicação foi seguida por uma entrevista pessoal. PRINCIPAIS MEDIDAS: Percentuais de estudantes satisfeitos ou insatisfeitos com os vários aspectos do exame e opiniões globais positivas ou negativas dos professores sobre a avaliação. RESULTADOS: Os estudantes mostraram-se satisfeitos com os casos e as tarefas clínicas solicitadas, mas 48% deles criticaram aspectos organizacionais do exame. Proporções substanciais dos estudantes relataram dificuldades em controlar o tempo (70%) e o estresse emocional (70%) durante o exame. O aperfeiçoamento de vários aspectos do exame associou-se à redução do percentual de estudantes insatisfeitos com a sua organização (5%), mas as proporções de estudantes relatando dificuldades com o controle do tempo (40%) e do estresse (75%) permaneceram inalteradas. Os professores reconheceram a acurácia do exame, mas criticaram a sua limitação em prover avaliação mais integral da abordagem do paciente. Houve, também, queixas de que o exame era consideravelmente dispendioso em termos do tempo e do esforço necessários para a sua aplicação. O impacto educacional do exame foi percebido como sendo limitado, visto que outros professores, não diretamente envolvidos com a sua administração, não mostraram interesse em discutir os seus resultados. CONCLUSÕES: Junto com a falta de recursos e a complexidade organizacional, particularidades de ordem cultural e a ausência de um ambiente educacional mais favorável podem dificultar o aperfeiçoamento dos métodos de avaliação nas escolas médicas tradicionais.