Entwicklung des studentischen kompetenzorientierten Progresstests

Mit der Entwicklung des Nationalen Kompetenzbasierten Lernzielkatalogs für Medizin (NKLM) haben sich neue Anforderungen für Prüfungen in der medizinischen Ausbildung ergeben. Etablierte Prüfungsformen müssen erweitert und innovative Prüfungsformate zur Erfassung von Kompetenzen konzipiert werden. Im Rahmen des Verbund-Projekts „Medical Education Research – Lehrforschung im Netz BW“ (MERLIN, http://www.merlin-bw.de) wurden im Jahr 2013 durch das „Kompetenzzentrum für Prüfungen in der Medizin / Baden-Württemberg“ der Medizinischen Fakultät Heidelberg (http://www.kompmed.de/) und das „umbrella consortium for assessment networks“ (UCAN, https://www.ucan-assess.org) diese Anforderungen aufgegriffen und ein Projekt von Studierenden für Studierende initiiert.

Ziel des Projekts ist es, das für longitudinales Feedback geeignete Format des Progresstests in Richtung Kompetenzorientierung zu entwickeln, fakultätsübergreifend einzusetzen und Studierenden durch den Test eine Rückmeldung über ihren Leistungstand im Studium zu geben. Daraus entstand der studentische kompetenzorientierte Progresstest, welcher den Studierenden seit 2013 einmal jährlich fakultätsübergreifend und formativ angeboten wird.

Institut für Kommunikations und Prüfungsforschung gGmbH

Der Progresstest wurde von Anfang an in Kooperation mit UCAN gestaltet, das seit 2016 Teilbereich des Institut für Kommunikations und Prüfungsforschung gGmbH ist ist. Zentrale Aufgaben von UCAN sind dabei die Mitarbeit bei der Blueprintentwicklung, Unterstützung bei Workshops zur Erstellung der Prüfungsfragen und gemeinsame Ausbildungsforschung.

UCAN unterstützt das Projekt zudem durch eine eigens für den Progresstest bereitgestellte IMS-Plattform (ItemManagementSystem), in der ausschließlich Prüfungsfragen von Studierenden bearbeitet werden. Ebenso wurde von UCAN das Online-Tool für die webbasierte Prüfung technisch entwickelt.

Entwicklungen in den Jahren 2013-2020

Der kompetenzorientierte Progresstest wurde imJahr 2013 an acht medizinischen Fakultäten in Deutschland mit 469 Teilnehmern/innen pilotiert. Für diese Pilotstudie wurden von Studierenden aus sieben Fakultäten in Deutschland über 200 MC-Fragen unter Nutzung einer eigens für den Progresstest bereitgestellten IMS-Plattform erstellt und reviewt.1,2

Im Jahr 2014 wurden von den Studierenden zusätzlich zu den MC-Fragen auch SJT-Fragen im Format erstellt und reviewt. Im Jahr 2014 nahmen 381 Studierende an acht Fakultäten in Deutschland und einer Fakultät in Österreich am kompetenzorientierten Progresstest teil. Zudem war in diesem Jahr erstmals die Möglichkeit gegeben, die Vorjahresergebnisse mit den aktuellen Ergebnissen zu vergleichen.

Während der Test in den ersten beiden Jahren als Paper-Pencil-Version erfolgte, wurde der Test im Jahr  2015 erstmalig online durchgeführt (https://myprogress.report/). Im Jahr 2015 haben 1269 Studierende aus 13 Medizinischen Fakultäten am Progresstest teilgenommen, wovon 950 Studierende den Test abgeschlossen haben.

Im Jahr 2016 wurden auch MC-Fragen mit Video-Sequenzen für klinische-praktische Kompetenzen entwickelt und eingesetzt. In diesem Jahr haben 1476 Studierende aus 15 Medizinischen Fakultäten am Progresstest teilgenommen, wovon 891 Studierende den Test abgeschlossen haben.

Die Beantwortung der MC-Fragen wurde 2017 durch ein confidence rating ergänzt, das optional dazugewählt werden kann. Mit dem confidence rating wird auf einer 4-stufigen Skala von „sehr unsicher“ bis „sehr sicher“ bewertet, wie sicher man sich bei der Beantwortung ist. Im Jahr 2017 haben 1511 Studierende aus 16 Medizinischen Fakultäten am Progresstest teilgenommen, wovon 968 Studierende den Test abgeschlossen haben.

Im Jahr 2018 und 2019 wurde der Test ergänzt durch vier Key Feature-Fälle mit insgesamt 18 MC-Fragen, die zunächst pilotiert werden. Des Weiteren wurde die verfügbare Testzeit nicht mehr begrenzt, um dem formativen Charakter der Prüfung noch besser gerecht zu werden.

Zusammenfassende Darstellung der Durchführung in den Jahren 2013-2020:

2013

2014

2015

2016

Fragen

144 MC-Fragen

120 MC-Fragen +
10 SJT Fragen

120 MC-Fragen +
10 SJT Fragen

120 MC-Fragen +
10 SJT Fragen

Dauer

3 h

3 h

3 h

3 h

Art

Schriftlich

Schriftlich

Online

Online

Anzahl der teilnehmenden Fakultäten

8

9

13

15

Anzahl der Teilnehmer

469

381

950 (1269)

891 (1467)

2017

2018

2019

Fragen

120 MC-Fragen +
10 SJT Fragen

120 MC-Fragen +
4 Key Feature-Fälle + 10 SJT Fragen

120 MC-Fragen +
4 Key Feature-Fälle + 10 SJT Fragen

Dauer

3 h/3,5 h

unbegrenzt

unbegrenzt

Art

Online

Online

Online

Anzahl der teilnehmenden Fakultäten

16

16

18

Anzahl der Teilnehmer

968 (1511)

1019 (1942)

1083 (1981)

2020

Fragen

120 MC-Fragen +
4 Key Feature-Fälle + 10 SJT Fragen

Dauer

unbegrenzt

Art

Online

Anzahl der teilnehmenden Fakultäten

17

Anzahl der Teilnehmer

1243 (2583)

Literatur

1. Wagener S, Möltner A, Tımbıl S, Gornostayeva M, Schultz JH, Brüstle P, Mohr D, Vander Beken A, Better J, Fries M, Gottschalk M, Günther J, Herrmann L, Kreisel C, Moczko T, Illg C, Jassowicz A, Müller A, Niesert M, Strübing F, Jünger J. Entwicklung eines formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden – Ergebnisse einer multifakultären Pilotstudie. GMS Z Med Ausbild 2015; 32(4):Doc46 (20151015)

2. Better J, Fries M, Gottschalk M, Günther J, Illg C, Jassowicz A, Kreisel C, Kwakmann S, Maier P, Moliere F, Moczko T, Niesert M, Speck H, Strübing F, Zelienka I, Wagener S, Schultz JH, Jünger J. Entwicklung eines formativen kompetenzbasierten Progresstests durch Studierende. In: Jahrestagung der Gesellschaft für Medizinische Ausbildung (GMA). Graz, 26.-28.09.2013. Düsseldorf: German Medical Science GMS Publishing House; 2013. DocS02_02.