Wie werden die Testfragen erstellt?

Der studentische kompetenzorientierte Progresstest enthält 120 MC-Fragen und umfasst dabei Themengebiete aus allen Semesterstufen. Die MC-Fragen werden detailliert aufgegliedert nach Kompetenzbereichen und Fächergruppen.

Des Weiteren enthält der studentische kompetenzorientierte Progresstest 10 „Situational-Judgement-Test“-Fragen (SJT), die ihren Fokus auf professionellem Handeln haben und Situation im beruflichen oder klinischen Umfeld beschreiben, welche Entscheidungen erfordern. Zu den Antworten auf die SJT-Fragen erhalten die Studierenden eine Erläuterung.

MC-Fragen

Kompetenzbereiche und Fächergruppen

Die MC-Fragen des studentischen kompetenzorientierten Progresstests orientieren sich einerseits an den Kompetenzen des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NLKM1) und andererseits an den Fächern der deutschen Approbationsordnung für Ärzte (ÄAppO2). Die Fächer und Kompetenzen sind dabei zu 8 Fächergruppen (I-VIII) und 5 Kompetenzbereichen (A-E) zusammengefasst.

 

 

Blueprint

Aus jeder Kombination von Fächergruppe und Kompetenzbereich geht eine festgelegte Zahl von MC-Fragen in den Progresstest ein. Insgesamt enthält der Progresstest 120 MC-Fragen.

 

 

Zusätzlich werden die 120 MC-Fragen so zusammengestellt, dass bezogen auf das Kapitel 21 des NKLM mindestens 2 MC-Fragen pro Bereich enthalten sind.

Themengebiete Kapitel 21 „Erkrankungsbezogene Prävention, Diagnostik, Therapie, Versorgungs- und Notfallmanagement“:

  1. Primäres Organsystem: Kardiovaskulär
  2. Primäres Organsystem: Muskuloskelletal und Weichgewebe
  3. Primäres Organsystem: Hormone und Stoffwechsel
  4. Primäres Organsystem: Respiratorisches System
  5. Primäres Organsystem: Blut und Immunologie
  6. Primäres Organsystem: Urogenitales System
  7. Primäres Organsystem: Verdauungssystem
  8. Primäres Organsystem: Haut, Hautanhang, Schleimhaut
  9. Primäres Organsystem: Sinnessysteme
  10. Primäres Organsystem: Nervensystem und Psyche
  11. Schwangerschaft, Fetal-, Perinatal- und Neonatalzeit

Review der MC-Fragen

Die MC-Fragen des Progresstests durchlaufen ein mehrstufiges Review-Verfahren:

Pre-Review: Bei der Erstellung der MC-Fragen werden diese hinsichtlich formaler und inhaltlicher Kriterien, wie sie auch bei der Erstellung von Fächerprüfungen im Studium zu Einsatz kommen, von mehreren Autoren/-innen begutachtet (Gruppenreview). Nur wenn die Kriterien hinreichend erfüllt sind, kann eine MC-Frage in den Progresstest aufgenommen werden.

Post-Review: Nach der Durchführung des Progresstests werden alle MC-Fragen mit Hilfe von statistischen Kennwerten und ggf. erneuter inhaltlicher Begutachtung überprüft. Dies kann zur Folge haben, dass MC-Fragen mit korrigierter Auswertung (z.B. eine weitere Antwortoption ist als korrekt zu werten) in die Gesamtauswertung eingehen oder auch komplett ausgeschlossen werden müssen. Letzteres ändert die mögliche maximal erreichbare Gesamtpunktzahl des Progresstests bei den MC-Fragen.

Situational-Judgement-Test-Fragen

Mit SJT-Fragen3  haben ihren Einsatz vielfach in der Personalauswahl:
„Situational Judgement Tests are commonly used by organizations for personnel selection. They aim to provide realistic but hypothetical scenarios and possible answers wich are either selected or ranked by the candidate.“3
Aufgrund ihres einfachen Formats (Mehrfachantworten mit erläuternden Feedbacktexten) lassen sich diese sehr gut verwenden, um kompetenzorientierte Fragen zu den Themenbereichen Kommunikation und professionelles Handeln in den Test zu integrieren.
Dabei werden die SJT-Fragen im Unterschied zu den MC-Fragen nicht mit einem Punktwert ausgewertet, sondern man kann nach der Beantwortung einer Frage einen Feedbacktext einsehen, welcher die als adäquat angesehenen Antwortoptionen begründet. Dies kann dann wiederum kommentiert und in Online-Diskussionsforen weiter diskutiert werden.
Die SJT-Fragen dienen daher vor allem der kritischen Ausweinadersetzung mit herausfordernden und schwierigen Situationen in beruflichen oder klinischen Tätigkeiten.

Review von SJT-Fragen

Die SJT-Fragen des Progresstests durchlaufen ebenfalls ein mehrstufiges Review-Verfahren:

Pre-Review: Die Themen und der situative Kontext der SJT-Fragen werden von den Studierenden des studentischen Progresstest-Teams vorbereitet. Da die Themen medizinisch und rechtlich komplex sein können, erfolgt der Pre-Review der SJT-Fragen anschließend gemeinsam mit medizinischen Fachexperten.

Post-Review: Die Antworten und Kommentare der teilnehmenden Studierenden zu den SJT-Fragen werden gemeinsam analysiert, um die Vorbereitung neuer SJT-Fragen für das darauf folgende Jahr stetig zu verbessern.

Literatur

1. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM). www.nklm.de

2. Approbationsordnung für Ärzte ÄAppO. ÄApprO 2002. Issue date: 27.06.2002. www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html

3. Metcalfe D, Dev H. (2014) Situational Judgement Test. Oxford University Press.