Über den Kompetenzorientierten ProgressTest
Der Kompetenzorientierte ProgressTest - ein Projekt von Studierenden für Studierende
Unser Kompetenzorientierter ProgressTest wurde 2013 ins Leben gerufen, um die Anforderungen der modernen medizinischen Ausbildung zu erfüllen. Mit der Entwicklung des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NKLM) entstand die Notwendigkeit, neue Prüfungsformate zu schaffen. Denn es ging mit den neuen Anforderungen nicht mehr nur darum, Wissen abfragen, sondern auch Kompetenzen für die spätere Berufsausübung zu messen und zu fördern.
Initiiert von Studierenden wurde der Kompetenzorientierte ProgressTest zu einem Gemeinschaftsprojekt von Studierenden und Lehrenden mit einem gemeinsamen Ziel: Lernerfolg und Lernqualität. Im Rahmen des Verbundprojekts „Medical Education Research – Lehrforschung im Netz BW“ (MERLIN) arbeiteten die Medizinische Fakultät Heidelberg und dem Umbrella Consortium for Assessment Networks (UCAN). Gefördert wurde das Projekt auch vom Bundesministerium für Bildung und Forschung.
Seit seiner Einführung 2013 hat sich der Kompetenzorientierte ProgressTest stetig weiterentwickelt und ist mittlerweile an 18 Fakultäten im Einsatz, mit über 10.000 teilnehmenden Studierenden.
Teilnehmende Fakultäten
Teilnehmende Studierende
Struktur des Kompetenzorientierten ProgressTests
Der Kompetenzorientierte ProgressTest besteht aus einem Basistest mit 120 Multiple-Choice- und Key-Feature-Fragen, die alle relevanten medizinischen Themengebiete aus sämtlichen Semesterstufen abdecken. Seit 2023 wurden zusätzlich neue Schwerpunktthemen eingeführt. Diese umfassen 80 Fragen und greifen aktuelle Herausforderungen in der medizinischen Ausbildung auf.
Basistest
120 MC- und Key-Feature-Fragen zu allen Themengebieten der medizinischen Ausbildung
Orientiert am Z-Curriculum (vorklinische und klinische Themen, Verknüpfung von Grundlagenwissen mit praktischen Anwendungen)
Schwerpunktbereich zukunftsrelevante Kompetenzen
80 zusätzliche Fragen zu aktuellen Herausforderungen in den Themenfeldern:
- Planetare Gesundheit
- Gesundheitskompetenz
- Bevölkerungsmedizin
- Digitale Medizin
- Patientensicherheit und Patient Empowerment
- Interkulturelle Kommunikation in der Medizin
- Klinisches Denken und Leitlinienkompetenz
Stuational Judgement Tests
Fünf Fragen mit Fokus auf professionellem Handeln
Kritische Reflexion und Diskussion von Situationen im beruflichen oder klinischen Umfeld beschreiben
Erstellung der Testfragen
Der Kompetenzorientierte ProgressTest basiert auf einem zweidimensionalen Blueprint. Dieser kombiniert 8 Fächergruppen (basierend auf der ÄAppO, I-VIII) mit 5 Kompetenzbereichen (gemäß NKLM 1.0, A-E).
Review-Verfahren
Sowohl die MC- Fragen als auch die SJT-Fragen durchlaufen ein Pre- und Post-Review-Verfahren.
Pre-Review: Die Fragen und Themen werden von den Studierenden und Expert/-innen des ProgressTest-Teams vorbereitet. Die inhaltlichen und formalen Qualitätskriterien zur Erstellung von Fragen werden zuvor in Workshops mit erfahrenen Expertinnen und Experten erarbeitet. Mehrere nationale und internationale Expert/-innen begutachten anschließend die erstellten Fragen (Gruppenreview). Nur wenn die Kriterien hinreichend erfüllt sind, wird eine Frage in den Kompetenzorientierten ProgressTest aufgenommen.
Post-Review: Nach der Durchführung des Tests werden alle MC-Prüfungsfragen mit Hilfe von statistischen Kennwerten und ggf. erneuter inhaltlicher Begutachtung überprüft. Dies kann zur Folge haben, dass MC-Fragen mit korrigierter Auswertung (z. B. wenn eine weitere Antwortoption als korrekt zu werten ist) in die Gesamtauswertung eingehen oder auch komplett ausgeschlossen werden müssen. Letzteres ändert die mögliche maximal erreichbare Gesamtpunktzahl des ProgressTests bei den MC-Fragen.
Bei den SJT-Fragen werden die Antworten und Kommentare der teilnehmenden Studierenden gemeinsam analysiert, um die Vorbereitung neuer SJT-Fragen für das darauffolgende Jahr stetig zu verbessern.
Auswertung und Ergebnisse
Datenauswertung
Die Auswertung des Kompetenzorientierten ProgressTests erfolgt mit etablierten statistischen Methoden und individualisierten Rückmeldungen. Dies ermöglicht eine objektive Analyse des Lernfortschritts.
Statistische Verfahren
Zur ersten Orientierung dienen deskriptive Statistiken, die Mittelwerte, Standardabweichungen und Verteilungen der Testergebnisse analysieren. Hierdurch lassen sich Trends innerhalb einer Kohorte oder über mehrere Jahrgänge hinweg erkennen.
Vergleichende Analysen ermöglichen den direkten Leistungsabgleich zwischen Gruppen, Studienjahrgängen oder Institutionen. So wird sichtbar, wie sich Studierende über die Zeit entwickeln und ob ggf. curriculare Anpassungen Wirkung zeigen.
Um die Zuverlässigkeit (Reliabilität) und Aussagekraft (Validität) des Tests sicherzustellen, werden systematische Prüfungen durchgeführt. Dies stellt sicher, dass der Test tatsächlich relevante Kompetenzen misst und vergleichbare Ergebnisse liefert.
Mithilfe der Item-Response-Theorie (IRT) wird die Qualität einzelner Testfragen überprüft. Dabei werden die Schwierigkeit und Trennschärfe der Items analysiert, um sicherzustellen, dass sie sich für eine präzise Leistungsdifferenzierung eignen. Diese Analysen helfen, den ProgressTest langfristig zu verbessern und optimal an die Kompetenzniveaus der Studierenden anzupassen.
Individualisierte Rückmeldungen
Ein zentraler Bestandteil des Kompetenzorientierten ProgressTests sind personalisierte Rückmeldungen für Studierende.
Leistungsprofile zeigen die individuelle Entwicklung über mehrere Testdurchläufe hinweg. Dies ermöglicht eine langfristige Einschätzung des eigenen Kompetenzfortschritts.
Durch Benchmarking wird die eigene Leistung mit der Kohorte oder Referenzgruppen verglichen. Dies schafft Transparenz über den persönlichen Lernstand im Verhältnis zu anderen Studierenden.
Eine Stärken-Schwächen-Analyse identifiziert Kompetenzbereiche, in denen Verbesserungspotenzial besteht. So erhalten Studierende gezielte Hinweise, welche Inhalte sie intensiver bearbeiten sollten.
Diese Verfahren ermöglichen eine präzise Auswertung der Testergebnisse und liefern wertvolle Informationen für individuelle Lernprozesse.
Um die Analysemöglichkeiten des Kompetenzorientierten ProgressTests zu veranschaulichen, zeigen die folgenden Abbildungen beispielhafte Testergebnisse einer exemplarischen Fakultät.
In dieser Abbildung werden die Gesamtergebnisse des Basistests einer exemplarischen Fakultät im Vergleich zu den Ergebnissen aller teilnehmenden Fakultäten (aufgeteilt nach Studienjahren) dargestellt.
Der hier abgebildete Graph zeigt das Ergebnisprofil (jeweils in %) der Studierenden einer exemplarischen Fakultät nach Studienjahr in den acht Basisfächergruppen.
Exemplarisch sind hier die Ergebnisse einer Fakultät in einer Fächergruppe im Vergleich zu allen teilnehmenden Fakultäten dargestellt.
Was ist neu am Kompetenzorientierten ProgressTest 2025?
Wie schon beim ProgressTest 2024 finden sich auch im ProgressTest 2025 Fragen aus neuen Themenbereichen, die zukunftsrelevante Kompetenzen der Studierenden fördern.
Eine Neuerung der diesjährigen Ausgabe des Tests sind Videofragen, die eine stärkere Verknüpfung von theoretischem Wissen mit praxisnahen Anwendungssituationen ermöglichen und gezielt Analyse- und Problemlösekompetenzen stärken.
Für den Test von 2025 waren in der Ausarbeitung der Testfragen verstärkt Studierende aus der ganzen Welt eingebunden. Daher wurde der Test auch in englischer Sprache konzipiert und steht in deutscher und englischer Sprache zur Verfügung.
Die neue Struktur des Feedback-Berichts mit Erläuterungen zu den einzelnen Fragen ermöglicht einen noch besseren Zugang, sodass die Teilnehmenden ihre Leistungen umfassend reflektieren und einordnen können, wie sie sich in den kommenden Jahren verbessern können.
Haben Sie Interesse, den Kompetenzorientierten ProgressTest an Ihrer medizinischen Fakultät anzubieten?
Nutzen Sie ein etabliertes Testsystem für Ihre Fakultät.
Kontaktieren Sie uns – wir freuen uns auf den Austausch!