LLM-Leistung auf Facharzt-Examen: Hohe Scores, aber begrenzte Konstruktvalidität
Von KI ausgewählt und zusammengefasst
Worum es geht
Analyse von 839 Prüfungsfragen aus vier spanischen Facharzt-Examen (MIR, EIR, PIR, FIR) mit 12 LLM-Konfigurationen (GPT, Claude) zur Überprüfung, ob hohe Modell-Scores menschliche Kompetenz abbilden.
Ergebnis
Höchste gepoolte Genauigkeit 94,8 %; alle 12 Konfigurationen 668/828 Fragen (80,7 %) korrekt. Aber Korrelation Mensch-Maschine bei Item-Schwierigkeit nur 0,40 (95%-KI 0,34–0,45) – niedriger als simuliert (0,63; p<.001). LLM-Fehler unterscheiden sich nicht von Mensch; Bild-Items problematisch (OR 0,33 wenn Bilder vorhanden, OR 0,11 ohne). Warnung: hohe Scores bedeuten nicht Äquivalenz zu menschlicher Kompetenz.
Übertragbarkeit auf Deutschland
Spanisches System ähnlich IMPP in Deutschland – Validierungsmethode und Vorsicht vor LLM-Scores als Kompetenzbeweise übertragbar.
Originalstudie in PubMedIm Hub ansehenNeue Studien per E-Mail
Auswahl und deutsche Zusammenfassung stammen von einer KI und sind nicht redaktionell geprüft. Maßgeblich ist die Originalpublikation.