Knowledge-Hub Digitalisierung, KI & Gesundheitein Angebot von Monitor Versorgungsforschung

Knowledge-Hub Digitalisierung, KI & Gesundheit › Studien

LLM-Leistung auf Facharzt-Examen: Hohe Scores, aber begrenzte Konstruktvalidität

García-Hidalgo C et al. · JMIR Med Educ · erschienen 29.10.2026 · PMID 42954916

Von KI ausgewählt und zusammengefasst

Worum es geht

Analyse von 839 Prüfungsfragen aus vier spanischen Facharzt-Examen (MIR, EIR, PIR, FIR) mit 12 LLM-Konfigurationen (GPT, Claude) zur Überprüfung, ob hohe Modell-Scores menschliche Kompetenz abbilden.

Ergebnis

Höchste gepoolte Genauigkeit 94,8 %; alle 12 Konfigurationen 668/828 Fragen (80,7 %) korrekt. Aber Korrelation Mensch-Maschine bei Item-Schwierigkeit nur 0,40 (95%-KI 0,34–0,45) – niedriger als simuliert (0,63; p<.001). LLM-Fehler unterscheiden sich nicht von Mensch; Bild-Items problematisch (OR 0,33 wenn Bilder vorhanden, OR 0,11 ohne). Warnung: hohe Scores bedeuten nicht Äquivalenz zu menschlicher Kompetenz.

Übertragbarkeit auf Deutschland

Spanisches System ähnlich IMPP in Deutschland – Validierungsmethode und Vorsicht vor LLM-Scores als Kompetenzbeweise übertragbar.

Auswahl und deutsche Zusammenfassung stammen von einer KI und sind nicht redaktionell geprüft. Maßgeblich ist die Originalpublikation.