Knowledge-Hub Digitalisierung, KI & Gesundheitein Angebot von Monitor Versorgungsforschung

Knowledge-Hub Digitalisierung, KI & Gesundheit › Studien

LLM-Zuverlässigkeit beim Feedback zu ärztlichen Zusammenfassungen in Virtual-Patient-Systemen

Stadler P et al. · JMIR Med Educ · erschienen 21.10.2026 · in PubMed seit 22.10.2026 · PMID 42906147

Von KI ausgewählt und zusammengefasst

Worum es geht

Experimentelle Studie mit 122 bewerteten Fallzusammenfassungen (Englisch/Deutsch) aus 6 Virtual-Patient-Fällen zum Test von vier LLMs (Claude, GPT-4o, Mistral Large/7B) bei rubrik-gestütztem Scoring mit verschiedenen Prompting-Strategien.

Ergebnis

Große geschlossene Modelle (Claude, GPT-4o, Mistral Large) zeigten hohe Test-Retest-Zuverlässigkeit (ICC≥0,92). Claude war praktisch deterministisch (ICC/Fleiss κ≥0,99). Few-shot+CoT-Prompting erzielte beste Konkordanz mit Experten: Mistral Large 77 % Genauigkeit, Gwet AC1 0,85. LLMs können skalierbare formale Feedback geben, sollten aber Expertenurteil ergänzen, nicht ersetzen.

Übertragbarkeit auf Deutschland

Deutsche Fallstudien, europäische Kliniken, Lehrkontext

Auswahl und deutsche Zusammenfassung stammen von einer KI und sind nicht redaktionell geprüft. Maßgeblich ist die Originalpublikation.