LLM-Zuverlässigkeit beim Feedback zu ärztlichen Zusammenfassungen in Virtual-Patient-Systemen
Von KI ausgewählt und zusammengefasst
Worum es geht
Experimentelle Studie mit 122 bewerteten Fallzusammenfassungen (Englisch/Deutsch) aus 6 Virtual-Patient-Fällen zum Test von vier LLMs (Claude, GPT-4o, Mistral Large/7B) bei rubrik-gestütztem Scoring mit verschiedenen Prompting-Strategien.
Ergebnis
Große geschlossene Modelle (Claude, GPT-4o, Mistral Large) zeigten hohe Test-Retest-Zuverlässigkeit (ICC≥0,92). Claude war praktisch deterministisch (ICC/Fleiss κ≥0,99). Few-shot+CoT-Prompting erzielte beste Konkordanz mit Experten: Mistral Large 77 % Genauigkeit, Gwet AC1 0,85. LLMs können skalierbare formale Feedback geben, sollten aber Expertenurteil ergänzen, nicht ersetzen.
Übertragbarkeit auf Deutschland
Deutsche Fallstudien, europäische Kliniken, Lehrkontext
Originalstudie in PubMedIm Hub ansehenNeue Studien per E-Mail
Auswahl und deutsche Zusammenfassung stammen von einer KI und sind nicht redaktionell geprüft. Maßgeblich ist die Originalpublikation.