Bewertung der diagnostischen Leistung von ChatGPT in Notaufnahmen

Künstliche Intelligenz (KI) wird im Gesundheitswesen zunehmend für bessere Diagnosen und Entscheidungen eingesetzt. Eine neue Studie der West Virginia University (WVU) untersucht, wie ChatGPT in Notaufnahmen abschneidet. WVU-Wissenschaftler unter der Leitung von Gangqing "Michael" Hu bewerteten die Fähigkeit von ChatGPT, Patienten anhand von Arztnotizen zu diagnostizieren. Die in Scientific Reports veröffentlichte Studie beleuchtet sowohl das Potenzial als auch die Grenzen von KI in der Notfalldiagnostik. Ziel der Studie war es, zu untersuchen, wie verschiedene ChatGPT-Versionen mit realen klinischen Daten umgehen. Die Forscher verwendeten anonymisierte Notizen aus 30 Notfällen. Sie baten GPT-3.5, GPT-4, GPT-4o und die o1-Serie, drei Diagnosen vorzuschlagen. Die Genauigkeit der Modelle wurde mit den tatsächlichen Patientenergebnissen verglichen. KI schnitt bei klassischen Symptomen gut ab, hatte aber bei atypischen Fällen Schwierigkeiten. ChatGPT schlug bei Patienten mit typischen Krankheitszeichen zutreffend Diagnosen vor. Bei komplexen Fällen, wie z. B. Lungenentzündung ohne Fieber, versagte es jedoch. Dies zeigt die Schwierigkeit von KI, wenn sie mit Daten außerhalb ihrer üblichen Trainingsmuster konfrontiert wird. Aktuelle KI-Modelle verwenden hauptsächlich unstrukturierte Texte, wie z. B. Arztnotizen. Sie haben keinen Zugriff auf andere klinische Daten wie Bilder und Laborergebnisse. Hu schlägt vor, dass das Hinzufügen weiterer Datenströme die diagnostische Genauigkeit von KI verbessern könnte. Dies würde KI zu einem umfassenderen klinischen Unterstützungswerkzeug machen. Neuere ChatGPT-Modelle zeigten eine leichte Verbesserung der Genauigkeit. Die beste Diagnoseempfehlung verbesserte sich um 15 bis 20 Prozent. Eine konstant hohe Präzision ist jedoch weiterhin eine Herausforderung. Dies unterstreicht die Notwendigkeit einer menschlichen Aufsicht bei der Verwendung von KI-Diagnosewerkzeugen. Die Studie betont, dass Ärzte KI-gestützte Diagnosen überwachen müssen. Die Expertise von Ärzten ist entscheidend für die Interpretation von KI-Ergebnissen und die Gewährleistung einer genauen Patientenversorgung. Dies schafft ein "Hybrid-Intelligence"-System. KI beschleunigt die Datenanalyse, während Kliniker ihr Urteilsvermögen einbringen. Hu möchte, dass KI-Systeme transparenter und erklärbarer sind. KI sollte ihre Begründung offenlegen, um Vertrauen bei den Gesundheitsdienstleistern aufzubauen. Diese "erklärbare KI" kann die Integration in klinische Arbeitsabläufe verbessern. Letztendlich würde dies die Patientenergebnisse verbessern. Hus Team untersucht auch Multi-Agenten-KI-Simulationen. Dabei spielen KI-Agenten die Rolle von Spezialisten in Podiumsdiskussionen. Ziel ist es, kollaborative Diagnoseprozesse nachzubilden. Dieses Konversationsmodell könnte zu genaueren Bewertungen führen. Die Forscher warnen davor, dass ChatGPT kein zertifiziertes Medizinprodukt ist. Es sollte nicht als eigenständige Diagnoselösung verwendet werden. KI-Modelle müssen in sicheren, konformen Systemen betrieben werden, insbesondere bei der Verwendung erweiterter Datentypen. Die Einhaltung von Vorschriften und der Schutz der Privatsphäre der Patienten sind unerlässlich. Mit Blick auf die Zukunft möchte Hu, dass sich die Forschung auf die Fähigkeit der KI konzentriert, ihre Begründung zu erklären. Eine verbesserte Erklärbarkeit könnte bei Triage- und Behandlungsentscheidungen helfen. Dies könnte sowohl die Effizienz als auch die Patientensicherheit verbessern.