Diagnostische prestaties van ChatGPT op spoedeisende hulp beoordeeld
Kunstmatige intelligentie (AI) wordt steeds vaker gebruikt in de gezondheidszorg voor betere diagnoses en beslissingen. Een nieuwe studie van West Virginia University (WVU) onderzoekt hoe ChatGPT presteert op spoedeisende hulpen. WVU-wetenschappers, onder leiding van Gangqing "Michael" Hu, beoordeelden het vermogen van ChatGPT om patiënten te diagnosticeren aan de hand van doktersnotities. De studie, gepubliceerd in Scientific Reports, benadrukt zowel de potentie als de beperkingen van AI in spoedeisende diagnostiek.
Het doel van de studie was om te zien hoe verschillende ChatGPT-versies omgaan met real-world klinische data. Onderzoekers gebruikten geanonimiseerde notities van 30 spoedeisende hulpgevallen. Ze vroegen GPT-3.5, GPT-4, GPT-4o en de o1-serie om drie diagnoses voor te stellen. De nauwkeurigheid van de modellen werd vergeleken met de werkelijke patiëntresultaten.
AI presteerde goed bij klassieke symptomen, maar worstelde met atypische gevallen. ChatGPT stelde nauwkeurig diagnoses voor patiënten met typische ziekteverschijnselen. Het faalde echter in complexe gevallen, zoals longontsteking zonder koorts. Dit toont de moeilijkheid van AI aan wanneer het wordt geconfronteerd met gegevens buiten zijn gebruikelijke trainingspatronen.
Huidige AI-modellen gebruiken voornamelijk ongestructureerde tekst, zoals doktersnotities. Ze hebben geen toegang tot andere klinische gegevens, zoals afbeeldingen en labresultaten. Hu suggereert dat het toevoegen van meer datastromen de diagnostische nauwkeurigheid van AI zou kunnen verbeteren. Dit zou AI tot een uitgebreider klinisch ondersteuningsinstrument maken.
Nieuwere ChatGPT-modellen vertoonden een lichte verbetering in nauwkeurigheid. De beste diagnose-aanbeveling verbeterde met 15 tot 20 procent. Echter, consistent hoge precisie blijft een uitdaging. Dit benadrukt de noodzaak van menselijk toezicht bij het gebruik van AI-diagnostische tools.
De studie benadrukt dat artsen toezicht moeten houden op AI-ondersteunde diagnoses. Expertise van artsen is cruciaal voor het interpreteren van AI-outputs en het waarborgen van nauwkeurige patiëntenzorg. Dit creëert een "hybride intelligentie"-systeem. AI versnelt data-analyse, terwijl clinici oordelen.
Hu wil dat AI-systemen transparanter en verklaarbaarder zijn. AI moet zijn redenering onthullen om vertrouwen op te bouwen bij zorgverleners. Deze "verklaarbare AI" kan de integratie in klinische workflows verbeteren. Uiteindelijk zou dit de patiëntresultaten verbeteren.
Hu's team onderzoekt ook multi-agent AI-simulaties. Dit omvat AI-agenten die rollen spelen als specialisten in paneldiscussies. Het doel is om collaboratieve diagnostische processen na te bootsen. Dit conversationele model zou kunnen leiden tot nauwkeurigere beoordelingen.
Onderzoekers waarschuwen dat ChatGPT geen gecertificeerd medisch hulpmiddel is. Het mag niet worden gebruikt als een zelfstandige diagnostische oplossing. AI-modellen moeten werken in veilige, conforme systemen, vooral bij het gebruik van uitgebreide datatypes. Naleving van regelgeving en de privacy van patiënten is essentieel.
Vooruitkijkend wil Hu dat onderzoek zich richt op het vermogen van AI om zijn redenering uit te leggen. Verbeterde verklaarbaarheid zou kunnen helpen bij triage- en behandelbeslissingen. Dit zou zowel de efficiëntie als de patiëntveiligheid kunnen verbeteren.