Ocena skuteczności diagnostycznej ChatGPT w oddziałach ratunkowych
Sztuczna inteligencja (AI) jest coraz częściej wykorzystywana w opiece zdrowotnej w celu poprawy diagnoz i decyzji. Nowe badanie z West Virginia University (WVU) analizuje, jak ChatGPT radzi sobie w izbach przyjęć. Naukowcy z WVU, pod kierownictwem Gangqing "Michael" Hu, ocenili zdolność ChatGPT do diagnozowania pacjentów na podstawie notatek lekarskich. Badanie, opublikowane w Scientific Reports, podkreśla zarówno potencjał, jak i ograniczenia AI w diagnostyce ratunkowej.
Celem badania było sprawdzenie, jak różne wersje ChatGPT radzą sobie z danymi klinicznymi z rzeczywistego świata. Naukowcy wykorzystali anonimowe notatki z 30 przypadków nagłych. Poprosili modele GPT-3.5, GPT-4, GPT-4o i serię o1 o zaproponowanie trzech diagnoz. Dokładność modeli porównano z rzeczywistymi wynikami pacjentów.
AI dobrze radziło sobie z klasycznymi objawami, ale miało trudności z nietypowymi przypadkami. ChatGPT trafnie sugerował diagnozy dla pacjentów z typowymi objawami choroby. Jednak zawodził w złożonych przypadkach, takich jak zapalenie płuc bez gorączki. Pokazuje to trudności AI, gdy ma do czynienia z danymi spoza swoich zwykłych wzorców treningowych.
Obecne modele AI wykorzystują głównie nieustrukturyzowany tekst, taki jak notatki lekarskie. Nie mają dostępu do innych danych klinicznych, takich jak obrazy i wyniki laboratoryjne. Hu sugeruje, że dodanie większej liczby strumieni danych mogłoby poprawić dokładność diagnostyczną AI. Uczyniłoby to AI bardziej kompleksowym narzędziem wsparcia klinicznego.
Nowsze modele ChatGPT wykazały niewielką poprawę dokładności. Najlepsza rekomendacja diagnostyczna poprawiła się o 15 do 20 procent. Jednak niezmiennie wysoka precyzja nadal stanowi wyzwanie. Podkreśla to potrzebę nadzoru człowieka podczas korzystania z narzędzi diagnostycznych AI.
Badanie podkreśla, że lekarze muszą nadzorować diagnozy wspomagane przez AI. Wiedza lekarza jest kluczowa dla interpretacji wyników AI i zapewnienia dokładnej opieki nad pacjentem. Tworzy to system „hybrydowej inteligencji”. AI przyspiesza analizę danych, a klinicyści wydają osądy.
Hu chce, aby systemy AI były bardziej przejrzyste i wytłumaczalne. AI powinno ujawniać swoje rozumowanie, aby budować zaufanie u dostawców opieki zdrowotnej. To „wytłumaczalne AI” może poprawić integrację z klinicznymi przepływami pracy. Ostatecznie poprawiłoby to wyniki pacjentów.
Zespół Hu bada również symulacje AI z wieloma agentami. Obejmuje to agentów AI odgrywających role ekspertów w dyskusjach panelowych. Celem jest naśladowanie wspólnych procesów diagnostycznych. Ten konwersacyjny model może prowadzić do dokładniejszych ocen.
Naukowcy ostrzegają, że ChatGPT nie jest certyfikowanym urządzeniem medycznym. Nie należy go używać jako samodzielnego rozwiązania diagnostycznego. Modele AI muszą działać w bezpiecznych, zgodnych systemach, zwłaszcza podczas korzystania z rozszerzonych typów danych. Zgodność z przepisami i prywatność pacjentów są niezbędne.
Patrząc w przyszłość, Hu chce, aby badania skupiły się na zdolności AI do wyjaśniania swojego rozumowania. Lepsza wytłumaczalność mogłaby pomóc w podejmowaniu decyzji dotyczących segregacji i leczenia. Mogłoby to poprawić zarówno wydajność, jak i bezpieczeństwo pacjentów.