Valutazione delle prestazioni diagnostiche di ChatGPT nei dipartimenti di emergenza

L'intelligenza artificiale (IA) è sempre più utilizzata nell'assistenza sanitaria per migliorare le diagnosi e le decisioni. Un nuovo studio della West Virginia University (WVU) esamina le prestazioni di ChatGPT nei pronto soccorso. Gli scienziati della WVU, guidati da Gangqing "Michael" Hu, hanno valutato la capacità di ChatGPT di diagnosticare i pazienti utilizzando le note dei medici. Lo studio, pubblicato su Scientific Reports, evidenzia sia il potenziale che i limiti dell'IA nella diagnostica di emergenza. Lo studio mirava a verificare come diverse versioni di ChatGPT gestiscono i dati clinici del mondo reale. I ricercatori hanno utilizzato note de-identificate provenienti da 30 casi di emergenza. Hanno chiesto a GPT-3.5, GPT-4, GPT-4o e alla serie o1 di suggerire tre diagnosi. L'accuratezza dei modelli è stata confrontata con gli esiti reali dei pazienti. L'IA ha funzionato bene con i sintomi classici, ma ha avuto difficoltà con i casi atipici. ChatGPT ha suggerito accuratamente diagnosi per pazienti con segni tipici della malattia. Tuttavia, ha fallito in casi complessi, come la polmonite senza febbre. Questo dimostra la difficoltà dell'IA quando si trova di fronte a dati al di fuori dei suoi consueti schemi di addestramento. Gli attuali modelli di IA utilizzano principalmente testo non strutturato, come le note dei medici. Non hanno accesso ad altri dati clinici come immagini e risultati di laboratorio. Hu suggerisce che l'aggiunta di ulteriori flussi di dati potrebbe migliorare l'accuratezza diagnostica dell'IA. Ciò renderebbe l'IA uno strumento di supporto clinico più completo. I modelli ChatGPT più recenti hanno mostrato un leggero miglioramento dell'accuratezza. La migliore raccomandazione diagnostica è migliorata del 15-20%. Tuttavia, una precisione costantemente elevata rimane una sfida. Ciò evidenzia la necessità di una supervisione umana quando si utilizzano strumenti diagnostici basati sull'IA. Lo studio sottolinea che i medici devono supervisionare le diagnosi assistite dall'IA. L'esperienza del medico è fondamentale per interpretare i risultati dell'IA e garantire un'assistenza accurata al paziente. Questo crea un sistema di "intelligenza ibrida". L'IA accelera l'analisi dei dati, mentre i medici forniscono il giudizio. Hu vuole che i sistemi di IA siano più trasparenti e spiegabili. L'IA dovrebbe rivelare il suo ragionamento per costruire fiducia con gli operatori sanitari. Questa "IA spiegabile" può migliorare l'integrazione nei flussi di lavoro clinici. In definitiva, ciò migliorerebbe gli esiti dei pazienti. Il team di Hu sta anche esplorando simulazioni di IA multi-agente. Ciò comporta che gli agenti di IA interpretino il ruolo di specialisti in tavole rotonde. L'obiettivo è quello di imitare i processi diagnostici collaborativi. Questo modello conversazionale potrebbe portare a valutazioni più accurate. I ricercatori avvertono che ChatGPT non è un dispositivo medico certificato. Non deve essere utilizzato come soluzione diagnostica autonoma. I modelli di IA devono operare in sistemi sicuri e conformi, soprattutto quando si utilizzano tipi di dati ampliati. Il rispetto delle normative e della privacy del paziente è essenziale. Guardando al futuro, Hu vuole che la ricerca si concentri sulla capacità dell'IA di spiegare il suo ragionamento. Una migliore spiegabilità potrebbe aiutare con le decisioni di triage e trattamento. Ciò potrebbe migliorare sia l'efficienza che la sicurezza del paziente.