Évaluation des performances diagnostiques de ChatGPT dans les services d'urgence

L'intelligence artificielle (IA) est de plus en plus utilisée dans le domaine de la santé pour améliorer les diagnostics et les décisions. Une nouvelle étude de l'Université de Virginie-Occidentale (WVU) examine les performances de ChatGPT dans les services d'urgence. Des scientifiques de WVU, dirigés par Gangqing "Michael" Hu, ont évalué la capacité de ChatGPT à diagnostiquer des patients à partir des notes des médecins. L'étude, publiée dans Scientific Reports, met en évidence à la fois le potentiel et les limites de l'IA dans les diagnostics d'urgence. L'étude visait à déterminer comment différentes versions de ChatGPT gèrent les données cliniques réelles. Les chercheurs ont utilisé des notes anonymisées provenant de 30 cas d'urgence. Ils ont demandé à GPT-3.5, GPT-4, GPT-4o et à la série o1 de suggérer trois diagnostics. La précision des modèles a été comparée aux résultats réels des patients. L'IA a bien fonctionné avec les symptômes classiques, mais a eu du mal avec les cas atypiques. ChatGPT a suggéré avec précision des diagnostics pour les patients présentant des signes typiques de la maladie. Cependant, il a échoué dans les cas complexes, comme la pneumonie sans fièvre. Cela montre la difficulté de l'IA face à des données en dehors de ses schémas d'apprentissage habituels. Les modèles d'IA actuels utilisent principalement du texte non structuré, comme les notes des médecins. Ils n'ont pas accès à d'autres données cliniques telles que les images et les résultats de laboratoire. Hu suggère que l'ajout de davantage de flux de données pourrait améliorer la précision diagnostique de l'IA. Cela ferait de l'IA un outil de support clinique plus complet. Les nouveaux modèles ChatGPT ont montré une légère amélioration de la précision. La meilleure recommandation de diagnostic s'est améliorée de 15 à 20 %. Cependant, une précision élevée et constante reste un défi. Cela souligne la nécessité d'une surveillance humaine lors de l'utilisation d'outils de diagnostic basés sur l'IA. L'étude souligne que les médecins doivent superviser les diagnostics assistés par l'IA. L'expertise des médecins est essentielle pour interpréter les résultats de l'IA et garantir des soins précis aux patients. Cela crée un système d'"intelligence hybride". L'IA accélère l'analyse des données, tandis que les cliniciens apportent leur jugement. Hu souhaite que les systèmes d'IA soient plus transparents et explicables. L'IA devrait révéler son raisonnement afin d'instaurer la confiance avec les professionnels de la santé. Cette "IA explicable" peut améliorer l'intégration dans les flux de travail cliniques. En fin de compte, cela améliorerait les résultats pour les patients. L'équipe de Hu explore également des simulations d'IA multi-agents. Cela implique des agents d'IA jouant le rôle de spécialistes dans des discussions de groupe. L'objectif est d'imiter les processus de diagnostic collaboratifs. Ce modèle conversationnel pourrait conduire à des évaluations plus précises. Les chercheurs mettent en garde contre le fait que ChatGPT n'est pas un dispositif médical certifié. Il ne doit pas être utilisé comme une solution de diagnostic autonome. Les modèles d'IA doivent fonctionner dans des systèmes sécurisés et conformes, en particulier lors de l'utilisation de types de données élargis. Le respect des réglementations et de la confidentialité des patients est essentiel. Pour l'avenir, Hu souhaite que la recherche se concentre sur la capacité de l'IA à expliquer son raisonnement. Une meilleure explicabilité pourrait aider à la prise de décisions en matière de triage et de traitement. Cela pourrait améliorer à la fois l'efficacité et la sécurité des patients.