Evaluasi Kinerja Diagnostik ChatGPT di Departemen Gawat Darurat

Kecerdasan buatan (AI) semakin banyak digunakan dalam perawatan kesehatan untuk diagnosis dan keputusan yang lebih baik. Sebuah studi baru dari West Virginia University (WVU) meneliti bagaimana ChatGPT berkinerja di ruang gawat darurat. Ilmuwan WVU, yang dipimpin oleh Gangqing "Michael" Hu, menilai kemampuan ChatGPT untuk mendiagnosis pasien menggunakan catatan dokter. Studi yang diterbitkan di Scientific Reports ini menyoroti potensi dan keterbatasan AI dalam diagnosis darurat. Studi ini bertujuan untuk melihat bagaimana berbagai versi ChatGPT menangani data klinis dunia nyata. Para peneliti menggunakan catatan yang dianonimkan dari 30 kasus darurat. Mereka meminta GPT-3.5, GPT-4, GPT-4o, dan seri o1 untuk menyarankan tiga diagnosis. Akurasi model dibandingkan dengan hasil pasien yang sebenarnya. AI berkinerja baik dengan gejala klasik tetapi kesulitan dengan kasus atipikal. ChatGPT secara akurat menyarankan diagnosis untuk pasien dengan tanda-tanda penyakit yang khas. Namun, ia gagal dalam kasus kompleks, seperti pneumonia tanpa demam. Ini menunjukkan kesulitan AI ketika dihadapkan dengan data di luar pola pelatihan biasanya. Model AI saat ini sebagian besar menggunakan teks tidak terstruktur, seperti catatan dokter. Mereka tidak memiliki akses ke data klinis lain seperti gambar dan hasil lab. Hu menyarankan bahwa menambahkan lebih banyak aliran data dapat meningkatkan akurasi diagnostik AI. Ini akan menjadikan AI sebagai alat pendukung klinis yang lebih komprehensif. Model ChatGPT yang lebih baru menunjukkan sedikit peningkatan dalam akurasi. Rekomendasi diagnosis teratas meningkat sebesar 15 hingga 20 persen. Namun, presisi tinggi yang konsisten masih menjadi tantangan. Ini menyoroti perlunya pengawasan manusia saat menggunakan alat diagnostik AI. Studi ini menekankan bahwa dokter harus mengawasi diagnosis yang dibantu AI. Keahlian dokter sangat penting untuk menafsirkan keluaran AI dan memastikan perawatan pasien yang akurat. Ini menciptakan sistem "kecerdasan hibrida". AI mempercepat analisis data, sementara dokter memberikan penilaian. Hu ingin sistem AI lebih transparan dan dapat dijelaskan. AI harus mengungkapkan alasannya untuk membangun kepercayaan dengan penyedia layanan kesehatan. "AI yang dapat dijelaskan" ini dapat meningkatkan integrasi ke dalam alur kerja klinis. Pada akhirnya, ini akan meningkatkan hasil pasien. Tim Hu juga sedang menjajaki simulasi AI multi-agen. Ini melibatkan agen AI yang berperan sebagai spesialis dalam diskusi panel. Tujuannya adalah untuk meniru proses diagnostik kolaboratif. Model percakapan ini dapat menghasilkan penilaian yang lebih akurat. Para peneliti memperingatkan bahwa ChatGPT bukanlah perangkat medis bersertifikat. Itu tidak boleh digunakan sebagai solusi diagnostik mandiri. Model AI harus beroperasi dalam sistem yang aman dan sesuai, terutama saat menggunakan jenis data yang diperluas. Kepatuhan terhadap peraturan dan privasi pasien sangat penting. Ke depan, Hu ingin penelitian berfokus pada kemampuan AI untuk menjelaskan alasannya. Peningkatan kemampuan untuk dijelaskan dapat membantu dalam keputusan triase dan perawatan. Ini dapat meningkatkan efisiensi dan keselamatan pasien.