Keren! ChatGPT Hampir Lulus Ujian Perizinan Medis Tersulit di AS

JAKARTA - Sekali lagi chatbot Kecerdasan Buatan (AI) ChatGPT milik OpenAI menunjukkan kemampuannya dengan mengikuti US Medical Licensing Exam (USMLE). Meski tidak lulus, alat ini dinyatakan hampir berhasil menyelesaikan 75 persen di tiga ujian.

USMLE, terkenal sebagai ujian dengan tingkat kesulitannya dan biasanya memerlukan waktu persiapan sekitar 300 hingga 400 jam untuk menyelesaikannya.

Ujian medis itu mencakup segala sesuatu mulai dari konsep sains dasar hingga bioetika. USMLE sebenarnya adalah tiga ujian yang digabungkan menjadi satu, dan kompetensi.

Sementara, ChatGPT adalah jenis AI yang dikenal sebagai model bahasa besar atau LLM. Secara khusus, LLM ini diarahkan untuk tanggapan tertulis, melalui teks sampel dalam jumlah besar dan beberapa algoritme cerdas.

Mereka dapat membuat prediksi tentang kata mana yang harus digabungkan dalam sebuah kalimat, seperti saudara laki-laki dari fungsi teks prediktif ponsel.

Peneliti dari startup Ansible Health menguji ChatGPT menggunakan contoh pertanyaan dari USMLE, setelah memeriksa jawabannya tidak tersedia di Google, jadi mereka tahu ChatGPT akan menghasilkan tanggapan baru berdasarkan data yang telah dilatih.

Hasilnya, ChatGPT mendapat skor antara 52,4 persen dan 75 persen di tiga ujian (nilai kelulusan biasanya sekitar 60 persen). Dalam 88,9 persen tanggapannya, itu menghasilkan setidaknya satu wawasan yang signifikan, digambarkan sebagai sesuatu yang baru, tidak jelas, dan valid secara klinis oleh para peneliti.

"ChatGPT dilakukan pada atau mendekati ambang kelulusan untuk ketiga ujian tanpa pelatihan atau penguatan khusus. Selain itu, ChatGPT menunjukkan kesesuaian dan wawasan tingkat tinggi dalam penjelasannya," ungkap para peneliti dalam makalah yang diterbitkan di jurnal PLOS Digital Health, dikutip dari ScienceAlert, Senin, 13 Februari.

ChatGPT juga terbukti sangat konsisten dalam jawabannya dan bahkan mampu memberikan alasan di balik setiap tanggapan. Itu juga mengalahkan tingkat akurasi 50,3 persen dari PubMedGPT, sebuah bot yang dilatih khusus tentang literatur medis.

Perlu dicatat, informasi yang telah dilatih oleh ChatGPT akan mencakup ketidakakuratan, dan alat ini tidak akan menggantikan profesional medis kapan pun di masa mendatang.