ChatGPT Bisa Tipu Para Peneliti dengan Abstrak Palsu, Caranya?

JAKARTA - Kecerdasan Buatan (AI) besutan OpenAI, ChatGPT dilaporkan menipu para peneliti dengan abstrak ilmiah palsu, di mana mereka dibuat berpikir sedang membaca teks asli yang ditulis oleh manusia.

Sebuah tim peneliti yang dipimpin oleh Northwestern University menggunakan alat penghasil teks itu, untuk menghasilkan 50 abstrak berdasarkan judul makalah ilmiah nyata dalam gaya lima jurnal medis yang berbeda.

Abstrak merupakan ringkasan rapi yang ditambahkan di bagian atas makalah penelitian untuk memberikan gambaran keseluruhan tentang apa yang sedang dipelajari.

Lebih lanjut, abstrak itu dilatih pada seleksi dari The British Medical Journal (BMJ) dan Nature Medicine. Kemudian, empat peneliti terdaftar untuk mengikuti tes, dan dibagi menjadi dua kelompok yang terdiri dari dua orang.

Sebuah flip koin elektronik digunakan untuk memutuskan apakah abstrak buatan AI asli atau palsu diberikan kepada satu pengulas di setiap kelompok. Satu peneliti diberi abstrak asli, peneliti kedua diberi abstrak palsu, begitu pula sebaliknya. Setiap orang meninjau 25 abstrak ilmiah.

Hasilnya, tidak hanya teks komputer yang berhasil melewati detektor anti-plagiarisme, tetapi para peneliti yang sebenarnya tidak dapat menemukan yang palsu.

Peninjau manusia dengan benar mengidentifikasi hanya 68 persen abstrak ChatGPT dan 86 persen abstrak asli. Kelompok peneliti medis percaya bahwa 32 persen abstrak yang dihasilkan AI adalah nyata dan 14 persen abstrak nyata adalah palsu.

"Peninjau kami berkomentar bahwa sangat sulit untuk membedakan antara abstrak asli dan palsu. Abstrak yang dibuat oleh ChatGPT sangat meyakinkan, ia bahkan mengetahui seberapa besar seharusnya kelompok pasien saat menemukan angka," ungkap pemimpin penelitian Catherine Gao di Universitas Northwestern di Chicago, Illinois dikutip dari Metro, Selasa, 17 Januari.

"ChatGPT menulis abstrak ilmiah yang dapat dipercaya, meskipun dengan data yang dihasilkan sepenuhnya, mereka menjelaskan dalam tulisan pracetak studi mereka," imbuhnya.

Gao menambahkan, abstrak yang diciptakan ChatGPT asli tanpa penjiplakan apa pun yang terdeteksi tetapi sering dapat diidentifikasi menggunakan detektor keluaran AI dan peninjau manusia yang skeptis.

"Evaluasi abstrak untuk jurnal dan konferensi medis harus mengadaptasi kebijakan dan praktik untuk mempertahankan standar ilmiah yang ketat. Kami menyarankan penyertaan detektor keluaran AI dalam proses editorial dan pengungkapan yang jelas jika teknologi ini digunakan," ujat Gao.

"Batas penggunaan model bahasa besar yang etis dan dapat diterima untuk membantu penulisan ilmiah masih harus ditentukan," tambahnya.

Model bahasa besar seperti ChatGPT dilatih pada sejumlah besar teks yang diambil dari Internet. Mereka belajar membuat teks dengan memprediksi kata-kata apa yang lebih mungkin muncul dalam kalimat tertentu, dan dapat menulis sintaksis yang akurat secara tata bahasa.

Tidak mengherankan, bahkan akademisi pun dapat dibodohi untuk percaya abstrak yang dihasilkan AI itu nyata. Model bahasa besar pandai menghasilkan teks dengan struktur dan pola yang jelas. Abstrak ilmiah sering kali mengikuti format serupa, dan bisa sangat kabur.

Gao percaya alat seperti ChatGPT akan memudahkan pabrik kertas, yang mendapat untung dari studi penerbitan, untuk menghasilkan makalah ilmiah palsu.

"Jika orang lain mencoba membangun sains mereka dari studi yang salah ini, itu bisa sangat berbahaya," tutur Gao.