ChatGPT Kembali Unjuk Gigi, Kini Berhasil Hilangkan Bug dalam Sebuah Kode

JAKARTA - Dalam beberapa minggu terakhir, chatbot berbasis Kecerdasan Buatan (AI), ChatGPT telah diuji pada sejumlah tugas seperti mengerjalan ujian di universitas hukum dan bisnis. Kali ini, tantangan terbarunya menghilangkan kesalahan dalam sebuah kode.

Pemberi tantangan itu adalah para peneliti ilmu komputer dari Universitas Johannes Gutenberg dan University College London.

Mereka berhasil membuat ChatGPT dapat menghilangkan kesalahan dengan kode sampel dan memperbaikinya lebih baik daripada program yang sudah ada dan dirancang untuk melakukan hal yang sama.

Para peneliti menguji kinerja ChatGPT menggunakan tolok ukur perbaikan bug QuixBugs. Sistem perbaikan program otomatis (APR) tampaknya berada pada posisi yang kurang menguntungkan karena dikembangkan sebelum 2018.

Kemudian, mereka memberikan QuixBugs 40 Python ke empat sistem perbaikan kode yang berbeda, yakni ChatGPT, Codex, CoCoNut, dan Standard APR. Kemudian secara manual, mereka memeriksa apakah solusi yang disarankan benar atau tidak.

Pada lintasan pertama, ChatGPT bekerja sama baiknya dengan sistem lainnya. Bot besutan OpenAI itu memecahkan 19 masalah, Codex memecahkan 21, CoCoNut memecahkan 19, dan metode APR standar menemukan tujuh kesalahan.

Tingkat keberhasilan ChatGPT dengan interaksi tindak lanjut yang ditemukan para peneliti mencapai 77,5 persen. Namun, Codex dan ChatGPT memiliki jawaban paling mirip. Hal ini tidak mengherankan, karena ChatGPT dan Codex berasal dikatakan para peneliti adalah dari keluarga model bahasa yang sama.

Namun, kemampuan untuk mengobrol dengan ChatGPT setelah menerima jawaban awal membuat perbedaan, yang pada akhirnya menyebabkan ChatGPT menyelesaikan 31 pertanyaan, dan dengan mudah mengungguli yang lain, memberikan lebih banyak jawaban statis.

"Keuntungan kuat dari ChatGPT adalah kami dapat berinteraksi dengan sistem dalam dialog untuk menentukan permintaan secara lebih detail," ungkap para peneliti dalam makalah arXiv baru, yang pertama kali ditemukan oleh New Scientist.

"Kami melihat untuk sebagian besar permintaan kami, ChatGPT meminta lebih banyak informasi tentang masalah dan bug. Dengan memberikan petunjuk seperti itu kepada ChatGPT, tingkat keberhasilannya dapat lebih ditingkatkan, memperbaiki 31 dari 40 bug," tambahnya.

Selain itu dikutip dari PCMag, Senin, 30 Januari, ChatGPT juga dapat menyelesaikan beberapa masalah dengan cepat, sementara yang lain tidak, "ChatGPT tampaknya memiliki variasi yang relatif tinggi saat memperbaiki bug. Untuk pengguna akhir, bagaimanapun, ini berarti dapat membantu untuk mengeksekusi permintaan beberapa kali," tutur para peneliti.