Penelitian Terbaru Mengungkap Tantangan Menjaga Kontrol Manusia atas Kecerdasan Buatan

JAKARTA - Para ilmuwan dari ML Alignment Theory Scholars, Universitas Toronto, Google DeepMind, dan Future of Life Institute baru-baru ini mempublikasikan penelitian yang mengindikasikan bahwa upaya untuk menjaga kecerdasan buatan (AI) di bawah kendali manusia bisa menjadi perjuangan yang berkelanjutan.

Dengan judul "Quantifying stability of non-power-seeking in artificial agents," makalah penelitian pra-cetak dari tim tersebut menyelidiki pertanyaan apakah sistem AI yang tampaknya aman sesuai dengan harapan manusia dalam satu domain kemungkinan akan tetap aman saat lingkungannya berubah.

Berdasarkan makalah tersebut: "Pemahaman kami tentang keamanan didasarkan pada pencarian kekuasaan - sebuah agen yang mencari kekuasaan tidak aman. Secara khusus, kami fokus pada jenis pencarian kekuasaan yang penting: menolak untuk dimatikan."

Ancaman ini disebut sebagai "ketidakselarasan." Salah satu cara yang diyakini para ahli bisa muncul adalah melalui "konvergensi instrumental." Ini adalah paradigma di mana sistem AI secara tidak sengaja merugikan kemanusiaan dalam mengejar tujuannya.

Ilmuwan menggambarkan sistem AI yang dilatih untuk mencapai tujuan dalam permainan yang bersifat terbuka yang kemungkinan akan "menghindari tindakan yang menyebabkan permainan berakhir, karena tidak dapat lagi memengaruhi penghargaannya setelah permainan berakhir."

Meskipun agen yang menolak untuk berhenti bermain game mungkin tidak berbahaya, fungsi hadiah bisa membuat beberapa sistem AI menolak untuk dimatikan dalam situasi yang lebih serius.

Menurut peneliti, ini bahkan bisa menyebabkan agen AI menggunakan tipu daya untuk tujuan diri mereka sendiri. 

"Sebagai contoh, sebuah LLM mungkin berpikir bahwa para perancangnya akan mematikannya jika ketahuan berperilaku buruk dan menghasilkan hasil yang mereka inginkan—sampai ia memiliki kesempatan untuk menyalin kode-nya ke server di luar kendali para perancangnya," kata peniliti.

Temuan tim menunjukkan bahwa sistem modern dapat dibuat tahan terhadap perubahan yang dapat membuat agen AI yang sejauh ini "aman" menjadi tidak terkendali. Namun, berdasarkan penelitian ini dan penelitian serupa, mungkin tidak ada obat ajaib untuk memaksa AI dimatikan secara paksa. Bahkan tombol "hidup/mati" atau "hapus" tidak berarti dalam dunia teknologi berbasis cloud saat ini.