Chatbot My AI Beri Respons Tak Pantas, Snapchat Luncurkan Alat Baru Berbasis OpenAI

JAKARTA - Lebih dari sebulan yang lalu chatbot Kecerdasan Buatan (AI) milik Snap induk Snapchat, My AI diluncurkan. Tetapi, perusahaan khawatir tentang beberapa potensi penyalahgunaan. Sekarang, alat baru hadir untuk membuatnya lebih aman.

"Sebagai bagian dari kerja sama kami untuk meningkatkan My AI, kami ingin berbagi pembaruan tentang beberapa peningkatan keamanan yang baru-baru ini kami lakukan sebagai hasil pembelajaran kami, bersama dengan alat baru yang kami rencanakan untuk diterapkan," ujar Snap dalam blog resminya, dikutip Kamis, 6 April.

Alat itu hadir sebagai tanggapan atas laporan Washington Post yang menyoroti bot tersebut merespons dengan cara tidak aman dan tidak pantas.

Raksasa media sosial tersebut mengatakan setelah peluncuran, banyak orang-orang mencoba mengelabui chatbot agar memberikan respons yang tidak sesuai dengan pedoman mereka.

Untuk menjaga tanggapan AI, Snap telah memasukkan filter usia baru, di mana AI dapat mengetahui tanggal lahir pengguna dan memberi mereka tanggapan sesuai usia. Meskipun Snapchatter (sebutan untuk pengguna Snap) tidak pernah memberi tahu My AI tentang usia mereka dalam percakapan.

Perusahaan menyatakan, chatbot akan secara konsisten mempertimbangkan usia mereka saat terlibat dalam percakapan dengan pengguna.

Sebelum Snapchatter diizinkan menggunakan My AI, perusahaan akan menunjukkan kepada mereka pesan orientasi yang memperjelas semua pesan dengan My AI akan disimpan kecuali mereka menghapusnya.

"Namun, karena My AI adalah chatbot dan bukan teman sejati, kami sengaja memperlakukan data terkait secara berbeda, karena kami dapat menggunakan riwayat percakapan untuk terus menjadikan My AI lebih menyenangkan, bermanfaat, dan lebih aman," ungkap Snap.

Tanggapan yang tidak pantas itu meliputi rujukan kepada kekerasan, istilah seksual eksplisit, penggunaan obat-obatan terlarang, pelecehan seksual terhadap anak, intimidasi, ujaran kebencian, pernyataan yang menghina atau bias, rasisme, misogini, atau meminggirkan kelompok yang kurang terwakili.

Untuk itu, Snap juga menambahkan teknologi moderasi OpenAI ke My AI, bertujuan untuk menilai tingkat keparahan konten yang berpotensi berbahaya. Sekarang, perusahaan akan memblokir sementara akses bot AI untuk pengguna yang menyalahgunakan layanan.

"Kami terus mendorong Snapchatter untuk menggunakan alat pelaporan dalam aplikasi kami jika mereka menerima tanggapan terkait apa pun dari My AI dan mengirimkan umpan balik kepada kami tentang keseluruhan pengalaman mereka dengan produk tersebut," kata Snap.

Snap juga berencana untuk memberikan lebih banyak wawasan dalam beberapa minggu mendatang kepada orang tua atau wali tentang interaksi anak-anak dengan bot di Pusat Keluarga, yang diluncurkan Agustus lalu.

Orang tua akan dapat menggunakan Pusat Keluarga untuk melihat apakah anak mereka berkomunikasi dengan My AI, dan seberapa sering. Baik wali maupun remaja harus ikut serta menggunakan Pusat Keluarga untuk menggunakan fitur kontrol orang tua ini.