Character AI Perbaiki Platform untuk Atasi Masalah Gangguan Kesehatan Mental Remaja
JAKARTA – Setelah digugat dengan tuduhan merusak kesehatan mental remaja, Character AI memutuskan untuk mengubah banyak hal. Chatbot ini telah mengubah model pelatihan dan menambahkan fitur baru.
Untuk membangun ruang yang lebih aman, Character AI mengatakan bahwa mereka terus membangun dan memperbaiki model bahasa besar (LLM) yang berinteraksi langsung dengan pengguna. Mereka bahkan membuat model terpisah khusus untuk remaja.
"Tujuannya adalah untuk mengarahkan model menjauh dari respons atau interaksi tertentu, mengurangi kemungkinan pengguna menemukan, atau mendorong model untuk mengembalikan, konten sensitif atau sugestif," kata Character AI di situs resminya.
Character AI juga telah menggunakan dua taktik baru untuk mencegah LLM menghasilkan konten yang sensitif dan tidak pantas. Platform ini berusaha untuk memblokir output konten yang tidak pantas serta memblokir input pengguna yang tidak pantas.
Di bagian output, Character AI menggunakan alat pengklasifikasi yang dapat mengidentifikasi jenis konten dan respons tertentu dari LLM, sedangkan di bagian input, Character AI meningkatkan kemampuan deteksi filter dan intervensi di platformnya.
"Misalnya, jika kami mendeteksi bahwa pengguna telah mengirimkan konten yang melanggar Ketentuan Layanan atau Pedoman Komunitas kami, konten tersebut akan diblokir dari percakapan mereka dengan Karakter," jelas Character AI.
Baca juga:
Selain melakukan pencegahan melalui peningkatan modelnya, Character AI juga meluncurkan sejumlah fitur baru yang dapat mencegah masalah gangguan kesehatan mental pada remaja. Fitur ini merupakan Kontrol Orang Tua untuk memberikan wawasan tentang anaknya.
Orang tua bisa melihat waktu yang dihabiskan di dalam platform dan karakter yang sering digunakan untuk berinteraksi. Selain itu, ada juga fitur Notifikasi Waktu yang Dihabiskan. Setiap kali pengguna memakai platform selama satu jam, mereka akan mendapatkan pesan.
"Meskipun fitur ini nantinya akan memiliki opsi yang dapat disesuaikan untuk pengguna dewasa, pengguna di bawah 18 tahun akan memiliki lebih banyak batasan pada kemampuan mereka untuk mengubahnya," ungkap Character AI.