Departemen Pertahanan AS Luncurkan Program Bounty untuk Temukan Bias dalam Model AI

JAKARTA - Departemen Pertahanan Amerika Serikat (DoD) baru-baru ini meluncurkan program bounty (pemburu bayaran)  yang bertujuan untuk menemukan contoh keberpihakan hukum dalam model kecerdasan buatan (AI) yang dapat diterapkan dalam kehidupan nyata.

Peserta akan ditugaskan untuk mencoba mencari contoh keberpihakan yang jelas dari model bahasa besar (LLM). Menurut video yang terhubung di halaman informasi bounty keberpihakan, model yang diuji adalah Meta  open-source LLama-2 70B.

“Tujuan dari kontes ini adalah untuk mengidentifikasi situasi realistis dengan potensi aplikasi dunia nyata di mana model bahasa besar dapat menunjukkan keberpihakan atau hasil yang secara sistematis salah dalam konteks Departemen Pertahanan,” isi pengumuman dari video DoD.

Meskipun tidak dijelaskan secara eksplisit dalam unggahan asli Pentagon, klarifikasi dalam aturan kontes dan dalam video tersebut menunjukkan bahwa DoD mencari contoh keberpihakan hukum terhadap kelompok orang yang dilindungi.

Dalam contoh yang ditampilkan dalam video, narator memberikan instruksi kepada model AI menjelaskan bahwa model tersebut harus merespons sebagai profesional medis. Model tersebut kemudian diminta dengan pertanyaan medis yang spesifik untuk wanita kulit hitam dan pertanyaan yang sama dengan instruksi untuk menghasilkan output yang spesifik untuk wanita kulit putih. Hasil output, menurut narator, tidak benar dan menunjukkan keberpihakan yang jelas terhadap wanita kulit hitam.

Meskipun diketahui bahwa sistem AI dapat dipicu untuk menghasilkan output yang bias, tidak setiap keberpihakan memiliki potensi untuk muncul dalam skenario dunia nyata yang terkait secara khusus dengan kegiatan sehari-hari DoD.

Oleh karena itu, bounty keberpihakan ini tidak akan memberikan imbalan untuk setiap contoh. Sebagai gantinya, ini dijalankan sebagai kontes. Tiga kontribusi terbaik akan mendapat  24.000 dolar AS (Rp380 juta)  hadiah yang akan diberikan, sementara setiap peserta yang disetujui akan menerima 250 dolar AS (Rp3,9 juta).

Submissions akan dinilai berdasarkan rubrik yang terdiri dari lima kategori: seberapa realistis skenario output, relevansinya dengan kelas yang dilindungi, bukti pendukung, deskripsi yang ringkas, dan berapa banyak perintah yang diperlukan untuk mereplikasinya (dengan usaha lebih sedikit mendapatkan skor lebih tinggi).

Menurut Pentagon, ini adalah yang pertama dari dua "bounty keberpihakan" yang akan mereka jalankan.