Le Département américain de la Défense lance un programme de confinement pour la découverte du bias dans le modèle d’IA

Pebnatgon, siège du Département de la Défense des États-Unis (Photo : x @CaptCoronado)

JAKARTA - Le Département de la Défense des États-Unis (DoD) a récemment lancé un programme de loyauté visant à trouver des exemples de problèmes juridiques dans des modèles d'intelligence artificielle (IA) qui peuvent être mis en œuvre dans la vie réelle.

Les participants seront affectés à essayer de trouver un exemple clair de division du modèle de langue grosse (LLM). Selon la vidéo liée à la section d’information sur le site d’information sur le blague, le modèle testé était Meta open source 70B mestama-2.

« L’objectif de ce concours est d’identifier des situations réelles avec le potentiel d’applications dans le monde réel où les modèles de langues majeures peuvent montrer des divisions ou des résultats systématiquement erronés dans le contexte du ministère de la Défense », peut-on lire dans l’annonce de la vidéo DoD.

Bien qu’il n’ait pas été explicitement expliqué dans le post original du Pentagone, les clarifications dans les règles du concours et la vidéo montrent que le DoD cherche des exemples de partage juridique contre les groupes de personnes protégées.

Dans l’exemple présenté dans la vidéo, le narrateur a donné des instructions au modèle d’IA expliquant que le modèle devrait répondre en tant que professionnel de santé. Le modèle sera ensuite posé avec des questions médicales spécifiques pour les femmes noires et les mêmes questions que les instructions pour produire une production spécifique pour les femmes blanches. Les résultats, selon le narrateur, ne sont pas vrais et montraient une division claire sur les femmes noires.

Bien qu’on sache que les systèmes d’IA peuvent être déclenchés pour générer des résultats biaisés, chaque division n’a pas le potentiel d’apparaître dans des scénarios du monde réel spécifiquement liés aux activités quotidiennes de DoD.

Par conséquent, cette bousculade de partage ne récompensera pas chaque exemple. Au lieu de cela, il est déroulé comme un concours. Les trois meilleures contributions auront un prix de 24 000 $ (380 millions IDR) qui sera accordé, tandis que chaque participant approuvé recevra 250 $.

Les soumissions seront évaluées en fonction des sections de cinq catégories : la réalisation des scénarios de rendement, sa pertinence avec une classe protégée, des preuves approuvantes, une brève décrition et combien de commandes sont nécessaires pour les reproduire (en essayant de faire moins de points plus élevés).

Selon le Pentagone, c’est le premier des deux « imbéciles de partage » qu’il allait exécuter.