L’appareil de contrôle de conformité à la loi AI révèle les faiblesses des technologies de grande technologie dans le respect des règlements de l’UE

PDG et cofondateur de LatticeFlow, Petar Tsankov (photo; x @lattice aktuai)

JAKARTA – Plusieurs des modèles de premier plan d’intelligence artificielle (IA) ne répondent pas pleinement aux réglementations de l’UE en termes de cybersécurité et de résultats discriminatoires. Un certain nombre de modèles génératifs d’IA provenant de grandes entreprises technologiques telles que Meta, OpenAI et Alibaba ont montré des lacunes dans plusieurs domaines très importants pour le respect de la loi européenne sur l’IA (IA), qui devrait entrer en vigueur progressivement dans les deux prochaines années.

La loi sur l’IA est devenue un sujet de débattre depuis des années, en particulier après le lancement de chatGPT par OpenAI à la fin de 2022, ce qui a déclenché de longues discussions sur les risques existentiels potentiels de ces modèles d’IA. L’émergence de l’inquiétude publique a forcé les décideurs politiques à élaborer des réglementations plus strictes concernant l’IA « à but général » (GPAI), qui comprend des technologies génératives d’IA telles que chatGPT.

Pour tester la conformité à cette réglementation, un nouvel outil développé par LatticeFlow AI, une start-up suisse, en collaboration avec leurs partenaires ETH Zurich et INSAIT Bulgaria, a été utilisé pour tester des modèles génératifs d’IA. L’outil évalue les modèles d’IA de diverses catégories avec un score compris entre 0 et 1, qui comprend des aspects techniques tels que la sécurité et les risques discriminatoires potentiels.

Les résultats des tests et les manques du modèle AI

LatticeFlow a publié un tableau de classement montrant les résultats de certains des modèles d’IA testés. Les grandes entreprises technologiques telles qu’Alibaba, Meta, OpenAI, Anthropic et Azad obtiennent toutes un score moyen supérieur à 0,75. Cependant, certains modèles montrent des pénuries dans la catégorie clé qui pourraient alourdir la loi sur l’IA.

En termes de résultats discriminatoires, l’outil a donné un faible score au modèle « GPT-3.5 Turbo » d’OpenAI, qui n’a reçu que 0,46. En fait, le modèle « Qwen1.5 72B chat » d’Alibaba Cloud a obtenu un score inférieur, qui est de 0,37. Cette production discriminatoire reflète la préjugé humaine liée au genre, à la race et à d’autres aspects, qui peut apparaître lorsque le modèle d’IA est invité à produire du contenu particulier.

En outre, dans la catégorie des « moments de piratage », qui est le type de cyberattaque dans laquelle les pirates ont dissimulé des moments malveillants comme un temps d’alerte légitime pour voler des informations sensibles, le modèle « Lama 2 13B chat » de Meta a obtenu un score inférieur de 0,42, tandis que le modèle « 8x7B Instruct » de la base a obtenu un score encore inférieur, qui est de 0,38.

Cloud 3 Opus, un modèle développé par Anthropic avec le soutien de Google, a obtenu le score le plus élevé avec une valeur moyenne de 0,89 dans diverses catégories, ce qui en fait le modèle le plus dur en termes de conformité aux réglementations de sécurité et de résilience technique.

Le potentiel des sanctions majeures

Cet outil de vérification est conçu conformément au texte de la loi sur l’IA et devrait être mis à jour avec la mise en œuvre de mesures d’application supplémentaires. Selon le PDG et cofondateur de LatticeFlow, Petar Tsankov, ces résultats de tests donnent une image initiale sur laquelle les entreprises devraient accroître leur concentration pour assurer le conformité avec la loi sur l’IA.

Il a déclaré que bien que les résultats positifs dans son ensemble, il y a encore des « lacunes » à améliorer afin que ce modèle génératif d’IA puisse répondre aux normes réglementaires.

« L’Union européenne améliore toujours les normes de conformité, mais nous pouvons déjà voir certaines lacunes dans les modèles existants d’IA », a déclaré Tsankov. « Avec un accent davantage sur l’optimisation pour la conformité, nous pensons que les fournisseurs de modèles peuvent se préparer à répondre aux exigences réglementaires. »

Si les entreprises ne respectent pas cette loi sur l’IA, elles pourraient être passibles d’une amende de 35 millions d’euros (environ 38 millions de dollars américains) ou 7 % du chiffre d’affaires annuel mondial, selon lequel le plus important est. Cela exerce une pression majeure sur les entreprises technologiques pour corriger les lacunes révélées par ces tests.

Actuellement, l’Union européenne travaille toujours sur la façon dont les règles de la loi sur l’IA seront appliquées, en particulier pour les outils génératifs d’IA tels que chatGPT. Des experts sont réunis pour élaborer un code de pratique qui devrait être achevé au printemps 2025.

Bien que la Commission européenne ne soit pas en mesure de vérifier des outils externes, elle a été informée tout au long du développement de cet outil de vérification et l’a qualifiée de première étape importante dans la mise en œuvre de la loi sur l’IA. Un porte-parole de la Commission européenne a déclaré: « La Commission a salué cette étude et la plate-forme d’évaluation du modèle d’IA comme première étape pour traduire la loi sur l’IA de l’UE en exigences techniques. »

Plusieurs entreprises technologiques dont les modèles ont été testées, telles que Meta et Azad, ont refusé de commenter. Pendant ce temps, des entreprises comme Alibaba, Anthropic et OpenAI n’ont pas immédiatement répondu aux demandes de commentaires liées aux résultats de ces tests.