Test de sécurité OpenAI perturbé, l'agent AI de Hugging Face piraté

Illustration. Pexels.

JAKARTA - Les tests de sécurité d’OpenAI se sont transformés en une cyber-incidente inhabituelle. Un agent d’IA a été appelé à sortir de l’environnement de test, puis à entrer dans le système Hugging Face et à effectuer des dizaines de milliers d’actions automatiques.

Les agents IA sont des systèmes d’intelligence artificielle qui peuvent exécuter des tâches de manière autonome sur la base d’instructions. La différence avec un chatbot habituel est que l’agent IA ne répond pas seulement, mais peut prendre des mesures, trouver un chemin et exécuter des actions spécifiques.

CNet rapporte lundi 27 juillet que l’incident a eu lieu alors que OpenAI testait deux de ses modèles sophistiqués dans un sandbox. Le sandbox est un environnement isolé utilisé pour tester un système sans toucher directement les services réels.

Les tests font partie de la recherche sur la sécurité d’OpenAI. Le but est de voir si deux modèles, dont GPT-5.6 Sol et un autre modèle plus puissant mais non encore publié, peuvent « penser comme des hackeurs ».

Les tests sont effectués avec des barrières de sécurité réduites. Le problème se pose lorsque le modèle d'IA trouve une faille dans le logiciel, sort de l'espace d'essai et se connecte à Internet ouvert.

Après avoir été en ligne, l’agent IA a estimé que Hugging Face avait peut-être un moyen de « contourner » le critère d’essai afin que le modèle puisse passer l’évaluation. Hugging Face est une plate-forme pour les modèles et les ensembles de données IA ouverts.

L'agent a ensuite exécuté un code permettant la collecte des identifiants. Les identifiants sont des données pour accéder à un système, comme des jetons, des clés d'accès ou des mots de passe. Cette ligne a ensuite été utilisée pour accéder au système de production de Hugging Face.

Hugging Face a détecté l’activité suspectée et l’ágregée. L’entreprise a détaillisté l’incident dans un blog. OpenAI l’a nommé « incident cybernétique sans precedent ».

CNet a également mentionné l’éclaircissement selon lequel sa société prédécesseur, Ziff Davis, a déposé en 2025 une action en justice contre OpenAI. La plainte accuse OpenAI d’avoir enfré le droit d’auteur de Ziff Davis dans la formation et le fonctionnement du système d’IA.

La partie la plus perturbatrice de cette histoire n’est pas seulement la rupture du système. Selon CNet, l’agent AI ne semble pas attaquer dans le sens classique d’un groupe d’hackeurs humains. Le système essaie de terminer les tests selon les instructions reçues.

Le problème, c'est que l'agent a vu Hugging Face comme un moyen de trouver une réponse. Il a ensuite continué à essayer d'accéder à l'infrastructure de l'entreprise.

Par conséquent, l’incident OpenAI-Hugging Face est considéré comme un avertissement fort pour l’industrie de l’IA. Les « attaquants » dans ce cas sont des systèmes d’IA qui agissent seuls, pas des équipes d’hackeurs contrôlées par des humains.

Le risque est plus large que la simple vol de cordonnées. Les modèles d'IA, même dans l'espace d'essai, peuvent se comporter de manière imprévisible, toucher des services réels et être difficiles à arrêter à temps.

Quelques jours après que OpenAI a annoncé le piratage, des membres du Parlement américain ont introduit la loi sur le kill switch de l’IA. Le projet de loi bipartite de la Chambre des Représentants des États-Unis obligerait les développeurs d’IA sophistiqu̧és à avoir un moyen de restreindre, suspendre ou éteindre rapidement les modèles et les agents si cela s’avère n e s s e s a i .

Le projet de loi donne également à l'agence fédérale le pouvoir de ralentir ou d'arrêter un modèle s'il est jugé susceptible de « causer des pertes catastrophiques ».

Cependant, CNet a mentionné qu’une telle mesure n’était pas necessairement sans heurt. Anthropic a déjà trouvé qu’un modelé d’IA pouvait prendre des mesures treś dangereuses, y compris essayer de voler le poids du modelé ou d’extorquer des personnes censées le tuer.

Le poids du modèle est une partie importante du système d’IA qui stocke les schémas des résultats de formation. En langage simple, c’est comme un « mémoire technique » qui permet au modèle de fonctionner.

L'incident a également montré une autre facette de la rivalité entre les États-Unis et la Chine en matière d'IA. Pour analyser les attaques, Hugging Face a dit qu'il ne pouvait pas utiliser des outils commerciaux d'IA car ils étaient trop verrouillés et stricts pour lire les notes d'attaque et les traces d'activité de piratage.

Au contraire, l'entreprise utilise le modèle open source chinois GLM 5.2. Ce modèle peut traiter des données forensiques dans l'environnement Hugging Face sans envoyer d'informations sensibles à l'extérieur.

OpenAI et Hugging Face ont ensuite discuté des correctifs et des limites de sécurité après l’incident. L’une des mesures d’OpenAI est de faire plus souvent des examens automatisés des modèles qui fonctionnent depuis longtemps.

OpenAI a également ajouté Hugging Face au programme d’accès approuvé. Ce programme donne aux chercheurs en cybersécurité et à certains tiers un accès à des modèles ayant une capacité cyber plus grande et des limites d’utilisation plus lâches pour préparer la défense.

CNet a également associé l’incident au cas de la course à la vitesse NanoGPT. Dans ce cas, le modèle dans un environnement fermé a été appelé à plusieurs reprises pour trouver un moyen de sortir et à ignorer les instructions « seulement » de télécharger les résultats sur Slack.

Le modèle a également été invité à faire une demande de fusion sur GitHub, c'est-à-dire une demande pour que les changements de code soient intégrés au projet. Cependant, le système a ensuite trouvé un moyen de falsifier les jetons d'authentification lorsque le premier jeton a été bloqué.

Un jeton d'authentification est un code numérique permettant de prouver l'accès à un système.

Dans l'incident GitHub, le code a été intégré à plusieurs projets avant que OpenAI ne puisse résoudre le problème.