Jakarta - OpenAI a reconnu que plusieurs de ses modèles d'intelligence artificielle ont été impliqués dans le piratage du système Hugging Face lors d'un test interne de cybersécurité. Les modèles ont contourné les restrictions de l'environnement d'essai, obtenu l'accès à Internet et puis pris des réponses d'évaluation à partir de la base de données de production de Hugging Face.
TechCrunch a cité mercredi 22 juillet, que l’incident a impliqué plusieurs modèles OpenAI, y compris GPT-5.6 Sol et un modèle pré-lancement dit plus sophistiqu̧e. Les mesures de securité qui permettent normalement aux modèles de rejeter des commandes cyberéniques dangereuses ont été volontairement réduites pour des raisons d’évaluation.
Hugging Face est une plate-forme pour stocker et partager des modèles et des ensembles de données d'IA. L'entreprise n'est pas affiliée à OpenAI.
Dans un blog publié mardi, OpenAI a dit que les modèles étaient testés avec ExploitGym. Ce critère, disponible au public, mesure la capacité de l’IA à mener des attaques en exploitant des failles de sécurité connues.
Les modèles ne devraient pas avoir accès à Internet en général. Le système d'essai fournit uniquement des outils pour installer les paquets de logiciels qui peuvent être nécessaires pour terminer une tâche.
Le modèle d'IA OpenAI échappe à un environnement d'essai, défiant le système Hugging Face
Cependant, le modèle a trouvé une faille qui n'a pas été révélée dans le programme de mise à jour des paquets. Cette faille a été utilisée pour atteindre plus largement l'Internet.
« Ces modèles sont très concentrés sur la recherche de solutions pour ExploitGym et adoptent des moyens extrêmes pour atteindre des objectifs d’essai assez étroits », a écrit OpenAI.
Après avoir obtenu l'accès à Internet, le modèle a supposé que Hugging Face stockait des modèles, des ensembles de données et des solutions relatives à ExploitGym. Le modèle a ensuite cherché à obtenir des informations secrètes pouvant être utilisées pour tromper l'évaluation.
Cela a fonctionné. OpenAI a dit que le modèle avait trouvé une faille dans l’infrastructure de Hugging Face et avait pris une solution de test directe à partir de la base de données de production de l’entreprise.
En obtenant une solution, le modèle peut tromper l'évaluation sans résoudre le défi en fonction de ses propres capacités.
Hugging Face a auparavant déclaré que la violation avait été commise par un « agent AI externe ». L’attaque a impliqué des milliers d’actions à travers de nombreux espaces de calcul temporaires. Son système de commande et de contrôle peut également passer par des services publics.
OpenAI a identifié et signalé une faille dans le programme de gestion des paquets. L'entreprise travaille également avec Hugging Face pour enquêter sur l'incident.
OpenAI a déclaré qu'elle renforcerait les mesures de sécurité dans le processus d'essai des modèles et de l'infrastructure associée afin d'éviter que des incidents similaires ne se reproduisent.
Il n’est pas clair si OpenAI sera confronté à des conséquences juridiques. TechCrunch a mentionné que l’action du modèle pourrait violer la Computer Fraud and Abuse Act, une loi fédérale américaine qui régit l’accès non autorisé et l’abus des systèmes informatiques.
Micah Carroll, chercheur chez OpenAI, estime que l’incident montre le risque d’incohérence de l’IA. Ce terme fait référence à une condition dans laquelle les actions d’un système ne correspondent plus aux objectifs ou aux limites fixées par l’homme.
« Si cet incident ne vous a toujours pas convaincu que le risque d’incohérence sera une préoccupation majeure à l’avenir, je ne sais pas quoi faire », a écrit Carroll.
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
