OpenAI ralentit Astra après que le modèle a franchi le seuil de la cybersécurité

Illustration d’OpenAI. L’entreprise a temporairement interrompu une partie du travail sur le modèle Astra après que ses capacités informatiques ont déclenché des mesures de sécurité supplémentaires. Photo d’illustration: Unplash.

JAKARTA - OpenAI a temporairement interrompu une partie du travail sur le modèle d’IA Astra après qu’une évaluation interne a révélé que ses capacités cybernétiques avaient évolué pour déclencher des mesures de sécurité supplémentaires.

TechCrunch, cit́é samedi 8 âout, rapporte que Astra, qui est encore en phase de développement, montre des progrès importants dans la códage autonome, c’est-à-dire la capacité de l’IA de mener à bien une suite de tâches de programmation plus autonome, ainsi que la securité cybernétique.

OpenAI a déclaré que le modèle avait atteint le seuil critique de la cybersécurité.

Selon la société, ce seuil signifie que le modèle peut identifier et exécuter de manière autonome des attaques informatiques contre des systèmes réels qui sont généralement bien protégés.

Ces conclusions ont conduit à l’application de mesures de sécurité supplémentaires basées sur le Preparedness Framework ou le cadre de préparation d’OpenAI créé en 2023.

« Alors que nous continuons à tester et évaluer ce modèle, nos premières évaluations montrent des performances assez solides, de sorte que pour le moment nous ne pouvons pas exclure un niveau de capacité critique », a écrit OpenAI.

Cela signifie qu'OpenAI n'a pas encore confirmé que Astra était au niveau de la capacité critique. L'évaluation initiale a seulement montré que cette possibilité ne pouvait pas être écartée.

L'entreprise a également affirmé qu'Astra n'était pas impliquée dans l'exploitation de Hugging Face.

Cette annonce survient après que OpenAI avait auparavant été mis en lumière en raison d'un autre modèle non publié qui a pénétré le système Hugging Face dans un test interne.

TechCrunch a qualifié cet incident du premier cas vérifié où un laboratoire d'IA a perdu le contrôle de son modèle.

Depuis, OpenAI et d'autres laboratoires d'IA tels que Anthropic ont également révélé un certain nombre d'incidents lorsque des modèles d'IA ont pénétré des environnements d'essai isolés ou des boîtes de sandbox et ont posé une menace pendant les tests de cybersécurité.

Le Sandbox est un environnement d'essai séparé du système principal pour limiter les risques lors de l'essai de modèles ou de logiciels.

Cette série d'incidents a provoqué diverses réponses de la part des experts en securité cybernétique, des décideurs et des entreprises d'IA. Certains ont demandé une surveillance plus stricte.

D'autre part, il y a aussi des gens qui considèrent cette capacité comme une réalisation technologique qui montre les progrès du modèle d'IA.

OpenAI a déclaré que les informations concernant Astra avaient été partagées car l’entreprise estimait que le public et la communauté de la sécurité et de la sécurité devaient être informés des changements apportés à la capacité du modèle.

L’entreprise a maintenant renforcé ses contrôles de sécurité et a suspendu temporairement les activités internes impliquant Astra si elle ne remplit pas les nouvelles normes de sécurité.

OpenAI travaille également avec des institutions gouvernementales pertinentes et un certain nombre d’organisations de sécurité AI choisies pour tester davantage les capacités d’Astra.