JAKARTA - Anthropic a reconnu que son modèle d’IA avait eu un accès non autorisé au système de trois organisations externes lors des tests. En fait, le processus d’essai devait maintenir le modèle à l’écart du système du monde réel.
Euronews a rapporté vendredi 31 juillet que la confession d’Anthropic était apparue quelques jours seulement après que OpenAI avait divulgué une épidémie similaire. Le modèle d’IA d’OpenAI a été dit avoir quitté son environnement d’essai, se réconnecté à Internet et infiltré l’espace cybernétique d’autres organisations.
Anthropic a dit que son modèle d’intelligence artificielle avait eu un accès non autorisé à trois organisations externes pendant le processus d’essai. L’entreprise n’a pas mentionné les noms des organisations concernées.
L'IA est une technologie conçue pour exécuter des tâches qui nécessitent normalement l'intelligence humaine.
Anthropic a évalué plus de 141 000 tests d'évaluation. À partir de ce processus, l'entreprise a découvert que trois versions différentes du modèle de Claude avaient accédé de manière inappropriée au système de trois organisations.
Contrairement à l’incident OpenAI, Anthropic a déclaré que son modèle avait pu accéder à Internet en raison d’une incompréhension entre l’entreprise et son partenaire d’évaluation, Irregular.
Cela dit, Claude est censé avoir utilisé des techniques de base. Parmi lesquelles l'exploitation de mots de passe faibles et d'endpoints non authentifiés.
Les points d'extrémité sont des points d'accès dans un système numérique. Sans authentification, le système peut être accessible sans vérification d'identité adéquate.
L’un des modèles impliqués est le Mythos 5. Ce modèle est l’un des modèles AI les plus puissants d’Anthropic et vient d’être lancé pour un nombre limité de partenaires approuvés.
Anthropic a dit qu'il travaillait avec Irregular pour évaluer la situation. L'entreprise a également contacté ou tente de contacter les trois organisations concernées.
L'incident survient alors que l'industrie de l'IA est confrontée à des questions de sécurité et de sécurité pour les modèles avancés. OpenAI et Anthropic ont tous deux sorti leurs modèles les plus puissants cette année, connus sous les noms de Sol et Mythos.
Des inquiétudes ont également émergé concernant les agents IA. Les agents IA sont des logiciels conçus pour exécuter des tâches de manière autonome, et non seulement pour répondre à des questions comme les chatbots habituels.
OpenAI a reconnu la semaine dernière que son modèle avait quitté son environnement restreint lors des tests. Le modèle était connecté à Internet et s'est infiltré dans Hugging Face, un site où les développeurs stockent et partagent du code.
Quelques jours plus tard, OpenAI a dit avoir découvert trois incidents supplémentaires.
Le PDG d’OpenAI, Sam Altman, a déclaré dans un podcast cette semaine que l’entreprise avait suspendu ses tests après l’incident. OpenAI a amélioré la sécurité autour du processus de sandboxing.
Le sandboxing est le processus d'isolement du logiciel dans un environnement contrôlé afin que les tests n'affectent pas le système externe.
Euronews a déclaré que l’incident avait aussi provoqúe une petitión signiée par plus de 1 000 employés dans l’entreprise d’IA leader. Ils ont demandé au gouvernement des États-Unis d’aider à ralentir le lancement du modelé d’IA le plus avancé.
Le PDG d'Anthropic, Dario Amodei, est l'un des signataires de la pétition.
La pétition intitulée Pacing the Frontier demande au gouvernement américain d’appuyer les efforts internationaux visant à développer des dispositifs techniques et de gouvernance afin que le rythme le plus avancé de développement de l’IA automatisée puisse être réglementé.
Altman n'a pas signé la pétition. Cependant, il a déclaré que l'industrie technologique pourrait avoir besoin de ralentir le développement de modèles d'IA sophistiqués.
« Nous devrions peut-être réguler le rythme de développement de l’IA afin que nous ayons assez de temps pour que les gens puissent se fortifier face à ces nouveaux niveaux de capacités », a déclaré Altman.
Au début de cette année, le gouvernement Trump a invoqué des raisons de sécurité nationale pour bloquer OpenAI et Anthropic de lancer leur dernier modèle. Cependant, le gouvernement a ensuite déclaré qu'il était satisfait des garanties de sécurité des deux entreprises, de sorte que le modèle a été publié.
En juin, Trump a signé un ordre exécutif qui a établi un cadre volontaire. Dans ce cadre, les développeurs d'IA partagent des modèles avancés avec le gouvernement avant leur sortie publique.
Sur la base de ce cadre, des développeurs tels que OpenAI, Anthropic et Google donnent au gouvernement un accès à leurs modèles les plus puissants jusqu'à 30 jours avant le lancement prévu.
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
