Les chercheurs mettent en garde : les modèles d'IA open-source sont vulnérables à l'utilisation à des fins criminelles

Juan Andres Guerrero-Saade, directeur exécutif de l'intelligence et de la recherche en sécurité chez SentinelOne. (photo: x @labscon_io)

JAKARTA - Les hackeurs et les cybercriminels peuvent facilement prendre le contrôle d’ordinateurs exécutant des modèles d’intelligence artificielle open-source en dehors des barrières de sécurité et des restrictions appliquées par les grandes plateformes d’IA. Cela crée de nouveaux risques et vulnérabilités de sécurité. Cela a été révélé par les chercheurs dans une étude publiée jeudi 29 janvier.

Selon les chercheurs, les criminels peuvent cibler des ordinateurs exécutant des modèles de langage larges (LLM) open-source, puis les orienter vers diverses activités illégales telles que des opérations de spam, la création de contenu de phishing, jusqu'à des campagnes de désinformation, tout en contournant les protocoles de sécurité habituellement appliqués par les plateformes d'IA commerciales.

La recherche a été conjointement menée par les entreprises de sécurité informatique SentinelOne et Censys pendant 293 jours, et a été partagée exclusivement avec Reuters. Cette recherche donne un nouvel aperçu de l’ampleur du potentiel d’abus illégal des milliers d’implémentations de LLM open-source disséminées sur Internet.

Les chercheurs ont mentionné que les potentiels d’abus incluent des activitı́s de piratage, des discours de haine et des abus, du contenu violent ou sadique, le vol de données personnelles, des fraudes et des escroqueries, et dans certains cas, du contenu d’abus sexuel sur des enfants.

Bien qu'il existe des milliers de variantes de LLM open-source, la plupart des modèles hébergés sur des serveurs accessibles au public sont des variantes de Llama de Meta, Gemma de Google DeepMind, ainsi que d'autres modèles. Bien que certains modèles open-source aient été dotés de barrières de sécurité, les chercheurs ont découvert des centaines de cas où ces mécanismes de sécurité ont été délibérément supprimés.

Les discussions industrielles sur la sécurité des contrôles de l'IA ne semblent pas avoir pleinement pris en compte la capacité excédentaire de ces modèles qui ont été largement utilisés.

« Les conversations sur le contrôle de la sécurité dans l’industrie de l’IA ignorent cette capacité excédentaire qui est clairement utilisée pour de nombreuses choses, en partie légitime, en partie clairement criminelle », a déclaré Juan Andres Guerrero-Saade, directeur exécutif de l’intelligence et de la recherche de sécurité chez SentinelOne.

Il a comparé la situation à une calotte glaciaire qui n'est pas entièrement visible et n'a pas encore été prise au sérieux par l'industrie et la communauté open-source.

Cette recherche analyse l'implémentation d'un LLM open-source accessible au public et exécuté via Ollama, un outil qui permet aux individus et aux organisations d'exécuter leur propre version de différents modèles de langage de masse.

Dans environ un quart des LLM observés, les chercheurs ont pu voir les systèmes de prompt, c'est-à-dire les instructions qui régissent le comportement du modèle. De ce groupe, environ 7,5 pourcent ont été jugés susceptibles de permettre une activité dangereuse.

Géographiquement, environ 30% des hôtes observés opèrent depuis la Chine, tandis que 20% environ sont situés aux États-Unis.

Rachel Adams, PDG et fondatrice du Global Center on AI Governance, a déclaré par courriel que lorsque le modèle open-source a été rendu public, la responsabilité des impacts ultérieurs est devenue une responsabilité partagée dans l’ensemble de l’écosystème, y compris les laboratoires qui ont développé le modèle.

« Les laboratoires ne sont pas responsables de toute utilisation abusive en aval, qui est souvent difficile à prévoir. Cependant, ils ont toujours l’obligation de prudence de prévoir les risques prévisibles, de documenter les risques potentiels et de fournir des outils de mitigation et des guides, en particulier compte tenu de la capacité inégalement répartie des forces de l’ordre », a déclaré Adams.

Un porte-parole de Meta a refusé de répondre aux questions concernant la responsabilité des développeurs dans la gestion des abus du modèle open-source, mais a évoqué l'existence des outils de protection Llama et du guide de l'utilisation responsable de Meta Llama fourni par la société aux développeurs.

Entre-temps, Ram Shankar Siva Kumar, directeur de l’équipe rouge de l’IA de Microsoft, a déclaré que Microsoft croyait que les modèles open-source jouaient un rôle important dans de nombreux domaines. Cependant, il a insisté sur le fait que les modèles ouverts, comme d’autres technologies transformatives, pouvaient être mal utilisés par les malfaiteurs s’ils étaient lancés sans sécurité adéquate.

Microsoft, selon lui, a effectué une évaluation avant le lancement, y compris une évaluation des risques pour les scénarios de modèles connectés à Internet, hébergés eux-mêmes ou utilisés avec des outils supplémentaires, dans lesquels le potentiel d’abus est jugé plus élevé. L’entreprise surveille également activement les menaces et les tendances d’abus émergentes.

« En fin de compte, l’innovation ouverte responsable nécessite un engagement commun des constructeurs de modèles, des parties qui les appliquent, des chercheurs et des équipes de sécurité », a-t-il dit.

Ollama n’a pas répondu à la demande de commentaires, tandis que Alphabet (Google) et Anthropic n’ont pas non plus répondu aux questions posées.