研究人员警告说：开源AI模型容易被用于犯罪

雅加达 - 黑客和网络犯罪分子可以很容易地接管运行开源人工智能模型的计算机，而这些计算机不受大型AI平台实施的安全围栏和限制的限制。这创造了新的安全风险和漏洞。研究人员在一项于1月29日星期四发布的研究中透露了这一点。

研究人员表示，犯罪分子可以针对运行开源大型语言模型（LLM）的计算机，然后将其引导执行各种非法活动，如垃圾邮件操作，钓鱼内容创建，以及虚假信息活动，同时避免商业AI平台通常实施的安全协议。

该研究由网络安全公司SentinelOne和Censys在293天内共同进行，并由路透社独家提供。这项研究为互联网上成千上万的开源LLM实施的潜在非法滥用规模提供了新的见解。

研究人员表示，滥用潜力包括黑客活动，仇恨言论和骚扰，暴力或虐待内容，个人数据盗窃，欺诈和诈骗，在某些情况下，还包括对儿童的性虐待材料。

尽管有数千种开源LLM变体，但大多数托管在公共访问服务器上的模型都是Meta的Llama、Google DeepMind的Gemma和其他模型的变体。尽管一些开源模型配备了安全栅栏，但研究人员发现数百个故意删除安全机制的案例。

与安全控制相关的AI行业讨论被认为尚未充分考虑到这些模型的过度容量，这些模型已被广泛使用。

“关于人工智能行业安全控制的对话忽略了这种明显用于各种用途的剩余容量，其中一些是合法的，其中一些显然是犯罪的，”SentinelOne安全情报和研究执行总监Juan Andres Guerrero-Saade说。

他将这种情况比作一座冰山，它没有完全被看到，也没有得到开源行业和社区的认真考虑。

该研究分析了公开可用的开源LLM的实现，并通过Ollama运行，Ollama是一个允许个人和组织运行各种大型语言模型的自己的版本的工具。

在观察的LLM中，研究人员可以看到提示系统，即控制模型行为的指令。在该组中，大约7.5%被认为有可能允许危险活动。

从地理位置上看，大约30%的观察到的主机来自中国，而大约20%来自美国。

人工智能治理全球中心首席执行官兼创始人雷切尔·亚当斯（Rachel Adams）在一封电子邮件中表示，在开源模型向公众发布后，对后续影响的责任成为整个生态系统的共同责任，包括开发该模型的实验室。

“实验室不对下游的任何滥用行为负责，这些行为往往难以预测。然而，他们仍然有责任谨慎地预测可预见的风险，记录潜在的危害，并提供缓解工具和指导，特别是因为全球执法能力不平衡，“亚当斯说。

Meta发言人拒绝回答有关开发人员在处理滥用开源模型方面的责任问题，但提到了该公司为开发人员提供的Llama保护工具和Meta Llama负责任使用指南的存在。

与此同时，微软AI红队的负责人Ram Shankar Siva Kumar表示，微软认为开源模型在各个领域都发挥着重要作用。然而，他强调，与其他变革性技术一样，开源模型如果在没有适当的安全措施的情况下发布，可能会被坏人滥用。

他说，微软在发布之前进行了评估，包括对连接到互联网的模型场景的风险评估，这些模型是托管的，或者使用额外的工具，其中滥用潜力被认为更高。该公司还积极监控不断发展的威胁和滥用模式。

“归根结底，负责任的开放创新需要模型构建者、实施者、研究人员和安全团队的共同承诺，”他说。

Ollama没有对置评请求作出回应，Alphabet（谷歌）和Anthropic也没有回应提出的问题。