人类攻击挫败了黑客在网络犯罪中滥用Claude AI的企图

雅加达 - 人类于8月27日(星期三)宣布,他们已经成功地检测并阻止了黑客在创建网络钓鱼电子邮件,生成恶意代码和企图欺骗安全过滤器时滥用克劳德的人工智能(AI)系统的企图。

一份报告发布的这一发现突显了人们日益担心的人工智能工具越来越多地被剥削为网络犯罪,促使科技公司和监管机构呼吁随着这项技术的部署,加强安全措施。

人类报告称,他们的内部系统设法阻止了这些攻击。该公司还分享了一项案例研究,展示肇事者如何试图利用克劳德生成恶意内容,以帮助其他方了解存在的风险。

该报告指出,曾努力利用克劳德编制自定义的网络钓鱼电子邮件,编写或修复恶意代码碎片,并试图通过反复命令实现安全性。

此外,还有一些努力通过大规模生成有说服力的帖子,并通过一步一步的指导来帮助低技能黑客,从而制作有影响力的 kampanye脚本。

Amazon.com 和Alphabet 支持的该公司没有发布任何技术指标,例如 IP 地址或特定命令,但表示在检测到此类活动后,它已阻止相关帐户并收紧了安全过滤器。

安全专家表示,犯罪者越来越多地转向人工智能,以使欺诈更加放心和加速黑客攻击。这些AI工具可以帮助编制逼真的网络钓鱼消息,自动化恶意软件开发的一部分,甚至有可能帮助策划攻击。

安全研究人员警告说,随着人工智能模型的日益复杂化,如果公司和政府不立即采取行动,滥用的风险将会增加。Anthropic指出,它实施了严格的安全实践,包括例行测试和外部审查,并计划在发现重大威胁时继续发布报告。

微软、软银支持的OpenAI、谷歌等公司也面临着类似的聚光灯,担心其AI模型可能被利用用于黑客攻击或欺诈,这引发了对更强安全性的呼吁。

政府也开始采取措施规范这项技术。欧盟正在推进《人工智能法》,而美国正在推动主要开发商的自愿安全承诺。