注意!这是CATGPT的弱点,它急于用于网络攻击

雅加达 - 一份报告提醒说,普通人可以使用ChatGPT进行网络攻击。此弱点允许用户要求AI聊天机器人编写恶意代码,这些代码可能会破坏数据库并窃取敏感信息。

研究人员表达了他们最大的担忧,即人们在没有意识到并导致主要计算机系统崩溃的情况下,可能会意外这样做。

例如,护士可以要求ChatGPT帮助找到临床注意事项,并且在不知情的情况下,给出了可能干扰组织的恶意代码,而无需警告。

谢菲尔德大学的一个团队表示,聊天机器人是如此复杂,以至于包括生产它们的公司在内的许多政党“只是没有意识到”他们构成的威胁。

这项研究是在政府间人工智能安全峰会(AI Safety Summit)关于如何安全使用技术前约一周公布的。

ChatGPT背后的美国初创公司OpenAI表示,在报告此事后,它已经修复了特殊的漏洞。

然而,谢菲尔德计算机科学部的一个小组表示,可能还有更多的漏洞,并要求网络安全行业更详细地审查此事。

这项研究是第一个指出的,“文本到SQL”系统,称为AI,可以通过用自然语言询问来搜索数据库 - 可用于攻击现实世界中的计算机系统。

研究人员总共分析了五台商业AI工具 - 并发现它们都能够生成恶意代码,一旦执行,可能会泄露机密信息并破坏甚至破坏服务。

这一发现表明,不仅有专家黑客现在可以进行这样的攻击 - 而且普通人也是如此。

研究人员担心,这可能会使无辜用户没有意识到他们已经这样做了,并意外感染计算机系统。

“实际上,许多公司只是没有意识到这种威胁,由于聊天机器人的复杂性,即使在社区中,也有一些事情不是完全理解的。目前,ChatGPT受到了很多关注,“领导这项研究的谢菲尔德大学S3学生Xutan Peng说。

「ChatGPT是一个独立的系统,因此服务本身的风险是最小的,但我们发现,此工具可以被骗取生成恶意代码,可能会对其他服务造成严重破坏,”Peng说。

「ChatGPT等AI的风险是,越来越多的人将其用作生产力工具,而不仅仅是对话机器人,这就是我们研究展示脆弱性的地方,”Peng补充道。

「例如,护士可以要求ChatGPT撰写SQL 命令,以便他们可以与数据库进行交互,例如存储临床记录的数据库,”他解释说。

“正如我们的研究所表明的那样,ChatGPT生成的SQL码在许多情况下都会损坏数据库,因此本案中的护士可能会在没有警告的情况下造成严重的数据管理错误,”他补充说。

本月早些时候,这一发现是在意大利佛罗伦萨举行的国际软件可信度工程研讨会(ISSRE)上传达的。

研究人员还警告说,使用AI学习编程语言的人是危险的,因为他们可能会意外生成破坏性代码。

「ChatGPT等AI的风险在于,越来越多的人将其用作生产力工具,而不仅仅是对话机器人,这就是我们研究展示脆弱性的地方,”Peng说。

「事实上,许多公司只是没有意识到这种威胁,而且由于聊天机器人的复杂性,即使在社区中,也有一些事情不是完全理解的。目前,ChatGPT正在受到很多关注,“他说。

英国内政部长苏埃拉·布拉弗曼(Suella Braverman)于5月与美国国内安全局的亚历杭德罗·梅奥尔卡斯(Alejandro Mayorkas)发表声明,致力于共同行动,以应对“卑鄙地产生的人工智能图像的可怕增加”。

与此同时,在9月,人们发现一个简单的开源工具被用来绘制西班牙城市Almendralejo的赤裸男孩的照片。

女孩从社交媒体上拍摄的图像是通过应用程序处理的,以生成裸照,20名女孩声称是使用该应用程序的受害者。

IWF警告说,虽然没有儿童在拍照时受到身体虐待,但对受害者和掠夺者的正常化行为造成了重大心理损害。

大多数AI图像被归类为C类,最轻的类别,但五张图像中的一张是A类,这是最严重的虐待形式。