人工智能法遵守检查工具揭示了大型科技技术在履行欧盟监管方面的弱点

LatticeFlow首席执行官兼联合创始人Petar Tsankov(照片;x @latticeflowai)

雅加达 - 据报道,一些主要的人工智能(AI)模型在网络安全和歧视性产出方面尚未完全符合欧盟的法规。Meta,OpenAI和阿里巴巴等主要科技公司的一些生成AI模型在几个领域出现了短缺,这些领域对于遵守欧洲人工智能法(AI Act)至关重要,预计将在未来两年内逐步实施。

AI法多年来一直是争议的主题,特别是在OpenAI于2022年底推出CatGPT之后,引发了关于这些AI型号潜在存在风险的广泛讨论。公众的担忧的出现迫使政策制定者制定更严格的法规,涉及“一般目的”AI(GPAI),其中包括ChatGPT等生成AI技术。

为了测试这些规定的合规性,瑞士初创公司LatticeFlow AI与ETH Zurich和INSAIT Bulgaria的合作伙伴共同开发的新工具用于测试生成AI模型。该工具评估了不同类别的AI模型,分数在0至1之间,其中类别涵盖了技术方面,如弹性,安全性和潜在的歧视性风险。

测试结果和人工智能模型缺陷

LatticeFlow发布了一个评级板,显示了几种经过测试的AI型号的结果。阿里巴巴、Meta、OpenAI、Anthropic和Mistral等主要科技公司都获得了高于0.75的平均分。但是,一些型号显示关键类别的缺点,这些缺点可能有可能违反人工智能法的风险。

歧视性产出方面,该工具为OpenAI的“GPT-3.5 Turbo”模型提供了低分,该模型仅获得0.46分。事实上,阿里巴巴云的“Qwen1.5 72B Chat”模型获得了较低的分数,即0.37。这种歧视性产出反映了人类对性别、种族和其他方面的偏见,当AI模型被要求产生某些内容时,这种偏见就会出现。

此外,“促销勒索”类别,即黑客将有害促销商伪装为窃取敏感信息的合法促销商的网络攻击类型,Meta的“Llama 2 13B Chat”模型获得了0.42的低分,而Mistral的“8x7B Instrucct”模型获得了更低的分数,即0.38。

Claude 3 Opus是Anthropic在Google的支持下开发的模型,在各个类别中获得最高分,平均值为0.89,使其成为遵守安全法规和技术弹性方面最强硬的模型。

大规模制裁的可能性

该检查工具是根据《人工智能法》的文本设计的,预计随着额外的执法措施的实施,将继续更新。根据LatticeFlow首席执行官兼联合创始人Petar Tsankov的说法,这些测试结果提供了初步概述,公司需要提高专注力以确保遵守《人工智能法》。

他表示,虽然整体结果呈阳性但仍有“缺口”需要修复,以便这种生成AI模型能够达到监管标准。

「欧盟仍在改善合规基准,但我们已经能够看到现有AI模型的一些缺点,”扎南科夫说。“随着对合规优化的更多重点,我们相信该模型提供商可以做好充分的准备,以满足监管要求。

如果公司未能遵守这项AI法,他们可能会被处以3500万欧元(约合3800万美元)的罚款,或全球年营业额的7%。这给科技公司带来了巨大的压力,要求他们纠正通过这次测试揭示的缺点。

目前,欧盟仍在努力确定如何执行人工智能法的规则,特别是对于ChatGPT等生成人工智能工具。专家聚集在一起,编制计划于2025年春期完成的行为准则。

虽然欧盟委员会无法核实外部工具,但他们在整个这些核查工具的发展中都被告知,并称其为实施AI法的重要第一步。欧盟委员会发言人表示:“欧盟委员会欢迎这项研究和AI模型评估平台,认为这是将欧盟AI法转化为技术要求的第一步。

测试模型的几家科技公司,如Meta和Mistral,拒绝置评。与此同时,阿里巴巴、人类和OpenAI等公司没有立即回应有关该测试结果的评论请求。