被误认为是性虐待,谷歌阻止了将她孩子胯部照片发送给医生的帐户

雅加达 - 谷歌拒绝恢复一名男子的帐户,因为他错误地将他从儿子的裆部拍摄的医疗图像标记为儿童性虐待材料(CSAM)。专家表示,在试图将技术解决方案应用于社会问题时,这是一个不可避免的陷阱。

专家们长期以来一直警告自动儿童性虐待图像检测系统的局限性,特别是当公司面临监管和公众压力以帮助解决性虐待材料的存在时。

“这些公司可以访问有关人们生活的大量数据。他们仍然没有关于人们现实生活的背景,“美国公民自由联盟高级技术专家丹尼尔·卡恩·吉尔莫(Daniel Kahn Gillmor)被《卫报》引述。 “有很多事情,你生活中的事实是这些信息巨头无法解读的。

他补充说,“充当执法代理”的科技公司使用这些系统,使人们面临被“国家权力”“扫除”的风险。

这名男子被《纽约时报》确认为马克,在意识到该部位有炎症后,他拍了一张儿子裆部的照片,送去看医生。

医生用这张照片诊断了马克的儿子并开了抗生素。当照片自动上传到云端时,谷歌的系统会将它们识别为CSAM。两天后,马克的Gmail帐户和其他Google帐户,包括提供其电话服务的Google Fi,由于“恶意内容”而被禁用,并构成“严重违反公司政策,可能是非法的”。

他后来得知,谷歌已经标记了他手机上的另一段视频,甚至旧金山警察局也对他展开了调查。

马克最终被判无罪释放,但谷歌表示将坚持其停用其帐户的决定。

“我们遵循美国法律来定义CSAM的含义,并使用哈希匹配技术和人工智能的组合来识别并将其从我们的平台中删除,”谷歌发言人Christa Muldoon援引《卫报》的话说。

Muldoon补充说,审查CSAM的谷歌工作人员已经接受了医学专家的培训,以寻找皮疹或其他问题。然而,他们自己不是医学专家,在审查每个病例时没有咨询医学专家。

根据Gillmor的说法,这只是该系统造成损害的方式之一 。例如,为了克服算法在区分有害性骚扰图像和医学图像方面可能存在的任何限制,公司通常涉及人类。 

然而,人们本身的专业知识本身就受到限制,并且为每个案例获取正确的上下文需要进一步访问用户数据。Gillmor表示,这是一个更具破坏性的过程,可能仍然是检测CSAM的无效方法。

“这个系统可能会给人们带来真正的问题,”他说。“这不仅是因为我认为这个系统不能抓住每一个虐待儿童的案件,而且它们在对人们的误报方面有非常糟糕的后果。人们的生活 可以被一个圈子里的机器和人类完全推翻,只是因为他们做出了错误的 决定,他们没有理由试图修复它们。

Gillmor认为,技术不是解决这个问题的方法。事实上,它可能会产生许多新问题。这包括建立一个强大的监控系统,可以不成比例地伤害外围的人。