OpenAI 和 Anthropic 推出新的 AI 工具来检测未成年用户

OpenAI和Anthropic宣布了一项新举措,利用人工智能技术识别未成年用户帐户,以加强对青少年用户的保护。这项努力旨在提高青少年在AI平台上的安全性,尽管它仍然引发了有关其准确性和潜在误认的疑问。

迄今为止,数字世界中的年龄验证系统被认为是低效的,因为它通常只依赖于容易操纵的出生日期输入。到2025年,包括谷歌在内的一些大型科技公司开始采取更积极的方法来验证用户的年龄。现在,OpenAI和Anthropic正在采取类似的步骤,使用基于行为和对话分析的方法。

OpenAI宣布,ChatGPT模型的规格将根据18岁以下用户的特殊情况更新,其中一项主要原则将是将青少年安全作为最高优先级,即使这与其他目标相冲突。

此外,OpenAI还将通过引导青少年建立线下社交关系来推动现实世界的支持。在互动中,AI模型也将以热情和尊重的态度对待青少年,而不是以教条的态度对待他们,也不像对待成年人一样对待他们。

这一政策是在据称与AI模型的互动有关的几起严重事件的报告之后出现的,这些事件包括自杀,这些事件经常同意或证实用户的声明而没有批判性判断。

与此同时,Anthropic强调,未满18岁的用户不允许使用Claude模型。该公司现在正在推出一个新系统,该系统能够检测出某些对话信号,表明用户未成年。如果检测到,相关帐户可以自动禁用。

挑战和担忧

尽管人工智能技术被认为是先进的,但观察人士提醒说,该系统并不完美。人工智能仍然容易出错,包括幻觉现象 - 当模型产生错误信息或完全虚构的信息时的情况。此外,AI也曾被用于恶意目的,例如创建恶意软件。

另一个主要担忧是用户识别不正确。类似的经历发生在谷歌今年早些时候推出基于AI的年龄验证系统时。据报道,许多成年用户被错误地检测为未成年人,必须上传身份文件来证明他们的年龄,这被认为是麻烦的。

鉴于这些背景,尽管OpenAI和Anthropic的措施被认为对青少年保护是积极的,但该系统的有效性仍有待测试。这种新方法是否比其前身更准确,更少受到阻碍,还有待证明。