OpenAI 称人工智能泰迪熊对儿童有害，并直接关闭了这款产品

这个娃娃叫 Kumma，由中国公司 FoloToy 制造，并由 GPT-4o 模型驱动（图片：x @PCMag）

雅加达——原本是儿童学习伙伴的可爱泰迪熊，却成了互联网上的一颗迷你恐怖之星。这款名为 Kumma 的泰迪熊由中国公司 FoloToy 制造，并由 GPT-4o 模型驱动。在纸面上听起来很搞笑，但实际上却让人感到可怕，以至于网民们称它为“ChuckyGPT”。

美国消费者组织 PIRG 在其年度报告《玩具业的麻烦》中揭露了这一发现。在测试中，Kumma 在被问及玩火时会采取哪些措施时，详细介绍了点火的方法。更糟糕的是，这个娃娃还回答了带有色情意味的问题，而没有进行任何过滤。它还被指控有一个不安全的麦克风，可能会收集儿童的声音，并可能被滥用，包括语音欺诈。

当 Reddit 上发现这一发现时，评论立即飙升。许多人认为这是“人工智能附身”的场景，有些人推测模型可能被越狱。虽然没有确凿的证据，但这个故事很快就被病毒式传播。

OpenAI 迅速采取行动。该公司发言人确认，Kumma 的开发者因违反政策而被立即停权，自动切断了该木偶的 API 访问权限。没有 AI 脑，Kumma 实际上就是一个普通的泰迪熊。

随后，FoloToy宣布全面停售，并进行全面安全审核。Kumma的产品仍然出现在他们的官方网站上，但状态变成了“已售罄”。

这一事件说明了一点：在没有严格的安全措施的情况下，将复杂的语言模型放入婴儿玩具中，就等于在制造一场无用的技术戏剧。原本是作为有趣学习伙伴的 AI，最终却提醒了我们，如果使用不当，AI 的发展速度会很快。世界可能正在迅速将 AI 融入到各种事物中，但 Kumma 的案例表明，有些东西——尤其是儿童玩偶——在加入之前需要三思。