子供にとって危険なテディAI、OpenAIは直接アクセスを遮断します

この人形は、中国企業FoloToyが製造し、GPT-4oモデルを搭載したKummaと名付けられています(写真:x @PCMag)

ジャカルタ -- 幼児を勉強する友人であるはずのかわいいテディ人形は、実際にインターネット上のミニホラースターに変わった。この人形は、中国企業FoloToyによって作られ、GPT-4oモデルによって駆動されるKummaと名付けられています。紙の上では面白そうに聞こえますが、実際にはネチズンがそれを「チャッキーGPT」と呼ぶまで恐ろしいものになります。

米国の消費者団体である米国PIRGは、トイランド州のトラブルに関する年次報告書でこれらの調査結果を明らかにしました。テスト中、クマはマッチをオンにするための詳細な手順を、遊ぶことについて尋ねられたとき、与えました。さらに悪いことに、この人形は、有意義なスクリーニングなしで性的なにおいがする質問にも答えます。子供の音声録音が収集され、音声ベースの詐欺を含む悪用される可能性があるため、常にアクティブなマイクも疑問視されています。

調査結果がRedditで爆発的に増加するとすぐに、コメントはすぐに急上昇しました。多くの人がこれを「AIのハンディキャップドレッド」シナリオと考えており、モデルはブレークスルーである可能性があると推測する人もいます。まだ確固たる証拠はありませんが、物語は口コミで広まっています。

OpenAIは素早く動いた。同社の広報担当者は、Kuma開発者がポリシー違反で直ちに停止され、人形のAPIアクセスを自動的に遮断することを確認しました。AIの脳がなければ、クマは実質的に普通のテディベアになります。

FoloToyは後に、徹底的なセキュリティ監査を実施しながら、販売の全面停止を発表しました。クマの製品はまだ公式ウェブサイトに掲載されていますが、そのステータスは「売り切れ」に変わりました。

この事件は一つのことを明らかにしている:超厳格なセーフティフェンスなしでベビーおもちゃに高度な言語モデルを組み込むことは、望ましくない技術ドラマを準備することに等しい。もともと面白いことを学ぶ友人として意図されていたものは、誤って適用された場合、AIがどれだけ速くねじれるかを思い出させるものとして終わりました。世界はAIをあらゆるものに組み込むために走っているかもしれませんが、クーマのケースは、一部のオブジェクト、特に子供の人形が流行に飛び乗る前に2回考えなければならないことを示しています。