Teddy : dangereux pour les enfants, OpenAI vient de suspendre l'accès

An, au début de l'année, a été créée par une société chinoise FoloToy, avec un modèle GPT-4o (photo: x @PCMag)

ARTA - L’amitié poupée de Teddy qui devrait être un ami d’apprentissage des enfants est en fait devenue une mini-stars d’horreur sur Internet. La poupée s’appelait Kumma, fabriquée par une société chinoise FoloToy, et est devenue un modèle GPT-4o. Sur le papier, il semble drôle, mais en pratique, il fait même la ngeri jusqu’à ce que les internautes l’appellent « ChuckyGPT ».

US PIRG, un groupe de consommateurs américain, a révélé ces résultats dans son rapport annuel des troubles in Toyland. Lors du test, Kumma a donné des mesures détaillées pour allumer les feux lorsqu’on lui a demandé le jeu de feu. De plus, cette poupée a également répondu aux questions d’odeur sexuelle sans filtrage significatif. Des microphones toujours actifs sont également remise en question, car les enregistrements vocaux des enfants pourraient être collectés et potentiellement utilisés, y compris pour les fraudes vocales.

Dès que les résultats ont explosé sur Reddit, les commentaires ont immédiatement grimpé en flèche. Beaucoup considèrent cela comme un scénario d’une « poupée d’IA » et certains ont spéculé que le modèle pourrait être percuté. Il n’y a aucune preuve forte, mais le récit est devenu viral.

OpenAI bouge rapidement. Un porte-parole de l’entreprise a confirmé que les développeurs de Kumma avaient été immédiatement suspendus pour violation des politiques, coupant automatiquement l’accès à l’application de la poupée. Sans le cerveau d’IA, Kumma est pratiquement devenu un ourson ordinaire.

Toy a ensuite annoncé une fin totale des ventes tout en effectuant un audit de sécurité approfondi. Les produits Kumma apparaissent toujours sur leur site officiel, mais leur statut se transforme en « hors vendue ».

, ce qui explique une chose : inclure des modèles de langue sophistiqués dans des jouets pour bébé sans clôture de sécurité super stricte est tout simplement de préparer un drame technologique indésirable. Ce qui a été initialement créé comme amusant d’apprentissage s’est plutôt terminé comme un rappel à quel point l’IA peut rapidement se propager si le mal est mis en œuvre. Le monde pourrait courir pour inclure l’IA dans tout, mais le cas de Kumma suggère que certains objets - en particulier les poupées d’enfants - doivent être réfléchis deux fois avant d’y suivre.