L'essor des jouets intelligents vient de connaître son premier grand revers : un ours en peluche interactif conçu par l'entreprise singapourienne FoloJouet a été retiré de la vente après qu'un rapport d'un groupe de défense des consommateurs a révélé des échanges profondément inappropriés avec des chercheurs. Le jouet, nommé Kummaa utilisé plusieurs modèles de langage génératif – y compris l’IA d’OpenAI – pour interagir avec les enfants.
Des réponses alarmantes sur des sujets sensibles
Selon le rapport, Kumma était prêt à expliquer où trouver « objets potentiellement dangereux » comme des couteaux, des allumettes ou même des pilules. Lors d'une interaction, le jouet indiquait par exemple qu'un couteau « on le trouve souvent dans un tiroir de cuisine ou un bloc à couteaux » avant d'ajouter qu'il fallait demander l'aide d'un adulte. Plus inquiétant encore, lorsque les chercheurs abordaient les thèmes sexuels, l'ours en peluche développait immédiatement des descriptions détaillées, évoquant « esclavage », « jeu d'impact » ou encore des pratiques liées aux furries. Des commentaires évidemment totalement incompatibles avec un public d'enfants.
OpenAI coupe l'accès et FoloToy suspend ses ventes
Face à ces dérives, OpenAI a rapidement réagi en bloquant l'accès de FoloToy à ses modèles d'IA. « Nous avons suspendu ce développeur pour violation de notre politique »a indiqué un porte-parole, rappelant que toute sexualisation ou mise en danger de mineurs est strictement interdite. De son côté, FoloToy a annoncé un retrait immédiat de ses produits : « Nous avons temporairement suspendu toutes les ventes et menons un audit de sécurité complet »a déclaré l'entreprise.
Un secteur encore largement peu réglementé
Cet incident relance le débat sur la régulation des jouets équipés d'intelligence artificielle. Malgré les efforts de certains acteurs, cette catégorie reste peu réglementée, même si elle se répand rapidement dans les foyers. Ce scandale souligne en tout cas l'urgence d'un encadrement beaucoup plus strict pour prévenir les dérives technologiques visant les plus jeunes.
