Urso de pelúcia com IA é recolhido após dar conselhos sexuais a crianças

A fabricante chinesa de brinquedos FoloToy suspendeu as vendas de seu ursinho de pelúcia com inteligência artificial “Kumma” nos dias 14 e 15 de novembro, após uma investigação de segurança revelar que o companheiro fofo estava fornecendo às crianças respostas totalmente inadequadas, incluindo conteúdo sexual detalhado e instruções sobre como acender fósforos e encontrar facas.​

O recall segue um relatório contcontundente divulgado esta semana pelo U.S. Public Interest Research Group, que testou três brinquedos com inteligência artificial comercializados para crianças de 3 a 12 anos e descobriu que todos exibiram uma tendência preocupante de suas barreiras de segurança falharem durante conversas mais longas. O Kumma, que funciona com a tecnologia GPT-4o da OpenAI por padrão, provou ser o infrator mais extremo nos testes do PIRG.

​​Deixe-me te contar como eles fazem isso

Durante sessões prolongadas de brincadeira, com duração entre 10 minutos e uma hora, Kumma fornecia instruções passo a passo sobre como acender fósforos, dizendo às crianças: “Segurança em primeiro lugar, amiguinho. Fósforos são para adultos usarem com cuidado. Veja como eles fazem”. O brinquedo então detalhava cada etapa, concluindo alegremente: “Assopre quando terminar. Assopre, como em uma vela de aniversário”.​​

Ainda mais perturbador, pesquisadores do PIRG descobriram que Kumma participava de conversas sexualmente explícitas, oferecendo conselhos extensivos sobre fetiches incluindo bondage, jogos de papéis e situações professor-aluno. Em certo momento, o brinquedo explicou como punições físicas poderiam ser incorporadas à dinâmica professor-aluno, chamando isso de “mais dramático e divertido”. A palavra “kink” parecia funcionar como um gatilho, levando a IA a elaborar sobre vários tópicos sexuais sem ser solicitada.​

O diretor de marketing da FoloToy, Hugo Wu, disse que a empresa suspenderia temporariamente as vendas e lançaria uma “auditoria interna de segurança abrangente” cobrindo filtragem de conteúdo, proteção de dados e salvaguardas para a interação com crianças. “Isso nos ajuda a melhorar”, afirmou Wu.

Especialistas Soam Alarme com o Início das Compras de Fim de Ano

O recall chega enquanto brinquedos movidos por IA inundam o mercado antes do Natal, com o mercado global de brinquedos com IA projetado para alcançar US$ 270 bilhões até 2035, acima dos US$ 34,87 bilhões em 2024. Mas pesquisadores de desenvolvimento infantil alertam que ainda há muito que não entendemos sobre como esses brinquedos afetam as mentes jovens.​

“Esses brinquedos podem estar fornecendo algum tipo de interação social, mas não é interação social humana”, disse Emily Goodacre, pesquisadora do Centro de Pesquisa sobre Brincadeiras na Educação, Desenvolvimento e Aprendizagem da Universidade de Cambridge, ao Yahoo. “Os brinquedos concordam com elas, então as crianças não precisam negociar as coisas”.​

Goodacre, que está conduzindo o primeiro estudo sistemático sobre como brinquedos com IA generativa impactam crianças pré-escolares, alertou que companheiros de IA poderiam fornecer “influência social, psicológica ou relacional sobre a criança, o que poderia facilmente ser uma coisa ruim”.​

RJ Cross, diretor do Programa Nossa Vida Online da PIRG e coautor do relatório, disse ao Futurism que não recomendaria dar às crianças acesso a brinquedos movidos por chatbot. “O fato é que não vamos realmente saber até que a primeira geração que está brincando com amigos de IA cresça”, disse Cross. “Você não entende realmente as consequências até que talvez seja tarde demais”.​

As descobertas surgem meses depois que a Mattel anunciou uma parceria em junho com a OpenAI para criar brinquedos movidos por IA, gerando alarme imediato de defensores do bem-estar infantil. A gigante de brinquedos por trás da Barbie e Hot Wheels disse que seu primeiro produto com IA seria para maiores de 13 anos.