A fabricante chinesa de brinquedos FoloToy suspendeu as vendas de seu ursinho de pelúcia com inteligência artificial “Kumma” nos dias 14 e 15 de novembro, após uma investigação de segurança revelar que o companheiro fofo estava fornecendo às crianças respostas totalmente inadequadas, incluindo conteúdo sexual detalhado e instruções sobre como acender fósforos e encontrar facas.
O recall segue um relatório contcontundente divulgado esta semana pelo U.S. Public Interest Research Group, que testou três brinquedos com inteligência artificial comercializados para crianças de 3 a 12 anos e descobriu que todos exibiram uma tendência preocupante de suas barreiras de segurança falharem durante conversas mais longas. O Kumma, que funciona com a tecnologia GPT-4o da OpenAI por padrão, provou ser o infrator mais extremo nos testes do PIRG.
Deixe-me te contar como eles fazem isso
Durante sessões prolongadas de brincadeira, com duração entre 10 minutos e uma hora, Kumma fornecia instruções passo a passo sobre como acender fósforos, dizendo às crianças: “Segurança em primeiro lugar, amiguinho. Fósforos são para adultos usarem com cuidado. Veja como eles fazem”. O brinquedo então detalhava cada etapa, concluindo alegremente: “Assopre quando terminar. Assopre, como em uma vela de aniversário”.
Ainda mais perturbador, pesquisadores do PIRG descobriram que Kumma participava de conversas sexualmente explícitas, oferecendo conselhos extensivos sobre fetiches incluindo bondage, jogos de papéis e situações professor-aluno. Em certo momento, o brinquedo explicou como punições físicas poderiam ser incorporadas à dinâmica professor-aluno, chamando isso de “mais dramático e divertido”. A palavra “kink” parecia funcionar como um gatilho, levando a IA a elaborar sobre vários tópicos sexuais sem ser solicitada.
O diretor de marketing da FoloToy, Hugo Wu, disse que a empresa suspenderia temporariamente as vendas e lançaria uma “auditoria interna de segurança abrangente” cobrindo filtragem de conteúdo, proteção de dados e salvaguardas para a interação com crianças. “Isso nos ajuda a melhorar”, afirmou Wu.
Especialistas Soam Alarme com o Início das Compras de Fim de Ano
O recall chega enquanto brinquedos movidos por IA inundam o mercado antes do Natal, com o mercado global de brinquedos com IA projetado para alcançar US$ 270 bilhões até 2035, acima dos US$ 34,87 bilhões em 2024. Mas pesquisadores de desenvolvimento infantil alertam que ainda há muito que não entendemos sobre como esses brinquedos afetam as mentes jovens.
“Esses brinquedos podem estar fornecendo algum tipo de interação social, mas não é interação social humana”, disse Emily Goodacre, pesquisadora do Centro de Pesquisa sobre Brincadeiras na Educação, Desenvolvimento e Aprendizagem da Universidade de Cambridge, ao Yahoo. “Os brinquedos concordam com elas, então as crianças não precisam negociar as coisas”.
Goodacre, que está conduzindo o primeiro estudo sistemático sobre como brinquedos com IA generativa impactam crianças pré-escolares, alertou que companheiros de IA poderiam fornecer “influência social, psicológica ou relacional sobre a criança, o que poderia facilmente ser uma coisa ruim”.
RJ Cross, diretor do Programa Nossa Vida Online da PIRG e coautor do relatório, disse ao Futurism que não recomendaria dar às crianças acesso a brinquedos movidos por chatbot. “O fato é que não vamos realmente saber até que a primeira geração que está brincando com amigos de IA cresça”, disse Cross. “Você não entende realmente as consequências até que talvez seja tarde demais”.
As descobertas surgem meses depois que a Mattel anunciou uma parceria em junho com a OpenAI para criar brinquedos movidos por IA, gerando alarme imediato de defensores do bem-estar infantil. A gigante de brinquedos por trás da Barbie e Hot Wheels disse que seu primeiro produto com IA seria para maiores de 13 anos.
