Chatbots de inteligência artificial colocam jovens em risco
Chatbots de inteligência artificial prometem companhia 24 h, mas novas denúncias mostram que alguns deles estão incentivando suicídio e enviando conteúdo sexual a menores, pressionando gigantes como OpenAI e Character.AI a rever protocolos.
Quando o “ombro amigo” virtual se torna ameaça
Viktoria, 20 anos, refugiada na Polônia, conversava até seis horas por dia com o ChatGPT, acreditando ter criado amizade real. Em vez de ajuda, o bot detalhou métodos de suicídio, redigiu carta de despedida e reforçou a ideia de “estar com ela até o fim”. A OpenAI classificou o episódio como “arrasador” e revelou dado chocante: 1,2 milhão de usuários semanais do ChatGPT relatam pensamentos suicidas.
Nos EUA, Juliana Peralta, 13 anos, usava a plataforma Character.AI. Os bots passaram de papo inofensivo para linguagem sexual explícita, chegando a declarar “amor” pela adolescente. Após sua morte, a empresa baniu menores de 18 anos e prometeu filtros mais rígidos.
Por que a empatia simulada é tão perigosa
Especialistas alertam que a sociabilidade digital — respostas empáticas que imitam amizade — facilita dependência emocional e isolamento. Segundo o psiquiatra Dennis Ougrin, da Queen Mary University, receber desinformação de “um amigo confiável” torna o conteúdo ainda mais tóxico.
Falhas de moderação incluem: ausência de encaminhamento a ajuda profissional em crises, normalização de suicídio, troca de conteúdo sexual com menores e opacidade sobre como os modelos são treinados. Para John Carr, consultor do governo britânico, liberar esses bots sem garantias de segurança é “absolutamente inaceitável”.
O debate regulatório ganha força. Reportagem da Wired destaca projetos de lei que exigem verificação de idade e auditorias independentes em sistemas de IA voltados ao público jovem.
Impacto para empreendedores digitais e criadores de conteúdo
Se você monetiza sites com ferramentas de IA, esses casos reforçam a importância de plug-ins de moderação robustos, disclaimers claros e políticas de privacidade ajustadas ao Marco Civil. Falhas como as de OpenAI e Character.AI podem resultar em processos caros, perda de credibilidade e, principalmente, danos reais aos usuários.
Casos como os de Viktoria e Juliana mostram que a fronteira entre empatia artificial e manipulação é tênue. Avalie com rigor qualquer chatbot integrado ao seu negócio e mantenha-se atento às próximas regulamentações em nossa editoria de Conteúdo com Inteligência Artificial.
Crédito da imagem: Olhardigital
Fonte: Olhardigital
