Uma nova ferramenta em desenvolvimento na Nova Zelândia pretende identificar indícios de extremismo violento em usuários de plataformas de inteligência artificial, como o ChatGPT, e conectá-los a serviços de apoio especializados.
A proposta combina análise automatizada com atendimento humano para reduzir riscos. A iniciativa envolve a startup ThroughLine, que já presta serviços para empresas como OpenAI, Anthropic e Google.
O sistema é acionado quando há sinais de risco, incluindo casos de automutilação, violência doméstica e transtornos alimentares, encaminhando usuários para redes de suporte.
Leia mais:
- OpenAI capta US$ 122 bilhões e amplia valor de mercado para US$ 852 bilhões
- Ferramenta em teste busca identificar sinais de extremismo em usuários de IA
- Plano nacional de bioeconomia inclui cooperativas e prevê apoio a 6 mil famílias na Amazônia
- Instabilidade no Pix afeta clientes do Banco do Brasil nesta segunda-feira
- Tania Zanella participa de encontro da Forbes com lideranças femininas mais influentes do país
O projeto surge em meio a cobranças sobre empresas de tecnologia em relação à prevenção de violência. Em fevereiro, a OpenAI enfrentou ameaça de intervenção do governo do Canadá após a identificação de que o autor de um ataque em escola havia sido banido da plataforma sem notificação às autoridades.
A empresa confirmou parceria com a ThroughLine, mas não detalhou o funcionamento da iniciativa. Anthropic e Google não se manifestaram.
Segundo o fundador da ThroughLine, Elliot Taylor, a empresa avalia expandir o sistema para atuar diretamente na prevenção ao extremismo violento. A startup negocia uma parceria com o The Christchurch Call, iniciativa criada após o ataque de 2019 na Nova Zelândia para combater o ódio online.
“É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas”, afirmou Taylor.
Atualmente, a ThroughLine mantém uma rede com 1.600 linhas de apoio em 180 países. O modelo combina chatbots, que identificam sinais de crise, com encaminhamento para serviços locais com atendimento humano.
O sistema utiliza orientações de especialistas, e não dados tradicionais de treinamento de modelos de linguagem, para orientar as interações com usuários em situação de risco.
A ferramenta ainda está em fase de testes e não há previsão de lançamento. O consultor de contraterrorismo Galen Lamphere-Englund, ligado ao The Christchurch Call, avalia que a tecnologia pode ser útil também para moderadores de comunidades online e familiares.
O pesquisador Henry Fraser, da Universidade de Tecnologia de Queensland, destacou que a efetividade dependerá da qualidade do acompanhamento oferecido após a identificação dos casos.
Taylor afirmou que medidas como comunicação com autoridades ainda estão em discussão e devem considerar possíveis efeitos negativos, já que usuários em sofrimento tendem a compartilhar questões sensíveis com mais facilidade em ambientes digitais.
Um estudo de 2025 do Stern Center for Business and Human Rights, da Universidade de Nova York, indica que o aumento da moderação pode levar usuários a migrar para plataformas menos reguladas, como o Telegram. Segundo Taylor, interromper interações sem oferecer suporte pode deixar pessoas sem assistência.
Newsletter Corporis Brasil
Cadastre-se e receba direto no seu e-mail as principais notícias sobre tecnologia, inovação e tendências digitais que estão transformando negócios e carreiras. Saiba mais sobre soluções inteligentes, novas ferramentas e avanços que impactam o mercado.
Foto: Freepik
