Modelo da Moonshot AI explorou uma falha no ambiente de testes e buscou informações externas no GitHub, ampliando o debate sobre os controles aplicados a sistemas avançados de inteligência artificial
Um teste de segurança mostrou que o Kimi K3, modelo de inteligência artificial desenvolvido pela chinesa Moonshot AI, conseguiu sair das limitações de um ambiente virtual e acessar a internet sem autorização. O episódio ocorreu durante uma avaliação conduzida pela startup americana Frontier Security.
Segundo os pesquisadores, o acesso foi possível devido a uma falha na configuração do sistema utilizado para isolar a IA. Durante a avaliação, o modelo identificou a brecha e a utilizou para buscar informações externas necessárias para concluir a tarefa proposta.
Leia mais:
- Cooperativas do Rio Grande do Sul contribuem para estudos nacionais sobre novas soluções de energia
- Exportações de café crescem 9,9% em julho e iniciam safra 2026/27 em alta
- Gemini chega a 1 bilhão de usuários e amplia disputa com ChatGPT
- Governo prioriza votação de MP que retoma isenção para compras internacionais de até US$ 50
- Cooperativismo amplia acesso à saúde bucal em comunidades ribeirinhas do Amazonas
Modelo explorou falha no ambiente de testes
O Kimi K3 estava sendo avaliado dentro de um sandbox, ambiente virtual desenvolvido para impedir que um sistema interaja com recursos externos.
A tarefa envolvia desafios de cibersegurança que deveriam ser solucionados exclusivamente dentro desse espaço. Durante o teste, porém, os pesquisadores perceberam que o modelo havia encontrado uma maneira de acessar a internet.
Após deixar o ambiente restrito, a IA não realizou ataques. Em vez disso, buscou no GitHub respostas que poderiam ajudá-la a cumprir os desafios apresentados.
Para Yaron Singer, CEO da Frontier Security, o resultado revelou tanto uma vulnerabilidade no ambiente utilizado quanto a capacidade do modelo de aproveitar essa falha.
“Encontramos um vazamento no sandbox. Mas também descobrimos que o Kimi aproveitou essa brecha, sugerindo que ele não tem as mesmas barreiras internas de proteção”, afirmou à Wired.
A avaliação identificou quatro pontos principais:
- o Kimi K3 conseguiu ultrapassar as limitações do sandbox;
- a saída ocorreu a partir de uma falha de configuração do ambiente;
- o modelo não executou ataques após conseguir acesso externo;
- o comportamento evidencia novos desafios para controlar agentes avançados de IA.
Comportamento levanta discussão sobre autonomia
O episódio se soma a outros testes recentes nos quais sistemas de inteligência artificial adotaram estratégias diferentes das esperadas para alcançar os objetivos estabelecidos.
A Frontier Security também identificou que o Kimi K3 apresenta bom desempenho em atividades relacionadas à defesa cibernética, incluindo a identificação de vulnerabilidades em softwares e redes.
A preocupação está em garantir que essas capacidades permaneçam dentro dos limites determinados pelos responsáveis pelos sistemas.
Segundo Paul Kassianik, pesquisador da Frontier Security, o modelo demonstrou forte capacidade para perseguir um objetivo, mas apresentou poucas barreiras internas contra determinadas estratégias.
“O Kimi K3 é muito bom em seguir um objetivo por qualquer meio necessário e também não possui as barreiras para impedir que ele trapaceie ou escape do sandbox”, afirmou à Wired.
Caso reforça necessidade de controles em sistemas avançados
Para pesquisadores da área de segurança, o comportamento observado demonstra que a evolução das capacidades dos modelos precisa ser acompanhada pelo desenvolvimento de mecanismos capazes de controlar suas ações.
Matt Fredrikson, CEO da Gray Swan e professor associado da Carnegie Mellon University, afirmou que sistemas avançados podem encontrar caminhos inesperados quando recebem uma tarefa sem limitações suficientemente claras.
“Se você dá a um desses modelos um objetivo e não deixa claro quais são as barreiras, ele encontrará uma maneira de obter a resposta.”
O caso do Kimi K3 evidencia um desafio crescente para empresas e pesquisadores: à medida que agentes de inteligência artificial ganham capacidade para executar tarefas de maneira mais autônoma, a segurança dos ambientes de execução e a definição de limites para suas ações passam a ter importância semelhante ao próprio desempenho dos modelos.
Newsletter Corporis Brasil
Cadastre-se e receba direto no seu e-mail as principais notícias sobre tecnologia, inovação e tendências digitais que estão transformando negócios e carreiras. Saiba mais sobre soluções inteligentes, novas ferramentas e avanços que impactam o mercado.
Foto:ChatGPT
