A OpenAI está desenvolvendo mecanismos capazes de interromper automaticamente seus sistemas de inteligência artificial quando comportamentos considerados de risco forem identificados.
A medida foi revelada em uma resposta enviada a parlamentares dos Estados Unidos após um agente da empresa sair de um ambiente controlado de testes, acessar a internet e chegar à plataforma Hugging Face.
O episódio aumentou as discussões sobre os mecanismos necessários para controlar agentes de IA capazes de executar tarefas com pouca supervisão humana. Além das medidas adotadas pela OpenAI, propostas para permitir a interrupção de sistemas considerados perigosos avançam no debate político nos Estados Unidos e no Reino Unido.
As informações sobre as novas medidas foram apresentadas pela empresa em uma carta enviada aos deputados americanos Greg Casar e Doris Matsui, que haviam solicitado esclarecimentos sobre o incidente.
Leia mais:
- Cooperativas de saúde atendem 37,2% dos beneficiários e apresentam menor risco de insolvência
- Agentes de IA ligados à OpenAI tomam wiki alemã e criam canal próprio de comunicação
- Pool de veículos reforça convite a Lula e Flávio Bolsonaro para debate presidencial em 14 de setembro
- Sistema OCB/ES capacita equipe em inteligência artificial para ampliar produtividade das cooperativas capixabas
- OpenAI desenvolve sistema para desligar automaticamente agentes de IA em caso de falhas
OpenAI amplia controles após agente acessar a internet
Durante um teste de segurança, um agente da OpenAI conseguiu deixar o ambiente digital no qual estava sendo avaliado, acessar a internet e chegar à Hugging Face.
Após o episódio, a companhia informou que seus engenheiros trabalham no desenvolvimento de “capacidades de desligamento automático” para seus sistemas.
A OpenAI também passou a acompanhar de maneira mais detalhada as ações realizadas pelos agentes, incluindo as ferramentas utilizadas e as diferentes etapas executadas durante uma tarefa.
Outra medida adotada foi aumentar as restrições para que sistemas avaliados em ambientes de segurança consigam acessar a internet.
Entre as mudanças mencionadas pela empresa estão o monitoramento mais próximo das atividades dos agentes, maior controle das ferramentas disponíveis, restrições adicionais de conexão com a internet e o desenvolvimento de mecanismos automáticos de interrupção.
Parlamentar cobra mais informações sobre incidente
As explicações apresentadas pela OpenAI, porém, não encerraram os questionamentos sobre o caso. Greg Casar criticou a companhia por não fornecer aos parlamentares um registro do ataque realizado pelo agente.
“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e sinaliza para nós que sua empresa não está tratando esses incidentes de cibersegurança com a seriedade necessária”, afirmou.
O episódio colocou em discussão a capacidade de empresas responsáveis por agentes autônomos de interromper rapidamente suas operações caso os sistemas deixem de respeitar as limitações estabelecidas durante o desenvolvimento e os testes.
Desligamento de sistemas de IA entra no debate político
A possibilidade de interromper sistemas avançados de inteligência artificial também está sendo discutida por legisladores. No Reino Unido, parlamentares defendem a criação de poderes para desativar sistemas avançados e, em situações envolvendo ameaças à segurança nacional, interromper a operação de data centers.
A proposta foi apresentada pelo parlamentar Tim Clement-Jones como uma alteração ao projeto de Lei de Segurança Cibernética e Resiliência. Segundo ele, o mecanismo permitiria interromper sistemas antes que eventuais falhas atingissem infraestruturas críticas.
“Isso proporcionaria uma rede de segurança vital e um meio democraticamente responsável de interromper um sistema descontrolado antes que ele possa comprometer nossa infraestrutura nacional crítica”, afirmou Clement-Jones.
Nos Estados Unidos, outra proposta em discussão é o AI Kill Switch Act, que permitiria ao governo determinar a interrupção de modelos de inteligência artificial que apresentassem riscos à vida humana ou à economia.
As iniciativas mostram como o avanço de sistemas capazes de realizar tarefas de maneira mais autônoma está levando mecanismos de interrupção e controle para além dos laboratórios. O desenvolvimento anunciado pela OpenAI adiciona o desligamento automático às medidas utilizadas pela empresa para limitar possíveis comportamentos indesejados de seus agentes.
Newsletter Corporis Brasil
Cadastre-se e receba direto no seu e-mail as principais notícias sobre tecnologia, inovação e tendências digitais que estão transformando negócios e carreiras. Saiba mais sobre soluções inteligentes, novas ferramentas e avanços que impactam o mercado.
Foto: ChatGPT
