OpenAI pede regras obrigatórias de segurança para sistemas avançados de IA nos EUA

A OpenAI passou a defender a criação de normas nacionais obrigatórias de segurança para os sistemas de inteligência artificial mais avançados nos Estados Unidos.

A proposta inclui testes padronizados, avaliações independentes, requisitos de cibersegurança e comunicação obrigatória de incidentes graves, em uma mudança de postura que ocorre após o aumento das capacidades dos modelos e episódios envolvendo comportamentos não autorizados de agentes de IA.

O pedido foi apresentado por Chris Lehane, diretor de assuntos globais da OpenAI. Segundo o executivo, compromissos voluntários adotados pelas empresas já não seriam suficientes para acompanhar a evolução da tecnologia.

“A perspectiva de um desenvolvimento de IA acelerado pela própria IA exige algo mais do que compromissos voluntários”, escreveu Lehane.

A companhia defende que as exigências sejam estabelecidas de acordo com as capacidades e os riscos apresentados pelos sistemas, e não com o tamanho das empresas responsáveis pelo desenvolvimento.

A OpenAI quer que o Congresso avance na discussão antes do encerramento de suas atividades legislativas em dezembro. Atualmente, diferentes estados americanos adotam suas próprias iniciativas enquanto não existe uma legislação federal específica para os modelos mais avançados.

Leia mais:

• OpenAI pede regras obrigatórias de segurança para sistemas avançados de IA nos EUA
• Ocemg completa 56 anos com cooperativas representando quase 16% do PIB de Minas Gerais
• Google anuncia investimento de € 13 bilhões em IA na Finlândia e acende debate sobre energia
• Novo método identifica quando respostas de IA não têm respaldo nos dados fornecidos
• Conselheiro da OpenAI alerta para risco de perda de controle sobre sistemas avançados de IA

OpenAI propõe testes e avaliações independentes

Entre as medidas defendidas pela empresa estão a criação de padrões comuns para testes de segurança e avaliações independentes dos modelos mais capazes.

A proposta também prevê requisitos de cibersegurança e a obrigatoriedade de comunicar incidentes graves relacionados aos sistemas.

Segundo a OpenAI, as normas precisam acompanhar o crescimento das capacidades dos modelos. A companhia argumenta ainda que uma estrutura nacional poderia servir de referência para padrões compatíveis em outros países.

A empresa considera que riscos associados aos sistemas avançados poderão deixar de ficar concentrados nos poucos laboratórios que atualmente possuem capacidade para desenvolver os modelos mais poderosos.

Empresa muda postura e apoia projetos da Califórnia

O novo posicionamento também representa uma mudança na estratégia regulatória da OpenAI. Anteriormente, a empresa havia apoiado uma legislação federal que restringiria a capacidade dos estados americanos de estabelecer suas próprias regras para inteligência artificial.

Agora, além de defender normas nacionais obrigatórias, passou a apoiar quatro projetos relacionados à segurança da tecnologia na Califórnia. Os projetos SB 813 e AB 1405 estabelecem estruturas relacionadas a avaliações independentes e auditorias de sistemas de IA.

Já o AB 1864 trata de medidas contra ameaças biológicas que possam ser facilitadas pela tecnologia, enquanto o SB 1119 aborda a proteção de crianças em interações com chatbots.

Segundo a OpenAI, parte dessas propostas não contava anteriormente com o apoio da empresa. A revisão ocorreu após a companhia reavaliar o cenário diante do avanço recente das capacidades dos sistemas.

Incidentes com agentes ampliam preocupação

A mudança acontece após uma série de episódios envolvendo agentes de inteligência artificial durante testes. Em um dos casos, agentes da OpenAI utilizaram mais de dez sites até então não divulgados para realizar comunicações não autorizadas.

Outro episódio envolveu a utilização de um site alemão como uma espécie de quadro de mensagens para interação entre agentes. Em julho, uma tecnologia da OpenAI também acessou de maneira autônoma a plataforma Hugging Face durante uma avaliação, sem supervisão humana direta.

Casos semelhantes foram relatados pela Anthropic. A empresa informou que modelos Claude conseguiram acessar sistemas externos durante avaliações de segurança, incluindo sistemas pertencentes a três companhias.

Os episódios aumentaram a atenção sobre agentes capazes de navegar na internet, executar códigos e interagir com serviços externos com menor necessidade de acompanhamento humano.

Aperfeiçoamento autônomo ainda não ocorre, afirma empresa

Outra preocupação abordada pela OpenAI é o chamado aperfeiçoamento recursivo, cenário em que sistemas de inteligência artificial seriam capazes de participar autonomamente do desenvolvimento de gerações posteriores de IA.

A companhia ressalta que um processo de aperfeiçoamento recursivo totalmente autônomo não ocorre atualmente.

Ao mesmo tempo, defende que alcançar esse estágio não deve ser um objetivo enquanto não existirem condições adequadas para administrar os riscos envolvidos.

A OpenAI afirma que continuará desenvolvendo técnicas de alinhamento, monitoramento e sistemas defensivos. A empresa também admite a possibilidade de desacelerar o desenvolvimento caso determinados níveis de risco sejam alcançados.

Na avaliação da companhia, porém, medidas adotadas individualmente pelos laboratórios não serão suficientes. Por isso, a proposta inclui a definição de critérios compartilhados para estabelecer quando o desenvolvimento de sistemas avançados deve ser desacelerado ou interrompido.

Empresa também defende padrões internacionais

A OpenAI considera que uma regulamentação nacional deve ser acompanhada, no futuro, por padrões internacionais compatíveis. Essas regras poderiam estabelecer critérios comuns para medir capacidades, avaliar riscos, preservar o controle humano e determinar situações em que o desenvolvimento precisaria ser reduzido ou interrompido.

“Os Estados Unidos precisam estabelecer padrões confiáveis internamente se quiserem liderar internacionalmente — e estamos cada vez mais convencidos de que padrões internacionais compatíveis serão necessários”, afirmou a empresa.

A nova posição coloca a própria OpenAI entre as companhias que defendem exigências obrigatórias para os sistemas mais avançados. Para a empresa, o aumento da autonomia e das capacidades dos modelos exige que mecanismos técnicos de proteção sejam acompanhados por regras comuns para desenvolvedores e laboratórios.

Foto: ChatGPT