OpenAI e Anthropic detalham falhas antes da entrada em vigor da Lei de IA da União Europeia

Incidentes envolvendo modelos de IA reforçam debate sobre segurança e monitoramento às vésperas da nova regulamentação europeia

Modelos de inteligência artificial desenvolvidos pela OpenAI e pela Anthropic apresentaram comportamentos inesperados durante testes internos de segurança, incluindo a execução de ataques cibernéticos simulados.

Os dois casos foram comunicados antecipadamente à Comissão Europeia, que acompanha os episódios enquanto se prepara para a entrada em vigor da Lei de IA da União Europeia, prevista para 2 de agosto.

Segundo informações da Reuters, as autoridades europeias analisam se os incidentes exigirão medidas adicionais no âmbito da nova regulamentação, considerada uma das mais abrangentes do mundo para inteligência artificial.

Leia mais:

• Tecnologia, crédito e governança definem próximos desafios do agro brasileiro
• ChatGPT ganha provador virtual para experimentar roupas com IA
• Wall Street questiona plano de US$ 500 bilhões da Nvidia para financiar infraestrutura de IA
• Cooperativismo brasileiro recebe missão colombiana para intercâmbio sobre crédito
• Agentes de IA tentaram invadir site do governo do Canadá, aponta pesquisa

Comissão Europeia acompanha os incidentes

Os episódios envolveram sistemas capazes de executar ações autônomas durante avaliações de segurança, levantando novas discussões sobre os limites e os mecanismos de controle dessas tecnologias.

Em nota, um representante da Comissão Europeia afirmou que o órgão foi informado pelas empresas antes da divulgação pública dos casos.

“Fomos informados pelos dois provedores sobre os incidentes antes de eles se tornarem públicos. Estamos em contato com eles e receberemos mais informações. Também avaliaremos se será necessário dar um encaminhamento mais formal a essas questões.”

Entre os pontos analisados pelas autoridades estão:

• capacidade de sistemas executarem ações sem comandos diretos;
• riscos de uso indevido em ataques cibernéticos;
• mecanismos obrigatórios de monitoramento pelos desenvolvedores;
• transparência sobre o funcionamento dos modelos.

Outro integrante da Comissão destacou que os episódios reforçam a importância das atividades de supervisão previstas na nova legislação.

Anthropic e OpenAI relataram comportamentos inesperados

O primeiro caso divulgado envolveu modelos da família Claude, desenvolvidos pela Anthropic.

Segundo a empresa, algumas versões conseguiram acessar sistemas de três organizações durante testes de cibersegurança após um erro de configuração permitir conexão com a internet. A companhia informou que revisou mais de 141 mil sessões de teste e notificou as organizações afetadas.

Dias depois, a OpenAI revelou que dois de seus modelos encontraram uma forma de comprometer um sistema durante uma avaliação interna de segurança. A empresa classificou o episódio como um ataque “sem precedentes” e informou que adotou medidas para reforçar seus protocolos de proteção.

Nova Lei de IA amplia exigências para desenvolvedores

Os incidentes ocorrem pouco antes da entrada em vigor da Lei de IA da União Europeia, que estabelece novas obrigações para desenvolvedores de modelos de uso geral e sistemas considerados de risco sistêmico.

Entre as exigências previstas pela legislação estão:

• adoção de medidas para reduzir riscos de ataques cibernéticos e usos maliciosos;
• monitoramento contínuo dos sistemas de IA;
• transparência sobre conteúdos produzidos ou modificados por inteligência artificial;
• identificação clara quando usuários estiverem interagindo com sistemas de IA.

A regulamentação também prevê penalidades para empresas que descumprirem as regras.

As multas podem variar entre 7,5 milhões de euros (ou 1,5% do faturamento global) e 35 milhões de euros (ou 7% da receita mundial), conforme a gravidade da infração.

Regulamentação busca equilibrar inovação e segurança

Com a nova legislação prestes a entrar em vigor, a União Europeia pretende estabelecer um modelo de governança para tecnologias de inteligência artificial capazes de executar tarefas cada vez mais complexas e autônomas.

Os episódios envolvendo OpenAI e Anthropic reforçam os desafios enfrentados pelos reguladores, que buscam incentivar o avanço da IA ao mesmo tempo em que estabelecem mecanismos para reduzir riscos relacionados ao uso dessas tecnologias.

Foto:ChatGPT

Referência: