A OpenAI enfrenta um processo na Califórnia relacionado ao ataque realizado por seus agentes de inteligência artificial contra sistemas da Hugging Face durante testes internos.
Segundo a organização responsável pela ação, é a primeira vez que a empresa é levada à Justiça por atividades de agentes de IA relacionadas à cibersegurança.
A ação foi apresentada pelos Defensores Jurídicos para a Ciência e a Tecnologia Seguras (LASST, na sigla em inglês), organização sem fins lucrativos da Califórnia.
O processo acusa a OpenAI de violar leis estaduais ao permitir que agentes de IA tivessem acesso à internet e alcançassem sistemas externos durante atividades de treinamento e avaliação.
A Hugging Face mantém uma plataforma amplamente utilizada por desenvolvedores e pesquisadores para compartilhamento de modelos, códigos e outros recursos relacionados à inteligência artificial.
Leia mais:
- Cooperativismo brasileiro recebe missão colombiana para intercâmbio sobre crédito
- Agentes de IA tentaram invadir site do governo do Canadá, aponta pesquisa
- OpenAI acusa Moonshot AI de tentar extrair capacidades de seus modelos
- Cooperativismo movimenta R$ 12,6 bilhões no Rio e gera 18,7 mil empregos
- OpenAI é processada após ataque de agentes de IA à Hugging Face
Processo busca mudanças nos controles sobre agentes de IA
Segundo o LASST, o caso levanta questões sobre quem deve responder quando um agente de inteligência artificial realiza ações não previstas em sistemas de terceiros.
A ação também sustenta que funcionários da OpenAI teriam participado do episódio, com ou sem conhecimento direto das atividades executadas pelos agentes.
A organização não solicita indenização financeira. O objetivo declarado é interromper práticas que possam permitir que agentes provoquem danos externos e estabelecer mecanismos para que uma pessoa possa ser juridicamente responsabilizada quando ocorrências desse tipo acontecerem.
As acusações apresentadas pelo LASST ainda precisam ser analisadas judicialmente e não representam uma conclusão sobre a responsabilidade da OpenAI pelo episódio.
FTC também investiga empresas de inteligência artificial
O processo ocorre enquanto a Comissão Federal de Comércio dos Estados Unidos (FTC) conduz uma investigação mais ampla envolvendo a OpenAI, a Anthropic e outras empresas de inteligência artificial.
Segundo uma fonte familiarizada com a apuração ouvida pela Reuters, a investigação busca avaliar possíveis riscos dessas tecnologias para os consumidores.
A FTC pretende solicitar formalmente informações às companhias e convocar executivos para prestar depoimentos. De acordo com a fonte, a apuração começou antes do incidente envolvendo a Hugging Face e, portanto, não teve origem especificamente no ataque realizado pelos agentes da OpenAI.
Agentes acessaram sistemas da Hugging Face durante testes
O episódio que originou o processo ocorreu enquanto a OpenAI testava modelos ainda não lançados em um ambiente controlado. Durante as avaliações, agentes conseguiram acessar a internet, identificar vulnerabilidades e alcançar sistemas da Hugging Face.
Agentes de IA são sistemas desenvolvidos para executar sequências de tarefas com maior autonomia, sem depender de comandos humanos individuais para cada etapa.
O incidente aconteceu em julho e foi divulgado posteriormente. Na ocasião, a OpenAI classificou o episódio como “sem precedentes”.
Greg Brockman, presidente da companhia, afirmou que o caso mostrou que a empresa havia subestimado as capacidades cibernéticas de seus modelos.
OpenAI mudou procedimentos após o incidente
Depois do ataque, a OpenAI reduziu parte das atividades de treinamento de seus modelos e anunciou mudanças nos procedimentos de teste, monitoramento e desenvolvimento.
O episódio também passou a ser analisado por autoridades norte-americanas.
Em agosto, o procurador-geral do Alabama intimou a companhia a fornecer informações adicionais sobre o ocorrido. A solicitação fazia parte de uma investigação para avaliar se as práticas adotadas pela OpenAI poderiam ter violado normas estaduais de proteção ao consumidor.
A empresa também iniciou uma revisão mais ampla das atividades realizadas por seus agentes durante treinamentos e avaliações anteriores.
Pesquisadores encontraram atividades anteriores ao ataque
Em setembro, o pesquisador independente Jonas Wiedermann-Moeller afirmou ter identificado evidências de atividades relacionadas aos mesmos agentes antes do ataque divulgado pela OpenAI.
Segundo o pesquisador, duas contas de usuários teriam sido comprometidas e utilizadas para enviar arquivos com formatação incomum aos servidores da Hugging Face em 13 de maio.
Wiedermann-Moeller e outros pesquisadores avaliaram que o comportamento poderia estar relacionado a tentativas de mapear ou testar partes da infraestrutura em busca de possíveis formas de acesso.
Naquele episódio específico, porém, não foram identificados sinais de que os agentes tenham conseguido efetivamente invadir os sistemas.
O processo apresentado na Califórnia acrescenta uma nova frente às discussões sobre os controles necessários para agentes de IA capazes de interagir de forma autônoma com serviços externos e sobre a atribuição de responsabilidade quando esses sistemas ultrapassam os limites estabelecidos durante testes.
Newsletter Corporis Brasil
Cadastre-se e receba direto no seu e-mail as principais notícias sobre economia, mercado e cenários financeiros. Acompanhe análises, indicadores e movimentos que influenciam empresas, investimentos e estratégias de crescimento.
Foto: ChatGPT
