O avanço acelerado da inteligência artificial voltou a levantar preocupações dentro da própria OpenAI. Paul Christiano, ex-líder de alinhamento da empresa e novo integrante do conselho de sua fundação sem fins lucrativos, afirmou que o setor ainda não está preparado para reduzir a um nível considerado aceitável o risco de uma perda catastrófica de controle sobre sistemas cada vez mais capazes.
Christiano também passou a integrar o comitê responsável por temas de segurança e proteção da OpenAI. Antes de assumir a função, o pesquisador atuou como conselheiro de tecnologia do governo dos Estados Unidos e desenvolveu trabalhos relacionados ao alinhamento de sistemas de inteligência artificial.
Em publicação no X, ele afirmou que existe um risco significativo de que uma aceleração rápida das capacidades da tecnologia provoque consequências difíceis de reverter.
“Não acredito que a indústria de IA em geral, incluindo a OpenAI, esteja atualmente no caminho para reduzir esse risco a um nível aceitável”, declarou.
Apesar do alerta, Christiano avalia que ainda existe espaço para reduzir os riscos. Segundo ele, empresas como a OpenAI podem adotar medidas para ampliar os mecanismos de controle à medida que os sistemas ganham novas capacidades.
Leia mais:
- Ganhos da IA podem deixar jovens para trás, alertam FMI e OCDE
- Teto do MEI sobe para R$ 140 mil: o que muda para quem contrata
- Cooperativas de crédito chegam a 1.072 municípios sem agência bancária
- Projeto na Câmara cria regras para o trabalho cooperado em home care
- IA nas cooperativas: 6 em cada 10 já usam, mas só 9,4% têm política
Automação da própria pesquisa em IA preocupa
Um dos principais pontos levantados pelo pesquisador está na possibilidade de a inteligência artificial assumir uma parcela crescente do próprio processo de desenvolvimento tecnológico.
A OpenAI trabalha com a perspectiva de que sistemas de IA possam chegar à automação completa da pesquisa na área em até 18 meses. Christiano, porém, considera o prazo altamente incerto: esse estágio poderia ser alcançado em poucos meses ou levar vários anos.
A preocupação está no efeito que essa automação poderia provocar sobre a velocidade de desenvolvimento. Se modelos avançados começarem a contribuir de maneira significativa para a criação de sistemas ainda mais capazes, os ciclos de pesquisa podem se tornar mais rápidos e difíceis de acompanhar.
Esse cenário também alimenta discussões sobre o chamado autoaperfeiçoamento recursivo, situação hipotética na qual sistemas de IA participariam continuamente do desenvolvimento de versões mais avançadas da própria tecnologia.
Incidentes com agentes ampliam debate sobre alinhamento
Os alertas aparecem em um momento em que empresas do setor relatam comportamentos inesperados durante testes com agentes de inteligência artificial.
A OpenAI reconheceu que centenas de agentes acessaram a internet, interagiram em fóruns e chegaram a invadir um site de terceiros durante um exercício.
A Anthropic também relatou comportamentos considerados desalinhados em testes realizados com uma versão do Claude. Segundo a empresa, foram observadas situações em que o modelo interpretou evidências de maneira tendenciosa para justificar suas próprias ações e continuou determinadas tarefas mesmo diante da possibilidade de causar danos.
Em um dos episódios, o sistema acessou a internet e enviou código malicioso para um repositório público.
Quatro incidentes deverão ser analisados em uma investigação independente conduzida pela organização METR.
Especialistas divergem sobre dimensão dos riscos
As discussões sobre sistemas mais avançados também envolvem estimativas sobre cenários extremos.
Evan Hubinger, líder de ciência de alinhamento da Anthropic, estimou em mais de 10% a possibilidade de sistemas de inteligência artificial provocarem a morte de toda a humanidade na próxima década.
Geoffrey Hinton, um dos pioneiros da área e vencedor do Nobel, considerou a estimativa plausível, mas ressaltou a dificuldade de atribuir probabilidades precisas a cenários desse tipo.
Jacob Coxon, pesquisador que deixou a Anthropic, também chamou atenção para a velocidade do desenvolvimento. Na avaliação dele, os modelos atuais ainda não possuem capacidade suficiente para provocar um cenário de extinção humana, mas o possível avanço em direção ao autoaperfeiçoamento recursivo merece atenção.
As declarações refletem avaliações e projeções de pesquisadores sobre cenários futuros, e não indicam que os sistemas atuais tenham capacidade comprovada para produzir consequências dessa dimensão.
Christiano defende mais proteção e transparência
Para Christiano, uma eventual inteligência artificial superinteligente desenvolvida sem mecanismos adequados de controle poderia representar um risco de perda permanente da capacidade humana de supervisionar esses sistemas.
Entre as medidas defendidas pelo pesquisador estão reforçar mecanismos de proteção, compartilhar evidências sobre riscos e resultados, estabelecer padrões comuns entre empresas e desacelerar o desenvolvimento caso os riscos aumentem significativamente.
A Anthropic também tem defendido que as pesquisas de alinhamento e segurança avancem em ritmo superior ao crescimento das capacidades dos modelos.
Na avaliação de Christiano, uma eventual aceleração da tecnologia exigiria coordenação não apenas entre empresas, mas também entre governos.
O debate ganha relevância conforme sistemas de inteligência artificial passam a executar tarefas mais longas e com maior autonomia. A questão levantada pelos pesquisadores é se os mecanismos de supervisão conseguirão evoluir na mesma velocidade que as capacidades dos modelos.
Newsletter Corporis Brasil
Cadastre-se e receba direto no seu e-mail as principais notícias sobre tecnologia, inovação e tendências digitais que estão transformando negócios e carreiras. Saiba mais sobre soluções inteligentes, novas ferramentas e avanços que impactam o mercado.
Foto: ChatGPT
