Novo método identifica quando respostas de IA não têm respaldo nos dados fornecidos

Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank desenvolveram uma técnica capaz de identificar possíveis alucinações em respostas produzidas por grandes modelos de linguagem. Batizado de TOHA, o método analisa o funcionamento interno da IA para verificar se o conteúdo gerado está sustentado pelas informações de referência ou se apresenta dados sem respaldo.

A técnica, cujo nome vem de Topology-based Hallucination Detector, foi apresentada em um artigo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional. O método também foi incorporado ao SIRIN, biblioteca de código aberto desenvolvida pelos pesquisadores do Sberbank.

As chamadas alucinações ocorrem quando modelos de inteligência artificial produzem informações incorretas ou inventadas e as apresentam como respostas confiáveis. O problema permanece como um dos principais obstáculos para o uso da tecnologia em atividades que exigem precisão.

Esse risco também está presente em sistemas que utilizam geração aumentada por recuperação (RAG). Nessa abordagem, documentos, bancos de dados ou outras fontes são fornecidos ao modelo antes da geração da resposta. Mesmo assim, a IA ainda pode produzir afirmações que não estão presentes no material consultado.

Leia mais:

• OpenAI pede regras obrigatórias de segurança para sistemas avançados de IA nos EUA
• Ocemg completa 56 anos com cooperativas representando quase 16% do PIB de Minas Gerais
• Google anuncia investimento de € 13 bilhões em IA na Finlândia e acende debate sobre energia
• Novo método identifica quando respostas de IA não têm respaldo nos dados fornecidos
• Conselheiro da OpenAI alerta para risco de perda de controle sobre sistemas avançados de IA

TOHA analisa o funcionamento interno dos modelos

Em vez de utilizar outro modelo de inteligência artificial para avaliar se uma resposta está correta, o TOHA procura sinais de alucinação dentro do próprio sistema responsável pela geração do conteúdo.

Os pesquisadores analisam as chamadas matrizes de atenção, mecanismos utilizados pelos modelos para estabelecer relações entre diferentes partes de um texto. Essas informações são convertidas em estruturas gráficas que permitem comparar o material fornecido à IA com a resposta produzida.

A partir dessa comparação, o método calcula uma medida denominada MTop-Div. Valores mais elevados de divergência foram associados pelos pesquisadores a respostas que não encontravam respaldo nas informações originalmente disponibilizadas ao modelo.

Dessa maneira, o funcionamento interno da própria IA é utilizado para estimar se a resposta está fundamentada no conteúdo de referência.

Testes mostram resultados comparáveis a outros métodos

O TOHA foi avaliado em tarefas de perguntas e respostas e de produção de resumos. Segundo os pesquisadores, a técnica apresentou desempenho semelhante ou superior ao de métodos já existentes em diferentes benchmarks.

Uma das diferenças está na quantidade de recursos necessária para realizar a análise. Algumas abordagens precisam de grandes conjuntos de exemplos ou exigem que o modelo produza várias respostas para uma mesma pergunta antes de determinar se existe uma possível alucinação.

O TOHA utiliza um conjunto menor de exemplos para estabelecer os parâmetros de avaliação. Depois dessa etapa, as informações obtidas podem ser aplicadas à análise de novas respostas.

Os pesquisadores também compararam a técnica ao SelfCheckGPT, método que gera múltiplas respostas para verificar a consistência das informações. De acordo com o estudo, o TOHA conseguiu resultados comparáveis sem depender desse processo repetitivo, reduzindo a necessidade de recursos computacionais adicionais.

Tecnologia pode ser aplicada em setores que exigem maior precisão

A equipe responsável pelo estudo aponta que o método pode ser especialmente útil em atividades nas quais informações incorretas produzidas por inteligência artificial podem provocar impactos financeiros ou de reputação.

Entre os possíveis campos de aplicação estão os setores bancário, jurídico e de seguros, além de sistemas corporativos que utilizam modelos de linguagem conectados a documentos e bases internas.

Embora a técnica não represente o fim das alucinações, ela oferece uma nova maneira de identificar respostas potencialmente inventadas antes que sejam utilizadas em processos que dependem de informações confiáveis.

Foto: ChatGPT