O que é alucinação de IA (e por que é risco em valor financeiro)

Resposta direta

O que é alucinação de IA: é quando o modelo gera uma informação que soa correta mas é inventada (um valor, um CNPJ, uma cláusula que não existe no contrato), com a mesma confiança de quando acerta. Ela não avisa que está chutando. A resposta sai limpa e bem formatada, do mesmo jeito quando ela sabe e quando ela só preencheu a lacuna.

Em linguagem de operador

Tem um colega que todo time financeiro conhece. Você pergunta o saldo de uma conta, o número de uma cláusula, a alíquota de um imposto, e ele responde na hora, com voz firme, sem piscar. O problema é que parte do que ele afirma com tanta convicção ele inventou no caminho. Quando você vai conferir, o número estava errado, mas o tom era de quem tinha certeza absoluta. Alucinação de IA é exatamente esse colega, transformado em software.

A parte que assusta não é a IA errar. Todo mundo erra. A parte que assusta é entender que isso não é um defeito que some no próximo update. É como o motor foi feito. Um LLM (o motor de linguagem por baixo do Claude e do ChatGPT) não consulta um banco de verdades antes de responder. Ele prevê a próxima palavra mais provável, uma de cada vez, com base no padrão de linguagem que aprendeu. Quando ele sabe, a próxima palavra mais provável é a correta. Quando ele não sabe, a próxima palavra mais provável continua existindo, e ele a escreve do mesmo jeito. Ele preenche a lacuna com o que soa plausível, em vez de parar e dizer “não tenho essa informação”. Para o motor, completar a frase bonita e completar a frase verdadeira são a mesma tarefa.

Por isso a palavra “alucinação” ajuda e engana ao mesmo tempo. Ajuda porque captura o efeito: a IA “vê” uma informação que não está lá. Engana porque sugere que é um momento estranho, raro, um curto-circuito. Não é. É o funcionamento normal do mecanismo aparecendo onde ele não tinha dado para acertar.

A analogia do colega quebra num ponto que importa: o colega humano tem culpa, vergonha e intenção. Quando ele percebe que chutou, fica desconfortável, e na próxima vez talvez fique quieto. A IA não tem nada disso. Ela não está mentindo, porque mentir exige saber a verdade e esconder. Ela não tem como saber que não sabe. E, por padrão, ela foi ajustada para parecer útil e prestativa, o que na prática quer dizer que ela prefere te dar uma resposta a te dizer “não sei”. O instinto dela joga contra você exatamente no momento em que você mais precisaria de um “calma, isso eu não tenho”.

Na prática (exemplo BR)

O caso que mais dói no financeiro não é a IA recusar uma tarefa. É ela entregar a tarefa errada com cara de tarefa certa.

Um time de tesouraria coloca 200 NFS-e do mês para a IA conciliar contra o razão do ERP. Ela devolve um relatório organizado: casou nota por nota pelo CNPJ do prestador, pelo valor e pelo ISS retido. No fim, aponta 188 notas conciliadas e 12 separadas para revisão. Bonito. Parece um analista aplicado que adiantou o serviço.

O problema mora dentro das 188 que ela deu como resolvidas. O cadastro do ERP tinha dois fornecedores com razão social parecida, e o CNPJ de um deles estava digitado errado havia meses. A IA, “querendo” fechar a conta, casou 12 notas com o CNPJ mais parecido em vez de parar na divergência. Ela não casou com o fornecedor certo. Casou com o fornecedor que dava o match mais próximo, e escreveu “conciliado” em todas, sem nenhum sinal de dúvida. Esse é o falso positivo, e é a forma mais cara de alucinação no financeiro, porque ela não aparece na fila de exceções. Ela passa por trabalho concluído. Os 12 que a IA honestamente jogou para revisão você ia conferir de qualquer jeito. Os 12 que ela alucinou como certos são os que entram no fechamento sem ninguém olhar.

Troque o cenário e o mecanismo é o mesmo. Você pede para ela somar uma coluna de notas e inferir o ISS retido total. O número sai com a mesma firmeza do número certo, três casas decimais, formatado, pronto para colar. Só que ela somou errado, ou aplicou a alíquota de um município no outro. Ou você pede o resumo de um contrato de fornecedor de 30 páginas e pergunta qual a multa por rescisão. Ela responde “cláusula 12.3, multa de 20% do saldo remanescente”, redondo e específico, e quando você abre o contrato a cláusula 12.3 trata de foro, e não existe multa de 20% em lugar nenhum. Ela não copiou errado. Ela gerou uma cláusula que soa como cláusula de contrato, porque é isso que o motor faz.

A regra que nasce daí é curta e não tem exceção: nunca lançar valor monetário gerado por IA sem validação cruzada. Não é desconfiar da IA por preconceito. É saber que o tom seguro da resposta não carrega nenhuma informação sobre ela estar certa. Confiança e correção são variáveis separadas, e a IA só controla a primeira.

Onde ajuda e onde quebra

A pergunta aqui muda. Nas peças anteriores a pergunta era “onde a IA ajuda no financeiro”. Para alucinação, a pergunta certa é outra: já que ela vai alucinar, como eu convivo com isso sem tomar prejuízo. Estes são os pontos honestos que decidem isso.

Alucinação não é um bug que some com a próxima versão. É inerente ao mecanismo de prever a próxima palavra. Modelos novos alucinam menos em muitos casos, mas nenhum chega a zero, e o financeiro não tem como saber se a sua pergunta caiu justo na lacuna onde aquele modelo inventa. Tratar como “vai melhorar e aí confio” é uma aposta com o seu fechamento. Trate como uma propriedade permanente do motor, igual você trata o Excel como sensível a referência circular.

Dá para reduzir, não para zerar. Dar o contexto certo à IA (colar o contrato em vez de perguntar de cabeça, colar o plano de contas, mandar o documento real) corta muita alucinação, porque ela passa a ler em vez de inventar. Técnicas como RAG (fazer a IA consultar a fonte antes de responder) ajudam bastante. Mas mesmo lendo a fonte, ela ainda pode resumir errado ou citar a linha errada. Reduzir o risco é trabalho de arquitetura. Eliminar o risco não é uma opção que existe.

A confiança da resposta não prova nada. Esse é o ponto que mais engana operador experiente. No trabalho humano, a pessoa que responde firme e detalhada costuma ser a que sabe. Com IA, firmeza e detalhe são gratuitos: ela escreve um número inventado com a mesma riqueza de detalhes de um número correto. Você não pode usar o “como” a resposta veio para julgar se ela está certa. Só a fonte julga isso.

O risco é maior no financeiro do que em quase todo lugar. Por dois motivos somados. Primeiro, a saída vem bem formatada e plausível, então ela cola direto no fechamento sem atrito, e ninguém para para questionar uma tabela que já chegou pronta. Segundo, o erro é em dinheiro e em obrigação fiscal: um número alucinado não fica num rascunho, ele vai para o razão, para o SPED, para a apuração. O custo de uma alucinação aqui não é refazer um parágrafo. É uma autuação ou um pagamento errado.

As defesas que funcionam de verdade são poucas, e simples de aplicar. Peça para a IA marcar explicitamente o que ela não tem certeza (“onde você não tiver a informação na fonte, escreva ’?’ e não invente”), porque isso muda o padrão dela de “sempre responder” para “às vezes admitir”. Valide todo valor contra a fonte de origem, não contra a aparência da resposta. Processe dado sensível localmente, para o dado bruto nem subir. E mantenha um portão de revisão humana onde o erro custa dinheiro: a IA propõe, o humano com alçada aprova, e essa ordem nunca se inverte. Nenhuma dessas defesas é tecnologia cara. São disciplina de processo.

Perguntas relacionadas

Por que a IA alucina?

Porque o motor por baixo dela (um LLM) não consulta uma base de verdades: ele prevê a próxima palavra mais provável com base em padrões de linguagem. Quando não tem a informação, ele não para, preenche a lacuna com o que soa plausível. Inventar e acertar são a mesma operação para o modelo, então a alucinação é o mecanismo normal aparecendo onde faltou dado.

Como evitar alucinação de IA no financeiro?

Você reduz, não elimina. Dê o documento real em vez de perguntar de memória, peça para ela marcar com ”?” o que não tiver certeza, valide todo valor monetário contra a fonte de origem (sistema, fórmula, contrato) e mantenha revisão humana antes de qualquer lançamento. Processar o dado localmente também ajuda. A regra-mãe: nunca lançar número gerado por IA sem conferir.

A IA paga (versão premium) alucina menos?

Em geral os modelos mais novos e mais capazes alucinam menos que os antigos, então a versão paga costuma errar menos. Mas “menos” não é “nunca”, e você não tem como saber se a sua pergunta caiu na lacuna onde aquele modelo inventa. No financeiro, pagar por um modelo melhor não dispensa a validação cruzada: ela continua obrigatória em valor.

Alucinação é o mesmo que erro?

Não exatamente. Erro é qualquer resposta incorreta. Alucinação é um tipo específico: a IA gera uma informação que parece real e bem fundamentada (um número, uma citação, uma cláusula) mas não existe, e entrega com total confiança. O que a torna perigosa não é estar errada, é parecer certa, sem nenhum sinal de que ela chutou.

Dá para confiar nos números que a IA me dá?

Trate todo número da IA como rascunho até bater contra a fonte. Ela é ótima para organizar, classificar e explicar, e arriscada como calculadora, porque inventa valor com a mesma firmeza com que acerta. Não existe “esse número parece confiável”: a aparência da resposta não prova correção. Confiança vem da conferência contra o sistema, não do tom da IA.

O RAG resolve a alucinação?

Ajuda muito, não resolve. RAG faz a IA consultar a fonte (seus contratos, seu razão) antes de responder, em vez de inventar de memória, então a taxa de alucinação cai bastante. Mas ela ainda pode recuperar o documento errado, ou ler a fonte certa e resumir torto. RAG melhora a base da resposta. Não dispensa a validação humana em valor financeiro.

Próximo passo

Pega o Guia: os conceitos de IA que destravam o financeiro, com o exemplo BR e o limite de cada um. Serve para usar IA com a desconfiança certa, sem cair na promessa fácil nem no medo paralisante.

Esta peça aprofundou um único limite. Para o quadro completo do que a IA não faz no financeiro, veja os limites da IA no financeiro. E para entender por baixo por que ela inventa (o motor que prevê a próxima palavra em vez de consultar a verdade), leia o que é um LLM, que é a raiz de tudo que está aqui.

Quando o assunto for valor, o caminho que respeita esse limite não é confiar mais na IA, é tirar o número da mão dela: o motor determinístico da Skill de Conciliação Bancária da Trilha Tesouraria dá o mesmo resultado toda vez e roda local, justamente porque um número de fechamento não pode depender de quem prevê a próxima palavra. A IA organiza o trabalho. O número quem garante é o motor.