LLMs Erram em Tarefas Longas: Pesquisa da Microsoft Explica Por Quê
Pesquisadores da Microsoft descobriram que os melhores LLMs corrompem até 25% do conteúdo em workflows longos. Entenda o que isso significa para devs que usam a
Uma pesquisa recente da Microsoft jogou um balde de água fria em quem já está delegando tarefas complexas para agentes de IA: mesmo os modelos mais avançados disponíveis hoje corrompem, em média, 25% do conteúdo de documentos ao longo de workflows longos. O estudo testou 19 modelos de seis famílias diferentes e chegou a uma conclusão direta: LLMs ainda não são confiáveis para tarefas autônomas de longa duração.
Contexto técnico
Antes de entrar nos números, vale alinhar alguns termos:
LLM (Large Language Model) é o tipo de modelo por trás de ferramentas como Claude, ChatGPT e Gemini. Ele processa texto em unidades chamadas tokens (pense em tokens como pedaços de palavras) e gera respostas com base em padrões aprendidos durante o treinamento.
Agente de IA é quando você encadeia um LLM em uma sequência de tarefas, permitindo que ele tome decisões e execute ações de forma autônoma, sem intervenção humana a cada passo. É o modelo fazendo várias coisas em sequência, como editar um documento, verificar o resultado e corrigir erros.
O problema investigado pela Microsoft é exatamente esse cenário. Os pesquisadores criaram o benchmark DELEGATE-52, que avalia modelos em 52 domínios (código, contabilidade, ciência, texto livre etc.) usando documentos reais de aproximadamente 15 mil tokens. Cada modelo recebe entre 5 e 10 tarefas de edição encadeadas e depois precisa reverter todas as alterações, voltando ao documento original. Isso mede a capacidade do modelo de manter consistência ao longo de muitas interações.
Os resultados do top 3 foram:
| Modelo | Score DELEGATE-52 (20 interações) |
|---|---|
| Gemini 3.1 Pro | 80,9% |
| Claude Opus 4.6 | 73,1% |
| GPT-5.4 | 71,5% |
E o pior? GPT-5 Nano ficou em último com apenas 10%. A descoberta mais preocupante não é que os modelos menores erram, isso já era esperado. É que mesmo os melhores apenas atrasam os erros, não os eliminam. Quanto mais longa a sequência de tarefas, maior a chance de corrupção silenciosa no conteúdo.
O único domínio onde a maioria dos modelos se saiu bem o suficiente para ser considerado "pronto para produção" foi Python. Texto livre, documentos semi-estruturados e tarefas criativas foram os pontos mais fracos.
Impacto para devs
Se você está construindo ou usando um agente de IA para automatizar tarefas que envolvem documentos, código de outras linguagens além de Python, ou qualquer fluxo com muitas etapas encadeadas, essa pesquisa tem implicações práticas diretas.
1. Não confie em agentes sem checkpoints
Erros em tarefas longas tendem a se acumular silenciosamente. O modelo não avisa que corrompeu algo. Uma boa prática é quebrar workflows longos em etapas menores com validação humana ou automatizada entre elas:
# Em vez de pedir ao agente tudo de uma vez:
# "Edite este documento de 50 páginas aplicando 10 transformações"
# Prefira encadear com validação:
resultado_etapa_1 = agente.executar(tarefa_1, documento)
assert validar(resultado_etapa_1), "Etapa 1 falhou"
resultado_etapa_2 = agente.executar(tarefa_2, resultado_etapa_1)
assert validar(resultado_etapa_2), "Etapa 2 falhou"
2. Contexto longo é inimigo da precisão
O estudo confirma que, quanto maior o número de tokens no contexto, maior a taxa de erro. Se o seu agente precisa "segurar" um documento grande na memória enquanto faz edições, considere estratégias como RAG (Retrieval-Augmented Generation), que busca apenas os trechos relevantes em vez de passar o documento inteiro, ou técnicas de sumarização intermediária para reduzir o tamanho do contexto entre as etapas.
3. Python é exceção, não regra
O fato de Python ser o único domínio "pronto para produção" faz sentido: código tem estrutura rígida e é fácil de validar automaticamente (basta rodar). Para tarefas em linguagem natural ou documentos menos estruturados, a margem de erro é muito maior e a detecção automática de falhas é bem mais difícil.
4. O modelo mais caro nem sempre é o suficiente
Mesmo Gemini 3.1 Pro, o melhor do ranking, errou em quase 20% dos casos após 20 interações. Isso não significa que você não deve usar esses modelos, significa que a arquitetura do seu sistema precisa compensar as limitações deles com validações, logs e supervisão humana nos pontos críticos.
Conclusão
A pesquisa da Microsoft não diz que LLMs são inúteis. Diz que eles ainda não são autônomos o suficiente para tarefas longas sem supervisão. Para devs, o recado é claro: use agentes de IA como aceleradores com supervisão, não como substitutos de processos críticos sem revisão. Projete seus sistemas assumindo que o modelo vai errar em algum ponto e construa mecanismos para detectar e corrigir esses erros antes que se acumulem.