IA que Convence Mesmo Quando Erra: o Risco que Todo Dev Precisa Entender
Diogo Cortiz, professor da PUC-SP, alerta: o maior perigo dos LLMs não é errar, é errar com argumentos convincentes. Entenda o que isso muda para quem escreve c
Os modelos de linguagem de hoje, como Claude Sonnet 4.6, GPT-5.5 e Gemini 2.5 Pro, falam tão bem que as pessoas estão começando a confiar neles mais do que deveriam. Diogo Cortiz, professor da PUC-SP e pesquisador de ciência cognitiva, deu uma entrevista ao Giz Brasil que levanta um alerta direto para quem usa IA no dia a dia do desenvolvimento: o problema não é a IA errar. É ela errar e ainda te convencer de que está certa.
O que é um LLM e por que ele "convence"
Um LLM (Large Language Model, ou modelo de linguagem de grande escala) é um sistema treinado em bilhões de textos para prever a sequência mais provável de palavras. Ele não "sabe" se uma resposta é verdadeira. Ele gera o que estatisticamente faz sentido vir a seguir.
O problema: respostas estatisticamente coerentes soam convincentes. E quando você está depurando um bug às 23h, um argumento bem articulado sobre "por que essa abordagem funciona" pode te fazer aceitar código quebrado sem questionar.
# Exemplo: você pergunta ao modelo como validar um JWT
# Ele responde com código funcional, mas sem verificar a expiração
# O texto explicativo é tão claro que você não percebe a falha
import jwt
payload = jwt.decode(token, SECRET, algorithms=["HS256"])
# faltou: options={"verify_exp": True}
O código acima compila, passa em testes superficiais e o modelo explica com fluência por que está correto. Esse é exatamente o risco que Cortiz descreve.
Agentes: autonomia sem regras ainda
Cortiz também chama atenção para o momento atual dos agentes de IA, que são sistemas que usam LLMs para executar tarefas de forma autônoma. Um agente pode receber uma instrução como "reserve um voo para sexta" e agir sozinho: pesquisa, compara preços, preenche formulários, confirma pagamento.
Para devs, isso já chegou em forma de ferramentas como Claude Code, Cursor e Copilot Workspace, que não apenas sugerem código mas executam passos em sequência sem intervenção humana.
O alerta de Cortiz é que ainda não existem regras claras para os limites de atuação desses agentes, seja em nível regulatório, seja em nível de produto. Como dev, você é o responsável por definir esses limites na sua aplicação.
Algumas perguntas que você deve se fazer ao integrar agentes:
- O agente pode executar operações irreversíveis (deletar dados, fazer pagamentos)?
- Há um ponto de confirmação humana antes de ações críticas?
- Você consegue auditar o que o agente fez e por quê?
Antropomorfização e o impacto no seu trabalho
Antropomorfização é projetar características humanas em coisas que não são humanas. Quando o modelo escreve "entendo sua frustração com esse erro", você não está falando com alguém que entende nada. É uma predição de tokens que replica padrões de empatia dos textos de treinamento.
Isso importa para devs porque:
Você pode aceitar respostas erradas por confiar demais no tom seguro do modelo. Um modelo que diz "certamente, a melhor abordagem é..." não tem certeza nenhuma.
Pode subestimar a necessidade de revisão. Se o modelo parece confiante, a tendência humana é reduzir o escrutínio.
Relacionamentos parasociais com ferramentas (aquela sensação de que "o Copilot me entende") podem criar uma dependência que atrofia o raciocínio crítico sobre o código gerado.
O que muda na prática
Cortiz não está dizendo para parar de usar IA. Está dizendo para não confundir fluência com correção. Algumas práticas concretas:
Trate saída do modelo como PR de um dev júnior. Revise com o mesmo cuidado. O fato de o texto estar bem escrito não significa que a lógica está correta.
Peça ao modelo para argumentar contra a própria resposta. Prompts como "quais são os problemas com essa abordagem?" frequentemente revelam falhas que a resposta original escondia.
Nunca use código gerado por IA em contextos de segurança sem revisão especializada. Criptografia, autenticação, validação de entrada: esses são os lugares onde um argumento convincente e errado causa mais estrago.
Implemente human-in-the-loop em agentes. Para qualquer ação com efeito colateral real, exija confirmação humana antes de executar.
Conclusão
A interface mais natural que já criamos, a linguagem, é também a mais perigosa quando usada para mascarar incerteza. Cortiz resume bem: a IA não precisa estar certa para ser persuasiva. E para desenvolvedores que integram esses sistemas em produtos reais, entender essa distinção é parte do trabalho técnico, não só filosófico. Ética e segurança não são pós-processamento. Precisam entrar no design desde o início.