Seu LLM avaliador pode estar medindo o prompt, não a novidade da ideia

O Ai2 publicou o estudo “Old Ideas, Novel Problems”, com benchmark, dados e código para avaliar julgadores de novidade científica.[9] Os resultados mostram que modelo, prompt, formato de comparação e recuperação bibliográfica podem alterar o veredito.[9] Para quem cria avaliadores automáticos, a consequência é desconfortável: uma nota bem apresentada ainda precisa demonstrar que mede o critério pretendido.

O que muda para quem desenvolve

Em um experimento, o GPT-5.4 acertou 93,5% quando o prompt informava que revisores haviam identificado exatamente uma ideia nova no par.[9] Com uma pergunta mais simples sobre qual ideia era nova, o acerto caiu para 40,9%.[9] O estudo não encontrou um prompt universalmente superior entre os julgadores.[9]

O conjunto parte de pareceres do ICLR 2026 com manifestações explícitas sobre originalidade, em vez de equiparar aceitação de artigo a novidade.[9] Essa escolha importa porque define o que o avaliador tenta reproduzir. Minha recomendação é fazer a mesma pergunta em qualquer produto: qual evidência sustenta o rótulo esperado e quais ambiguidades ele carrega?

O estudo também compara ideias humanas com propostas de um gerador simples, tratando a suposição de menor originalidade dessas propostas como rótulo fraco.[9] Não transforme esse desenho em prova de que toda ideia gerada por IA é inferior. A instabilidade do julgamento é o sinal mais útil para engenharia.

Como aplicar

Se você usa LLM para filtrar propostas de produto ou resultados de agentes, crie um conjunto pequeno revisado por humanos. Separe originalidade, viabilidade e utilidade em critérios próprios. Não deixe uma única nota esconder três decisões diferentes.

Execute variações semanticamente próximas do prompt e troque a ordem das alternativas. Meça quantos vereditos mudam, onde há desacordo com a revisão humana e quais casos deveriam ser encaminhados em vez de aprovados ou rejeitados automaticamente. Mantenha o conjunto de avaliação separado dos exemplos usados para ajustar o prompt.

Registre também as referências recuperadas. Minha recomendação é exigir justificativas ligadas a trechos verificáveis, sem tratar texto convincente como evidência suficiente. Para decisões de maior impacto, preserve uma etapa humana antes do descarte definitivo de uma proposta.

Cuidados e limites

Mais raciocínio e busca não garantiram vantagem nos experimentos descritos.[9] Uma configuração com GPT-5.6 Sol e busca iterativa obteve macro-F1 de 0,78, contra 0,89 de uma configuração mais simples com Claude Opus 4.6 e resumos recuperados, custando cerca de dez vezes mais por decisão naquela comparação.[9] Esses números pertencem às condições do estudo, não a uma regra universal de preço e qualidade.

A conclusão prática é usar o avaliador como instrumento de investigação enquanto sua estabilidade não estiver demonstrada. Um parecer pode levantar objeções úteis; não deveria ganhar autoridade apenas porque veio de outro modelo ou consumiu mais orçamento.

Fonte

[9] Fonte: Hugging Face Blog / Ai2