O agente terminou a conversa. O artefato passou no verificador?

A NVIDIA descreveu uma avaliação do agente Siemens Fuse com o NeMo Gym para caracterização de células de chips e geração de arquivos Liberty.[9] Após revisões nas skills, descrições MCP e esquemas de entrada, a pontuação composta média relatada passou de aproximadamente 55% para 95%, mantendo Claude Opus 4.8 no Claude Code.[9] O resultado merece atenção pela forma de avaliar, não por sugerir uma taxa universal de acerto.

O que muda para quem desenvolve

O verificador exige cobertura das células e condições esperadas, validade dos arquivos, ausência de regressões adicionais em relação à referência e integridade do processo de geração.[9] Só depois calcula a fração de valores dentro da tolerância; falhar em um requisito obrigatório zera a pontuação.[9]

A lição de projeto é separar validade de qualidade incremental. Um relatório pode ter bons parágrafos e ainda omitir metade do escopo. Uma migração pode produzir SQL plausível sem preservar os dados exigidos. Recomendo tratar essas falhas como bloqueios de aceite, não como pequenas reduções na média.

O estudo também mexeu no contrato das ferramentas, incluindo sobreposição e descrição das entradas.[9] Minha leitura é que instruções melhores têm valor quando apontam para ações verificáveis. Otimizar o texto sem um critério estável de conclusão só deixa a demonstração mais convincente.

Como aplicar

Escolha um artefato concreto do seu agente. Para uma alteração de código, por exemplo, defina os arquivos esperados, os testes necessários e as restrições de escopo. Para um relatório, explicite cobertura, consistência e proveniência. Depois separe os requisitos obrigatórios das medidas graduais de qualidade.

Prepare tarefas versionadas e estados iniciais comparáveis. Rode uma configuração de referência, guarde o resultado e altere uma camada de ferramenta por vez quando possível. Meça conclusão, turnos, tokens e tempo, mas preserve o verificador. Não flexibilize o aceite para acomodar a nova saída.

Insira também casos deliberadamente inválidos no teste do avaliador: saída incompleta, artefato antigo reaproveitado e execução interrompida. O objetivo desse exercício é conferir se o verificador rejeita atalhos, antes de usá-lo para comparar agentes. Isso é uma proposta de aplicação, não um teste já realizado neste texto.

Cuidados e limites

O contexto de referência tinha 229 células e 36 combinações de processo, tensão e temperatura, mas o ajuste foi avaliado em apenas duas células nas 36 condições, ao longo de aproximadamente 25 execuções.[9] Os turnos caíram de 155 para 53, e os tokens de saída, de cerca de 81 mil para 29 mil.[9]

Os 95% são a pontuação composta desse benchmark de desenvolvimento, não uma taxa de sucesso em produção.[9] O relato é publicado por fornecedores envolvidos e não demonstra generalização para toda a matriz.[9] A ideia reaproveitável é exigir um resultado íntegro antes de comemorar uma média maior.

Fonte

[9] Fonte: NVIDIA Technical Blog