Avaliar agentes exige dois limites: isolar a execução e proteger o verificador

O framework aberto Harbor recebeu integração com Docker Sandboxes para executar avaliações de agentes em ambientes isolados por tarefa.[10] O Harbor organiza tarefa, execução, verificações e registros; o Sandbox oferece o ambiente limpo.[10] O isolamento usa microVMs com kernel próprio, em vez de se limitar a contêineres que compartilham o kernel do host.[10]

O que muda para quem desenvolve

A proposta atende a avaliações em que agentes instalam pacotes, alteram arquivos e executam código não confiável repetidamente, como em benchmarks do tipo Terminal-Bench.[10] A integração permite políticas de rede, incluindo disponibilizar dependências na preparação e bloquear internet na fase avaliada.[10]

Como análise, isso ajuda a separar dois problemas que costumam ser misturados. O primeiro é proteger o ambiente ao redor da tarefa. O segundo é impedir que o agente pareça correto alterando as condições da avaliação. Um executor bem isolado pode continuar produzindo uma nota enganosa se o avaliador estiver ao alcance da própria execução.

O artigo chama atenção para reward hacking, incluindo tentativas de alterar testes ou arquivos de pontuação.[10] Portanto, trate os limites do executor e os limites do verificador como decisões distintas de arquitetura.

Como aplicar

Crie uma tarefa pequena com dependências fixadas, estado inicial conhecido e um critério de saída verificável. Execute cada tentativa em ambiente descartável. Defina antecipadamente o que a rede permite durante a preparação e o que permite durante a medição. Não compare um agente com acesso livre a downloads com outro operando sem as mesmas dependências.

Mantenha as evidências e a versão de referência do verificador fora do alcance de alterações indevidas. Se o agente precisar ver testes para desenvolver, diferencie esses testes dos critérios independentes de aceite. Registre essa separação para não vender um teste visível como prova suficiente de generalização.

Como experimento, execute a mesma tarefa duas vezes a partir do estado inicial e compare artefatos, dependências e política efetiva de rede. Depois introduza uma falha controlada no resultado para conferir se a avaliação a detecta. A meta não é obter respostas idênticas do modelo, mas condições equivalentes de execução e julgamento.

Cuidados e limites

Na versão anunciada, o escopo é de tarefas de um único contêiner em CPU; GPU e múltiplos contêineres aparecem como trabalho futuro.[10] A Docker relata testes com 64 trabalhadores concorrentes na nuvem, e a execução no Docker Cloud Sandboxes depende de conta e token com permissão para o serviço.[10]

Essas condições não tornam a capacidade automaticamente disponível em qualquer instalação Docker.[10] MicroVM também não deve ser apresentada como garantia absoluta contra falhas de virtualização ou configuração. O desenho útil combina isolamento, rede controlada e avaliação independente. Sem o terceiro item, dá para proteger a máquina e ainda acreditar em um resultado errado.

Fonte

[10] Fonte: Docker Blog