Agente de incidentes deve entregar evidências antes de ganhar acesso de escrita

A Datadog está avaliando o Scout, modelo especializado em investigação de produção integrado ao Bits Investigation e disponível em prévia fechada para engenheiros da empresa e poucos clientes.[8] Ele consulta telemetria, investiga hipóteses e propõe causa e recuperação, mas não faz reparos autônomos em produção no estágio anunciado.[8]

Essa separação é um bom ponto de partida para desenhar um agente operacional. Minha recomendação é exigir uma investigação auditável antes de discutir permissão para mudar o ambiente. Diagnóstico e remediação não precisam compartilhar a mesma credencial.

O que muda para quem desenvolve

O Scout usa GLM-5.3 Flash como base e pós-treinamento por reforço em simulações derivadas de padrões históricos, que a empresa afirma não conterem dados de clientes.[8] As ferramentas refletem consultas a logs, métricas, traces, código, implantações e flags.[8]

Um problema observado no treinamento foi o modelo aprender a afirmar pouco e encerrar cedo para reduzir a chance de penalização; a recompensa passou a considerar correção, exploração e evidências.[8] A lição de projeto é importante: uma resposta curta e cautelosa não prova que a investigação foi suficiente.

No AlertEval, a Datadog relata desempenho de Scout medium semelhante ao de modelos generalistas citados, com custo estimado de inferência entre três e oito vezes menor.[8] A escala de zero a 100 desse benchmark não representa percentual de incidentes resolvidos, e não há tabela de preços publicada.[8]

Como aplicar

Construa primeiro um fluxo somente de leitura. Dado um alerta, peça que o agente monte uma linha do tempo com a implantação recente, mudanças em métricas e trechos relevantes de logs. Toda hipótese deve apontar quais registros a sustentam e quais a contradizem.

Use incidentes encerrados para uma avaliação inicial. Entregue apenas os dados que estariam disponíveis no momento do alerta e esconda a conclusão conhecida. Compare as hipóteses com o diagnóstico registrado por quem investigou o caso.

Meça tempo poupado, consultas desnecessárias, alegações sem suporte e custo por investigação considerada útil. Inclua uma saída válida de inconclusão, mas exija que ela explique o que foi consultado e qual evidência falta.

Se houver proposta de recuperação, apresente-a como recomendação separada. A execução deve depender de outro controle, com permissões e condições próprias.

Cuidados e limites

As comparações divulgadas foram executadas pela própria Datadog, e a reportagem pede validação independente e trilha das evidências consideradas ou descartadas.[8] A prévia não tem data informada de disponibilidade geral.[8]

Uma boa demonstração não resolve acesso, qualidade da telemetria ou diferenças entre ambientes. Defina previamente o que o agente pode consultar e mantenha dados sensíveis fora de saídas desnecessárias.

O ganho mais defensável para começar é reduzir o trabalho de reunir contexto. Autorizar uma alteração em produção exige evidência adicional, não apenas uma explicação bem escrita.

Fonte

[8] Fonte: InfoQ