Bug0: repetir a ação custa menos, mas decidir se o teste passou continua caro

A Linearbytes lançou o Bug0 QA Agent, biblioteca com código disponível para regressão de navegador sobre Playwright.[9] A proposta combina exploração por IA com armazenamento de ações concretas em Redis e replay nas execuções seguintes.[9] A parte importante não é apenas automatizar cliques, mas entender quais decisões deixam de usar modelos e quais continuam dependendo deles.

O que muda para quem desenvolve

Na primeira passagem, o agente examina a árvore de acessibilidade e capturas de tela; depois, o Playwright pode repetir a ação sem nova inferência.[9] Se uma mudança da interface quebra o replay, o cache é invalidado e o agente tenta reencontrar a ação a partir da intenção do teste.[9]

Essa otimização vale somente para passos de ação única.[9] Instruções com várias ações voltam ao agente em todas as execuções, e as asserções não entram no cache.[9] Claude e Gemini avaliam cada asserção independentemente, com um terceiro modelo para desempate.[9]

Minha leitura é separar dois problemas que frequentemente aparecem juntos na demonstração: navegar até o estado desejado e julgar se esse estado está correto. Reduzir o custo da navegação não resolve automaticamente a confiabilidade do julgamento. Consenso entre modelos também não deveria substituir um critério de aceite externo.

Como aplicar

Escolha três fluxos pequenos de homologação, por exemplo autenticação, preenchimento de formulário e confirmação de uma operação sem efeito real. Escreva cada interação como uma ação simples. Mantenha uma versão equivalente em Playwright convencional para comparação.

Execute uma linha de base e depois introduza mudanças controladas de interface: rótulo, posição de um botão e ausência de um elemento obrigatório. Registre tempo total, chamadas de modelo, acertos, falhas e recuperações indevidas. Inclua um defeito funcional conhecido para avaliar se a adaptação visual apenas contorna o problema.

Para regras críticas, proponha asserções determinísticas sobre dados e estados observáveis. Reserve a avaliação visual por modelo para aquilo que realmente pede interpretação e mantenha revisão de divergências. O objetivo do piloto é descobrir onde a abordagem híbrida compensa, não substituir toda a suíte por linguagem natural.

Cuidados e limites

A matéria cita uma pesquisa de abril de 2025 com concordância de cerca de 60% entre a melhor arquitetura estudada e profissionais humanos, mas esse número não mede o Bug0 atual.[9] Usá-lo como benchmark do produto seria atribuir um resultado ao objeto errado.

A licença é FSL 1.1, com restrições competitivas nos dois primeiros anos e conversão futura para Apache 2.0.[9] Por isso, código disponível não significa open source no sentido usual.[9] Antes de incorporá-lo a um serviço comercial de QA, avalie os termos e o custo completo de operação, inclusive as verificações que nunca entram no cache.

Fonte

[9] Fonte: InfoQ