Planejar com um modelo, executar com outro: onde medir a economia

O Junie Eco Mode usa o modelo escolhido pelo usuário para investigar o repositório e elaborar um plano, depois transfere implementação e testes para um modelo mais barato, atualmente GPT-6 Luna.[6] A JetBrains descreve uma única transferência, com o histórico completo da conversa e um plano estruturado para o executor.[6]

O interesse desse desenho está na divisão do trabalho. Em vez de procurar um modelo barato que faça tudo, vale perguntar quais decisões precisam de mais capacidade de raciocínio e quais etapas podem seguir um contrato explícito.

O que muda para quem desenvolve

Na fase de planejamento, o agente pesquisa sem modificar código, com exceção da possibilidade de criar um teste mínimo que reproduza um bug.[6] O plano inclui objetivo, escopo, locais de mudança, abordagem, testes e riscos.[6]

Minha leitura é que esse documento deve ser tratado como uma interface entre os agentes. Se faltar um critério de aceite ou uma restrição importante, trocar o executor por um mais barato não resolve a ambiguidade. Apenas desloca a descoberta do problema para depois da transferência.

No conjunto B dos benchmarks internos divulgados, o custo médio por tarefa caiu de US$ 2,61 para US$ 1,11, enquanto a taxa média de resolução passou de 49,1% para 48,5%.[6] Os 29 pares citados são combinações de configuração de modelo e esforço, não a quantidade de tarefas.[6] Esses dados são medições do fabricante em cargas próprias, não uma previsão para qualquer repositório.[6]

Como aplicar

Monte uma avaliação pequena com tarefas representativas e critérios de aceite escritos antes da execução. Separe correções localizadas, mudanças que atravessam módulos e atividades com requisitos pouco claros. Não misture tudo em uma média única.

Peça ao planejador que identifique arquivos, invariantes, verificações e condições para interromper a implementação. O executor deve poder declarar que o contrato é insuficiente, sem ampliar o escopo silenciosamente.

Compare o fluxo dividido com uma execução inteiramente no modelo de referência. Registre custo total, tempo até aceite, tentativas adicionais e intervenções humanas. Inclua as tarefas que falharam na conta, não apenas as concluídas.

Revise os casos em que a economia de inferência veio acompanhada de retrabalho. O indicador útil é custo por tarefa aceita dentro das restrições, não custo de uma chamada isolada.

Cuidados e limites

O anúncio informa disponibilidade no Junie CLI a partir de 26.10.20 e em ambientes JetBrains Air nas versões de IDE indicadas, com combinações de modelo e sessões que ficam fora do recurso.[6] Não presuma que qualquer instalação ou tarefa utilize esse caminho.

A média dos benchmarks também não prova equivalência em cada configuração; o artigo apresenta combinações com ganho e com perda de resolução.[6]

Recomendo começar por tarefas cujo resultado possa ser verificado com clareza. Quando o plano precisa ser redescoberto durante toda a implementação, a transferência econômica pode virar apenas mais uma etapa para administrar.

Fonte

[6] Fonte: JetBrains Blog