Memória de agentes: medir repetibilidade vale mais que acumular regras

O ALTK-Evolve transforma execuções anteriores de um agente em orientações comportamentais adicionadas ao prompt de conversas futuras, sem alterar os pesos do modelo.[3] No experimento publicado pela IBM Research, o próprio modelo executa o atendimento e extrai as orientações, usando o agente ReAct padrão do τ²-bench.[3]

O interesse de engenharia está na possibilidade de melhorar o sistema sem trocar o modelo-base. Mas a pergunta importante não é quantas regras cabem no prompt. É quais delas melhoram uma execução repetida sem tornar o custo desproporcional.

O que muda para quem desenvolve

O benchmark exige cumprimento de políticas, uso de ferramentas e estado final correto no banco, além da conversa.[3] A métrica Pass^4 só considera a tarefa confiável quando todas as quatro tentativas independentes têm sucesso; ela não é a taxa média de acerto.[3]

No teste de varejo com GPT-4.1, todas as 292 orientações elevaram a acurácia média de 78,1% para 82,5% e o Pass^4 de 57,5% para 67,5%.[3] Em companhias aéreas, o conjunto completo chegou a 40% de Pass^4, enquanto um núcleo de 14 regras atingiu 45%, contra 35% sem memória.[3] Mais orientação não foi automaticamente mais consistência nesse domínio.[3]

Minha leitura: memória comportamental deve ser uma configuração versionada e avaliada, não um diário que cresce indefinidamente. Uma regra útil precisa ter origem identificável e benefício que sobreviva fora das tarefas usadas para produzi-la.

Como aplicar

Separe tarefas de treinamento e avaliação antes de extrair qualquer orientação. Construa três variantes do mesmo agente: sem memória, com regras recorrentes e com todo o conjunto consolidado. Preserve modelo, ferramentas e condições de execução entre as variantes.

Execute cada tarefa várias vezes e verifique o estado final produzido pelas ferramentas. Registre sucesso médio, sucesso em todas as repetições, ações indevidas, custo e latência. Escolha o conjunto pelo objetivo operacional, não pelo maior percentual isolado.

Revise também conflitos entre regras. Uma orientação de atendimento não deve substituir uma política explícita nem autorizar operações que as ferramentas deveriam bloquear. Ao alterar ferramentas ou políticas, trate a memória como candidata a reavaliação.

Cuidados e limites

No varejo, o custo por conversa, incluindo agente e cliente simulado, passou de US$ 0,084 sem regras para US$ 0,139 com todas as orientações.[3] O cache do prompt é sugerido pelos autores como possibilidade de amortização, não como economia já demonstrada nesses valores.[3]

Os resultados apresentados pertencem a benchmarks e configurações específicos.[3] Eles justificam um experimento controlado, não uma promessa de ganho em qualquer agente. O produto que importa é a decisão correta repetida com custo aceitável, não o tamanho da memória acumulada.

Fonte

[3] Fonte: Hugging Face Blog / IBM Research