ReplaySSM: o ganho aparece na carga concorrente, não no nome da otimização

A NVIDIA e o Dao AI Lab apresentam ReplaySSM, uma técnica para modelos que combinam atenção com state-space models, ou SSMs.[13] Ela representa o estado como um checkpoint mais um buffer de entradas recentes, reduzindo a necessidade de ler e gravar toda a matriz a cada token.[13] A notícia é relevante para serving, mas seu benefício precisa ser lido junto da concorrência usada no teste.

O que muda para quem desenvolve

Nos benchmarks dos autores, com batch 256, os kernels ficaram de 1,46 a 1,80 vez mais rápidos, enquanto o passo completo de decodificação melhorou de 1,20 a 1,47 vez.[13] Com batch 1, não houve ganho nos testes apresentados.[13] Esses resultados vieram de quatro modelos Nemotron 3 e Qwen3.5, em H100 ou B300, com estado FP32 e janela de 16 registros.[13]

Minha leitura é que otimizar um componente não equivale a acelerar toda requisição na mesma proporção. Para um produto, eu avaliaria a latência percebida e a capacidade de atender usuários simultâneos. Um assistente individual não deve receber uma previsão de ganho baseada em um lote grande.

Na decodificação especulativa, ReplaySSM guarda entradas dos tokens propostos e confirma o prefixo aceito movendo um ponteiro, sem copiar o estado inteiro para cada token.[13] Isso oferece outro caminho de avaliação: memória disponível para concorrência, não somente tempo de kernel.

Como aplicar

Antes de experimentar, confira se o modelo e a versão do motor de inferência realmente suportam a técnica. O artigo informa integrações com TensorRT-LLM, vLLM, SGLang e FlashInfer, mas isso não demonstra compatibilidade de qualquer combinação de versão e modelo.[13]

Prepare uma comparação com pesos, precisão, hardware e política de batching fixos. Varie a concorrência mantendo uma distribuição representativa de comprimentos de entrada e saída. Inclua solicitações curtas, longas e clientes que interrompem a geração.

Registre vazão, tempo até o primeiro token, latência por token, memória e erros. Meu critério de aceite seria aumentar a capacidade sem violar o objetivo de latência do usuário. Não force um batch enorme só para reproduzir um número de divulgação se a demanda real não forma esse lote.

Se alterar precisão, execute também uma avaliação de qualidade com tarefas de referência. Compare a configuração exata, inclusive o estado recorrente, e não apenas o formato dos pesos. Preserve uma configuração anterior para voltar caso a qualidade caia.

Cuidados e limites

O artigo separa leitura em baixa precisão de recorrência em maior precisão para reduzir o acúmulo de erro.[13] Nos testes de GPQA-Diamond, essa separação recuperou a maior parte da perda de acurácia, mas um dos quatro modelos ainda apresentou perda relevante.[13] Portanto, quantização não deve ser tratada como economia sem custo.

As saídas correspondem à decodificação convencional salvo diferenças de ponto flutuante, segundo os autores.[13] Minha decisão de adoção dependeria do workload medido. Comprar menos GPU é um resultado possível de uma avaliação, não uma conclusão que o nome ReplaySSM permite antecipar.

Fonte

[13] Fonte: NVIDIA Technical Blog