Antes de comprar GPU, meça o tempo até a tarefa correta terminar

Fabio Akita comparou quantizações do Qwen3.8 Flash-Next em RTX 5090 e Strix Halo, incluindo configurações com Strata e Basalt.[4] O resultado mais útil não é um ranking universal de modelos. É a demonstração de que a escolha operacional envolve o conjunto inteiro: pesos, engine, memória, contexto e tarefa.

O que muda para quem desenvolve

Na RTX 5090, o Q2_0 com Strata gerou de 223 a 259 tokens por segundo; com Basalt, chegou a 377 a 400.[4] Mas a comparação envolve stacks completos, com packs e padrões de configuração diferentes, e não isola uma única otimização.[4] Atribuir toda a diferença a um recurso específico seria ir além do experimento.

O contraste no início da resposta é ainda mais importante: para a entrada longa de 42.400 tokens, o Q2_0 levou cerca de 6,9 segundos até o primeiro token na 5090 com Strata e aproximadamente 114 segundos no Strix Halo.[4] Uma aplicação interativa deveria avaliar essa espera separadamente da velocidade de geração.

O Strata distribui partes da carga entre GPU, RAM e SSD, e os arquivos comparados vão de aproximadamente 62 a 104 GiB.[4] Não confunda tamanho dos pesos com requisito isolado de VRAM.[4] Minha recomendação é dimensionar a máquina a partir do comportamento completo da carga, incluindo o espaço que precisa continuar disponível ao sistema.

Como aplicar

Escolha uma tarefa pequena do seu tipo de projeto e escreva critérios de conclusão antes da comparação. Por exemplo: corrigir uma regra de arredondamento, manter compatibilidade com uma interface existente e passar verificações funcionais que o agente não conhece.

Primeiro varie apenas a quantização, mantendo engine, contexto e limites iguais. Depois compare engines e registre todas as diferenças de configuração. Meça tempo até o primeiro token, duração total, pico de memória e correção do resultado. Separe execução fria de uma rodada que reutiliza estado.

Nos canários apresentados, Q2_0 e IQ3_S passaram todas as verificações funcionais nas três repetições por combinação avaliada.[4] Isso torna razoável investigar quantização agressiva, mas não autoriza presumir equivalência em qualquer código. Inclua casos difíceis do seu domínio e preserve os resultados incorretos para análise.

Cuidados e limites

O autor ressalva que os canários são menores que seu benchmark anterior, que três repetições não provam generalidade e que concorrência entre usuários não foi medida.[4] Um serviço compartilhado precisa de uma avaliação adicional de filas e latência sob carga.

O Basalt descrito é especializado em NVIDIA Blackwell, CUDA 13 e compute capability 12.0.[4] Não extrapole seus números para outra placa. A decisão de compra deveria usar custo por tarefa correta e orçamento total de operação, não o maior número de tokens por segundo de uma configuração alheia.

Fonte

[4] Fonte: AkitaOnRails