Strata e LLM local: tokens por segundo não medem a experiência inteira

Fabio Akita apresentou o Strata executando o Qwen3.8 Flash-Next, modelo de 125 bilhões de parâmetros com cerca de 6 bilhões ativos por token, em uma máquina pessoal.[9] No teste particular do autor, a variante IQ3_S em uma RTX 5090 obteve nota 91 e resolveu os 14 defeitos plantados, dois após sua revelação.[9] É um resultado daquele protocolo, não uma classificação universal de qualidade.

O que muda para quem desenvolve

O Strata usa a VRAM como cache de especialistas, mantém o conjunto na RAM e utiliza uma tabela de consulta no SSD; a CPU processa boa parte dos especialistas ausentes do cache.[9] Na máquina do autor, a taxa de acerto ficava normalmente entre 90% e 97%.[9]

Essa arquitetura torna importante distinguir capacidade de memória de velocidade de acesso. Minha análise é que conseguir carregar o modelo responde apenas à primeira pergunta. A segunda é se a máquina consegue atendê-lo sem comprometer o restante do trabalho.

Mesmo com Ryzen 9 7950X3D, 96 GB de RAM e 32 GB de VRAM, o teste pressionou recursos, utilizou swap e prejudicou aplicativos do desktop.[9] Reservar aproximadamente 2,5 GB de VRAM com --vram-elastic melhorou a convivência, reduzindo o cache disponível.[9] Aqui existe um compromisso real entre inferência e uso interativo da máquina.

Como aplicar

Antes de comprar hardware, defina uma bateria pequena de tarefas reais: corrigir um defeito, interpretar um módulo e executar chamadas de ferramenta. Use critérios de aceitação independentes da resposta do modelo.

Meça carga a frio, tempo até a primeira resposta, duração total, consumo de RAM, pressão sobre o desktop e qualidade final. Repita com duas solicitações simultâneas para observar a fila. No servidor descrito, o padrão é atender uma requisição por vez, fazendo subagentes paralelos aguardarem.[9]

O autor também implementou um proxy que carrega o motor sob demanda e o encerra após inatividade; a versão inicial encerrava inferências longas sem emissão de bytes.[9] Se reproduzir esse padrão, teste uma requisição ativa e silenciosa: ausência de streaming não deve ser confundida com ociosidade.

Cuidados e limites

Os números de aproximadamente 159 tokens por segundo na 5090 não devem ser extrapolados para GPUs menores.[9] O mínimo declarado de 32 GB combinando RAM e VRAM corresponde a uma variante mais comprimida; a IQ3_S exige cerca de 64 GB de RAM.[9]

O benchmark de qualidade usou contexto de 128 mil tokens, e a qualidade não foi reavaliada na janela posterior de 256 mil.[9] Compare custo e experiência com uma API hospedada usando a mesma tarefa. Caber no computador é um requisito; ser útil nele é outro.

Fonte

[9] Fonte: AkitaOnRails