Qwen lendo pesos: uma demonstração interessante não prova autoaperfeiçoamento geral

Simon Willison reproduziu parte de uma pesquisa sobre programação no espaço de pesos usando Qwen 3.8 27B localmente.[15] No experimento escolhido, o modelo recebe em texto os pesos de pequenas redes treinadas para jogos simplificados e tenta identificar o jogo sem executar código nem usar calculadora.[15]

A demonstração merece atenção, mas o escopo precisa ficar intacto. Interpretar números de uma rede pequena não é a mesma alegação que modificar um modelo com ferramentas, muito menos demonstrar autoaperfeiçoamento geral.

O que muda para quem desenvolve

Os prompts de Breakout, Pong, Pac-Man e Freeway são iguais fora os valores dos pesos, e os materiais e registros estão disponíveis para reprodução.[15] Na execução relatada, o Qwen identificou Pac-Man, Pong e Breakout, mas classificou Freeway incorretamente como um jogo parecido com Pac-Man.[15]

O custo também faz parte do resultado: Pac-Man levou 46 minutos e doze segundos, Pong mais de uma hora e Breakout 52 minutos e 25 segundos.[15] Willison utilizou uma quantização de aproximadamente 17 GB e precisou aumentar a janela de contexto e o timeout.[15]

Minha leitura é que o valor imediato está em testar uma capacidade específica com entradas controladas e custo observável. Eu não usaria o resultado isolado para justificar compra de hardware, substituir ferramentas de análise ou anunciar uma mudança geral na forma de programar.

Como aplicar

Se quiser reproduzir a ideia, preserve os prompts públicos e registre exatamente o modelo, a quantização e as configurações usadas. Defina antes o orçamento de tempo e memória. Não introduza execução de código numa tentativa que pretende avaliar interpretação sem ferramentas.

Faça várias tentativas e avalie cada classificação contra o jogo conhecido. Registre acertos, erros, duração, tokens e condições de interrupção. Separe uma execução que falhou por limite de contexto de outra que terminou com resposta errada. São falhas distintas para fins de engenharia.

Como extensão proposta, compare uma condição sem ferramentas com outra em que ferramentas são permitidas. Mantenha os resultados separados. Se houver melhora, investigue qual parte veio do raciocínio textual e qual veio da computação adicional. Isso evita atribuir a uma capacidade isolada o resultado de um sistema mais amplo.

Cuidados e limites

O artigo também menciona alegações do trabalho original sobre editar uma pequena fração dos pesos de outro modelo, mas não apresenta essas mudanças como demonstração feita pelo Qwen local.[15] Os percentuais de confiança emitidos nas respostas tampouco são uma medição independente de calibração.[15]

Minha recomendação é distinguir sempre o que foi reproduzido, o que foi apenas citado e o que permanece hipótese. O caso pode orientar experimentos de capacidade local, mas não elimina a necessidade de múltiplas tentativas e tarefas de controle. Uma resposta correta após quase uma hora é um dado interessante. Transformá-la em promessa de autonomia ampla seria trocar medição por narrativa.

Fonte

[15] Fonte: Simon Willison