Gerar Python válido não basta: o laboratório de Akita expõe a distância até um agente

Fabio Akita publicou um laboratório educacional de treinamento de um LLM com pesos iniciados aleatoriamente, tokenizer próprio, pré-treino e ajuste supervisionado.[17] O modelo final tem aproximadamente 337 milhões de parâmetros e foi exposto a 10 bilhões de tokens no pré-treino, usando uma RTX 5090 de 32 GB.[17] O relato não o apresenta como concorrente de modelos comerciais nem como agente útil já comprovado.[17]

O que muda para quem desenvolve

Nas avaliações locais, o modelo acertou 68 de 100 funções simples no conjunto de desenvolvimento e 58 de 100 tarefas reservadas.[17] Nos testes sobre repositórios, ficou em zero de quatro tarefas, sem chamadas de ferramenta.[17] Muitas respostas tinham Python válido e assinatura correta, mas semântica errada.[17]

A leitura de engenharia é separar formato, habilidade e conclusão. Um servidor que aceita um protocolo não demonstra que o modelo aprendeu a usá-lo. Um arquivo que passa pelo parser não demonstra que resolve a tarefa. Cada camada precisa de uma evidência própria.

O projeto inclui um servidor compatível com a API de chat da OpenAI e integração com o OpenCode, mas o ajuste final era voltado a respostas de código, sem trajetórias de leitura, edição, validação e recuperação de erros.[17] A compatibilidade do encanamento não deve entrar na apresentação como capacidade aprendida.

Como aplicar

Para avaliar um modelo especializado, defina antes o comportamento que interessa. Se a meta é operar num repositório, inclua leitura de arquivos, escolha de ferramentas, alteração, execução de verificações e resposta a falhas. Não use apenas acerto de funções isoladas como substituto desse ciclo.

Separe os dados por unidades que reduzam contaminação entre treino e avaliação, e guarde uma versão reservada das tarefas. No laboratório, os dados foram fixados por revisão e hash, deduplicados e separados por repositório ou conversa.[17] Aproveite essa disciplina, mas mantenha as conclusões limitadas ao que o teste realmente cobre.

Teste também o contexto com tarefas de recuperação de informação. A janela alocada era de aproximadamente 32 mil tokens, mas o treino usava janelas de 2.048 e as sondagens longas falharam.[17] Em uma decisão de produto, recomendo medir memória útil na tarefa em vez de usar capacidade nominal como argumento suficiente.

Cuidados e limites

O autor relata 137 horas de processo de treinamento e estima um teto próximo de R$ 80 em eletricidade.[17] Esse custo marginal não inclui compra da GPU nem tempo de engenharia.[17] Compará-lo diretamente com o preço total de outra solução distorceria a análise.

O relato também observou que menor perda de validação podia acompanhar pior desempenho em código executado.[17] Treinar trajetórias de ferramentas e ampliar contexto progressivamente aparecem como próximos passos não executados.[17] Para um produto, compare primeiro alternativas pré-treinadas e meça tarefa concluída. O laboratório ensina bastante justamente por não esconder onde a demonstração termina.

Fonte

[17] Fonte: AkitaOnRails