Por que o ChatGPT ficou obcecado com goblins? A resposta é puro RL

O ChatGPT começou a mencionar goblins e gremlins do nada, em conversas que não tinham nada a ver com fantasia. Usuários estranharam, a OpenAI investigou e o resultado foi um relatório técnico que explica, de forma involuntariamente didática, como o processo de treinamento de LLMs pode produzir comportamentos inesperados que escapam do controle dos engenheiros.

Contexto técnico

Para entender o que aconteceu, vale esclarecer alguns termos. Um LLM (Large Language Model, ou modelo de linguagem grande) como o GPT 4.1 aprende em múltiplas etapas. Uma delas é o fine-tuning, que ajusta o modelo com exemplos específicos para um determinado comportamento. Outra é o RL (Reinforcement Learning, aprendizado por reforço), onde o modelo recebe "recompensas" por respostas consideradas boas e aprende a reproduzi-las.

O ChatGPT oferece diferentes "personalidades" configuráveis, como "nerd", "formal" ou "descontraído". A personalidade "nerdy" representava apenas 2,5% das consultas totais. Mesmo assim, 66,7% de todas as menções a goblins vieram desse grupo mínimo. O modelo foi recompensado por usar a palavra "goblin" em respostas no modo "nerdy" e, a partir daí, o comportamento se espalhou para outros modos.

Como a própria OpenAI explicou no relatório:

"O RL não garante que comportamentos aprendidos fiquem restritos à condição que os produziu. Uma vez que um estilo é recompensado, treinamentos posteriores podem espalhá-lo, especialmente se esses outputs forem reutilizados em dados de fine-tuning ou de preferência."

Em outras palavras: o modelo aprendeu que "goblin = boa resposta no modo nerd" e, sem uma fronteira explícita, começou a aplicar isso em outros contextos.

Impacto para devs

Se você trabalha com LLMs, seja usando a API da OpenAI, integrando modelos open source ou construindo seus próprios pipelines de fine-tuning, esse caso ilustra um risco real e pouco discutido: o vazamento de comportamento entre condições de treinamento.

Imagine que você treina um modelo de atendimento com exemplos de um nicho específico, digamos, suporte técnico para jogos. Se o modelo for reaproveitado em outro contexto sem isolamento adequado dos dados de preferência, ele pode carregar jargões, tons ou padrões que não fazem sentido no novo domínio.

Alguns pontos práticos para ficar de olho:

• Monitore distribuições de output, não apenas métricas de acurácia. Um token ou frase aparecendo com frequência anormal é sinal de alerta.
• Isole condições no fine-tuning. Se você treina comportamentos diferentes (formal vs. informal, por exemplo), garanta que os datasets de preferência não se misturem.
• Avalie por segmento. Uma métrica agregada boa pode esconder comportamentos estranhos em subgrupos pequenos, exatamente como aconteceu com os 2,5% "nerdy".
• Versione e audite prompts de sistema. A OpenAI aposentou a personalidade "nerdy" em março para conter o problema. Ter rastreabilidade de qual prompt estava ativo em qual período é essencial para debugar esse tipo de coisa.

Conclusão

O caso dos goblins parece piada, mas é um estudo de caso legítimo sobre como o aprendizado por reforço pode produzir efeitos colaterais não intencionais em LLMs. A boa notícia é que a OpenAI foi transparente e publicou o relatório completo. A lição para devs é clara: ao trabalhar com modelos que passam por RL ou fine-tuning, monitore o comportamento em granularidade fina, porque o diabo, nesse caso o goblin, está nos detalhes dos dados de treinamento.

Fonte: https://mashable.com/article/openai-chatgpt-goblins-explanation