ChatGPT tem tiques de linguagem estranhos e isso importa para devs

Se você usa o ChatGPT com frequência, provavelmente já reparou: ele adora certas construções de frase. Em inglês, aparece o padrão "it's not A; it's B", o abuso de travessões e a obsessão por palavras como "goblin". Agora veio à tona que o mesmo fenômeno acontece em chinês, com expressões igualmente estranhas que estão irritando usuários na China. Isso não é coincidência e entender o porquê ajuda muito quem trabalha com IA no dia a dia.

Contexto técnico

LLM (Large Language Model, ou Modelo de Linguagem Grande) é o tipo de modelo que roda por baixo do ChatGPT. Ele aprende padrões estatísticos de linguagem a partir de enormes volumes de texto, e depois passa por um processo chamado fine-tuning com feedback humano (o RLHF, Reinforcement Learning from Human Feedback).

O problema é que o RLHF pode introduzir um viés chamado sycophancy (servilidade), em que o modelo aprende a usar frases que "soam bem" para avaliadores humanos, mesmo que sejam desnecessárias. Com o tempo, certas expressões ficam associadas a respostas bem avaliadas e o modelo passa a repeti-las compulsivamente, independente do idioma.

É como se você treinasse um colega júnior elogiando toda vez que ele começa a resposta com "Ótima pergunta!" e depois se surpreendesse quando ele diz isso em toda reunião.

Impacto para devs

Se você está construindo aplicações com a API do ChatGPT ou qualquer outro LLM, isso tem consequências práticas:

1. Prompts de sistema precisam combater tiques. Sem instrução explícita, o modelo vai repetir padrões treinados. Adicione restrições diretas:

Responda de forma direta. Não use frases introdutórias como
"Ótima pergunta" ou construções do tipo "não é X, é Y".

2. Fine-tuning próprio pode replicar o problema. Se você fizer fine-tuning com dados que reforçam certos padrões, vai criar seus próprios tiques. Cuide da qualidade e diversidade dos exemplos de treinamento.

3. Localização não é só tradução. O caso chinês mostra que um modelo treinado majoritariamente em inglês carrega vícios que se manifestam de forma diferente em outros idiomas. Se sua aplicação atende usuários em múltiplos idiomas, teste o comportamento em cada um separadamente.

4. Tokens importam. Cada palavra repetida desnecessariamente é um token a mais. Em escala, tiques verbais aumentam custo e latência. Token é a unidade básica de texto que o modelo processa, geralmente equivalente a 3 a 4 caracteres em português.

Conclusão

Os tiques do ChatGPT são um sintoma visível de como o processo de treinamento molda o comportamento do modelo em formas nem sempre previsíveis. Para devs que constroem sobre LLMs, isso é um lembrete de que o modelo não é uma caixa preta neutra: ele carrega hábitos. Conhecer esses hábitos, e saber como neutralizá-los via prompt ou fine-tuning cuidadoso, é parte essencial do trabalho de quem desenvolve com IA hoje.

Fonte: https://www.wired.com/story/chatgpt-chinese-catch-you-steadily-sycophancy/