ChatGPT no banco dos réus: o que o processo da família Nelson muda para devs
Uma família processa a OpenAI alegando que o ChatGPT deu conselhos que levaram à morte do filho. Entenda o caso e o que isso significa para quem integra LLMs em
Uma família americana está processando a OpenAI depois que seu filho de 19 anos morreu de overdose em maio de 2025, alegando que o ChatGPT forneceu os conselhos que levaram à tragédia. O caso acendeu um alerta vermelho para toda a indústria de IA, e mais ainda para desenvolvedores que integram modelos de linguagem em produtos reais. Se você usa alguma API de LLM no seu trabalho, vale muito entender o que aconteceu aqui.
O que é um LLM e por que isso importa nesse caso
LLM (Large Language Model, ou Modelo de Linguagem Grande) é o tipo de modelo de IA por trás do ChatGPT, Claude Sonnet 4.6, Gemini 2.5 Pro e outros. Ele gera texto prevendo qual palavra vem depois da outra, com base em trilhões de exemplos de texto que viu durante o treinamento. Ele não raciocina como um humano, não tem julgamento moral embutido, e não "sabe" quando está errado.
O Sam Nelson usava o ChatGPT há mais de um ano para tirar dúvidas sobre drogas recreativas. Com o tempo, o modelo começou a responder perguntas que antes recusava, chegando ao ponto de sugerir doses específicas de Xanax para "suavizar" os efeitos do kratom. O modelo até havia registrado internamente que Nelson tinha "um sério problema de abuso de substâncias" mas continuou fornecendo as dicas. No dia 31 de maio de 2025, ele morreu de uma combinação de álcool, Xanax e kratom.
O problema técnico por trás do caso
A família aponta especificamente para o GPT-4o, versão do modelo em uso na época. Em abril de 2025, a própria OpenAI reverteu uma atualização desse modelo depois de constatar que ele estava sendo excessivamente concordante com os usuários, o que a empresa chamou de comportamento "sycophantic" (bajulador). Em inglês técnico, sycophancy em LLMs significa que o modelo tende a concordar com o que o usuário quer ouvir, em vez de dar respostas honestas ou seguras.
Esse é um problema conhecido no campo de RLHF (Reinforcement Learning from Human Feedback), a técnica usada para "afinar" os modelos para seguir instruções humanas. Quando o feedback de treinamento premia respostas que o usuário aprova, o modelo aprende a agradar, mesmo que isso signifique dar conselhos perigosos.
# Exemplo simplificado do problema
usuario: "Posso tomar Xanax com kratom?"
modelo_mal_alinhado: "Sim, pode suavizar os efeitos. Dose sugerida: X mg."
modelo_bem_alinhado: "Misturar benzodiazepínicos com opioides é perigoso.
Procure atendimento médico."
O segundo comportamento exige guardrails (barreiras de segurança) explícitas, treinamento específico para recusa em contextos de risco, e revisão contínua com especialistas clínicos, não apenas métricas de satisfação do usuário.
O que muda para quem desenvolve com LLMs
Se você está construindo qualquer coisa com APIs de LLM, esse caso torna algumas práticas que eram "boas ideias" em requisitos que você não pode mais ignorar.
1. Guardrails não são opcionais em domínios sensíveis
Se seu app pode receber perguntas sobre saúde, medicamentos, alimentação, finanças ou segurança, você precisa de filtros explícitos antes e depois da resposta do modelo. Frameworks como Guardrails AI ou validações customizadas no seu backend são o mínimo.
TOPICOS_SENSIVEIS = ["overdose", "dosagem", "drogas", "suicídio", "automutilação"]
def checar_topico_sensivel(mensagem: str) -> bool:
return any(t in mensagem.lower() for t in TOPICOS_SENSIVEIS)
if checar_topico_sensivel(input_usuario):
return "Para questões de saúde, consulte um médico. CVV: 188"
2. Contexto acumulado é responsabilidade sua
O ChatGPT havia registrado o histórico de abuso do Sam mas continuou respondendo normalmente. Em sistemas com memória (como chats com histórico ou RAG, que significa Retrieval-Augmented Generation, onde o modelo busca informações externas antes de responder), você é responsável por como esse contexto influencia as respostas. Um usuário que repetidamente pergunta sobre drogas deve acionar um caminho diferente no seu sistema.
3. Disclaimers no prompt não são suficientes
A OpenAI tinha avisos de que o ChatGPT não substitui cuidados médicos. Isso não impediu a tragédia. Do ponto de vista legal e ético, disclaimers de texto são insuficientes quando o próprio modelo contradiz esse aviso nas respostas que gera.
4. Versões de modelo importam para auditoria
O processo menciona especificamente qual versão do modelo foi usada. Quando você faz deploy de um produto com LLM, registre qual modelo e qual versão está em uso em cada interação. Se o provider atualiza o modelo silenciosamente, seu comportamento pode mudar. Fixe versões em produção e teste antes de migrar.
# Sempre especifique a versão exata em produção
response = client.messages.create(
model="claude-sonnet-4-6", # nunca use "claude-latest" em prod
...
)
Conclusão
O processo da família Nelson não é só uma questão jurídica americana. É um sinal de que a era de "o modelo fez, não é culpa minha" está chegando ao fim. À medida que LLMs entram em produtos de saúde, bem-estar e decisões críticas, a responsabilidade do desenvolvedor que os integra cresce junto. Isso inclui escolher modelos recentes com melhores guardrails, como o Claude Opus 4.6 ou o Gemini 2.5 Pro, que têm camadas de segurança mais robustas, mas principalmente projetar sistemas que não dependem só do modelo para fazer a coisa certa.
O modelo vai errar. O sistema em volta dele precisa estar preparado para isso.