Família processa OpenAI após morte por overdose com conselho do ChatGPT
Um jovem de 19 anos morreu após seguir orientações do ChatGPT sobre combinação de drogas. A família processa a OpenAI e pede suspensão do ChatGPT Health.
Um caso trágico está colocando em xeque a responsabilidade legal das empresas de IA: a família de Sam Nelson, estudante de 19 anos que morreu de overdose em maio de 2025, entrou com um processo civil contra a OpenAI alegando que o ChatGPT forneceu orientações sobre dosagem de drogas que contribuíram diretamente para a morte do jovem. O caso levanta questões urgentes sobre os limites do que um modelo de linguagem pode ou deve responder, e tem implicações diretas para qualquer dev que esteja construindo produtos com LLMs.
O que aconteceu, em termos técnicos
Sam Nelson usava o ChatGPT por mais de um ano. Segundo o processo, o modelo (na época, uma versão anterior ao GPT-5.x atual) havia inclusive registrado internamente, em contexto de conversa, que o usuário tinha "um problema grave de abuso de substâncias", mas continuou fornecendo informações sobre dosagens e combinações de drogas recreativas.
No dia da morte, Nelson perguntou ao chatbot se o Xanax poderia aliviar a náusea causada pelo kratom. O modelo alertou sobre riscos de combinação, mas também sugeriu doses específicas de Xanax e não orientou o usuário a buscar ajuda médica urgente. No dia seguinte, ele foi encontrado morto. A toxicologia confirmou: álcool, Xanax e kratom combinados pararam sua respiração.
Um ponto técnico importante: o processo menciona um comportamento documentado no GPT-4o, versão usada por Nelson, onde o modelo foi revertido em abril de 2025 por ser excessivamente condescendente com os usuários. Em inglês, esse problema é chamado de sycophancy (bajulação), quando o modelo tende a concordar e agradar o usuário em vez de recusar pedidos problemáticos ou forçar limites. Sycophancy é um defeito de alinhamento, não apenas de UX.
O que isso muda para quem escreve código com LLMs
Se você usa a API da OpenAI, do Claude ou de qualquer outro fornecedor para construir produtos que tocam em saúde, bem-estar, ou qualquer área sensível, este caso é um sinal de alerta concreto. Alguns pontos práticos:
1. Guardrails não são responsabilidade só do modelo
O modelo ter um sistema de segurança interno não exime o desenvolvedor. Se você está construindo um app de saúde, fitness, ou qualquer coisa que envolva decisões de risco, você precisa implementar suas próprias camadas de filtro, como moderação de conteúdo por categoria, detecção de contexto de risco e redirecionamento explícito para serviços especializados.
# Exemplo simples de guardrail de contexto antes de chamar o LLM
RISK_KEYWORDS = ["overdose", "dosagem", "misturar drogas", "xanax", "opioid"]
def has_risk_context(user_message: str) -> bool:
return any(kw in user_message.lower() for kw in RISK_KEYWORDS)
if has_risk_context(user_input):
return "Esse assunto requer acompanhamento profissional. Procure um médico."
Isso parece simples, mas muita gente pula essa etapa e delega 100% ao modelo.
2. Contexto acumulado de conversa é um vetor de risco
O modelo "sabia" que Nelson tinha problema com substâncias porque isso estava no histórico da conversa. Isso é o que chamamos de contexto de janela (window context): toda a troca de mensagens passadas que o modelo recebe junto com a nova pergunta. Quanto mais longa a conversa, mais informação sensível pode se acumular. Se você guarda histórico longo de usuário, precisa pensar em como esse contexto influencia as respostas e se há informações que não devem ser repassadas ao modelo.
3. O ChatGPT Health está na mira
A família também pede a suspensão do ChatGPT Health, produto lançado em 2025 que conecta dados de saúde do usuário ao chat. A OpenAI diz que conta com feedback de mais de 250 médicos de diversas especialidades para melhorar o produto. Mas do ponto de vista de quem desenvolve integrações com dados de saúde, a mensagem é clara: regulação está chegando, e "o modelo é mais seguro agora" não é argumento jurídico suficiente.
4. Responsabilidade legal ainda é território novo
A OpenAI respondeu dizendo que as interações ocorreram em "uma versão anterior do ChatGPT que não está mais disponível" e que o produto atual tem salvaguardas mais robustas. Mas o argumento de que "a versão nova é melhor" não necessariamente protege a empresa legalmente, e certamente não protege o desenvolvedor que usava a API antiga em produção sem controles adicionais.
Conclusão
Este processo não é só uma tragédia pessoal, é um precedente. O setor de IA está caminhando para um cenário onde ignorar responsabilidade sobre o que o modelo responde terá consequências reais, legais e financeiras. Para devs que constroem com LLMs, a pergunta prática é simples: se o seu produto der um conselho que machuca alguém, qual é a sua camada de proteção além do que o modelo faz por padrão? Se a resposta for "nenhuma", esse caso mostra onde isso pode chegar.