IA da OpenAI supera médicos em diagnósticos de emergência, diz Harvard
Estudo de Harvard mostra que o modelo o1 da OpenAI acertou 67% dos diagnósticos na triagem, contra 50-55% dos médicos. O que isso muda para devs de healthtech?
Um estudo publicado na revista Science pela Universidade Harvard e pelo Beth Israel Deaconess Medical Center revelou que o modelo o1 da OpenAI acertou diagnósticos de emergência com mais precisão do que médicos humanos em situações reais de pronto-socorro. O resultado acendeu o debate sobre o papel da IA na medicina e levanta questões práticas importantes para quem desenvolve sistemas com modelos de linguagem.
Contexto técnico
O estudo usou LLMs (Large Language Models, ou Modelos de Linguagem de Grande Escala) para interpretar dados clínicos reais. Um LLM é um modelo de IA treinado em enormes volumes de texto que consegue raciocinar, resumir e responder perguntas com linguagem natural, como faz o ChatGPT ou o Claude.
Os modelos testados foram o o1 e o 4o da OpenAI. Ambos receberam exatamente as mesmas informações que estavam disponíveis nos prontuários eletrônicos dos pacientes, sem nenhum pré-processamento, ou seja, dados brutos do sistema hospitalar.
O resultado: o modelo o1 chegou ao diagnóstico exato ou muito próximo em 67% dos casos de triagem, contra 55% de um médico e 50% do outro, avaliados pelos mesmos critérios e sem saber qual resposta era humana ou da IA.
Vale entender o termo triagem: é o primeiro ponto de avaliação no pronto-socorro, quando há menos informações disponíveis e maior urgência. É exatamente aí que o o1 se destacou mais.
Impacto para devs
Se você trabalha ou pretende trabalhar com healthtech (tecnologia para saúde), este estudo é referência direta. Alguns pontos práticos:
1. Input de texto ainda é o forte dos LLMs
Os próprios pesquisadores ressaltaram que os modelos foram testados apenas com dados em texto. Exames de imagem, áudios de ausculta, sinais vitais em formatos não textuais ainda limitam o desempenho. Se você for integrar LLMs num sistema clínico, planeje bem quais tipos de dados vai passar como contexto.
# Exemplo simplificado: enviando um prontuário como contexto
prompt = f"""
Você é um assistente médico. Com base no prontuário abaixo,
liste os 3 diagnósticos mais prováveis em ordem de prioridade.
Prontuário:
{dados_do_paciente}
"""
response = client.chat.completions.create(
model="o1",
messages=[{"role": "user", "content": prompt}]
)
2. Accountability ainda é um problema em aberto
Um dos médicos do estudo alertou que não existe "nenhum framework formal de responsabilidade" para diagnósticos feitos por IA. Para devs, isso significa que qualquer sistema clínico que use LLMs precisa de logs auditáveis, rastreabilidade de decisões e fluxo claro de aprovação humana. Não é só um problema ético, é um requisito de produto.
3. O contexto do benchmark importa muito
Uma médica de emergência apontou um problema metodológico: a comparação foi feita com médicos de clínica médica, não especialistas em pronto-socorro. Um LLM pode acertar mais num teste de neurociência do que um dermatologista, mas isso não quer dizer muita coisa na prática. Ao avaliar um modelo para sua aplicação, compare ele com o profissional correto para aquele contexto.
4. O estudo abre caminho para trials prospectivos
Os pesquisadores pedem "ensaios prospectivos em ambientes reais de cuidado ao paciente". Para a comunidade de devs, isso sinaliza uma janela de oportunidade para construir ferramentas de suporte à decisão clínica com metodologia rigorosa, não apenas demos impressionantes.
Conclusão
O estudo de Harvard não diz que a IA está pronta para substituir médicos. Diz que os modelos atuais já têm desempenho diagnóstico competitivo em texto, especialmente em triagem, onde o tempo é curto e a informação é escassa. Para quem escreve código, o recado é claro: LLMs já têm músculo suficiente para entrar em sistemas clínicos reais, mas a infraestrutura de confiança, responsabilidade e validação ainda é responsabilidade de quem projeta esses sistemas.