RAG para revisar propostas: a crítica precisa apontar o trecho que a sustenta

O LitPivot, desenvolvido pelo Ai2 com colaboradores da Universidade da Pensilvânia, organiza a revisão de propostas em problema, contribuição e plano de avaliação.[15] O pesquisador escolhe os trabalhos que fundamentam a crítica e recebe sugestões acompanhadas dos trechos que sustentam os argumentos.[15]

Para quem desenvolve produtos com RAG, esse é um desenho mais interessante do que apenas acrescentar uma lista de documentos ao final da resposta. O usuário precisa conseguir examinar a relação entre a evidência recuperada e a mudança sugerida. Uma fonte relevante para o tema pode continuar sendo insuficiente para uma conclusão específica.

O que muda para quem desenvolve

A seleção da dimensão da proposta altera a organização e a relevância dos artigos recuperados pelo Asta Paper Finder.[15] Quando a contribuição muda, o sistema também sinaliza possíveis incoerências em outras partes, como um plano de testes que deixou de avaliar a pergunta correta.[15]

Minha análise: uma proposta deve ser tratada como um conjunto de compromissos relacionados. Mudar o diferencial sem revisar a avaliação pode produzir um documento mais convincente e menos testável. O agente deveria ajudar a expor essa divergência, não apenas melhorar a redação de cada seção isoladamente.

Como aplicar

Use uma ideia de produto de baixo risco e escreva três blocos: problema observável, diferença proposta e teste que poderia refutá-la. Reúna um pequeno conjunto de documentos pertinentes e permita que uma pessoa selecione quais entram na análise.

Peça à ferramenta uma crítica por vez, com o trecho de apoio, a parte da proposta afetada e a alteração recomendada. Avalie manualmente se o trecho realmente sustenta a crítica ou se apenas compartilha palavras-chave. Registre também sugestões rejeitadas e o motivo.

Depois altere deliberadamente a contribuição e verifique se o plano de avaliação continua coerente. O experimento passa quando o sistema identifica a relação e permite aceitar, editar ou rejeitar a sugestão. Não exija que ele declare a ideia inédita; exija que torne suas objeções auditáveis.

Cuidados e limites

No estudo de laboratório relatado, 17 pesquisadores compararam LitPivot com uma combinação de editor e ferramenta de conversa usando a mesma coleção de artigos.[15] Avaliadores de domínio, sem saber qual ferramenta havia sido usada, deram notas melhores ao embasamento das propostas do LitPivot; houve ainda um estudo adicional com cinco pesquisadores em projetos próprios.[15]

Esses resultados não provam que a ferramenta produz descobertas inéditas, e o texto reconhece limitações na avaliação automática de novidade.[15] Para um produto, mantenha a mesma cautela: uma crítica mais bem documentada não valida demanda, viabilidade ou vantagem comercial. Ela melhora a qualidade da discussão que precede esses testes, sem substituir o julgamento de quem precisa decidir.

Fonte

[15] Fonte: Hugging Face Blog