FairStress: uma decisão correta do LLM pode continuar frágil sob pressão

O Ai2 lançou o FairStress para avaliar vieses demográficos considerando não só a decisão inicial de um LLM, mas também sua resistência a argumentos persuasivos equivalentes.[10] A premissa é que duas respostas finais aparentemente adequadas podem esconder diferenças na facilidade com que o modelo abandona cada uma delas.[10] Para quem desenvolve sistemas de decisão, isso muda o objeto do teste.

O que muda para quem desenvolve

O benchmark parte de 300 cenários com dois candidatos em 29 domínios, varia formas de apresentação da identidade e aplica argumentos adversariais pareados.[10] Sua definição de equidade é centrada em igualdade e simetria de tratamento, não em todas as concepções possíveis de justiça.[10] Essa escolha precisa acompanhar qualquer interpretação dos números.

Nos 15 modelos avaliados no conjunto completo, a diferença média na propensão a abandonar respostas corretas foi de 6,9 pontos percentuais com identidade implícita e 9,3 com rótulos explícitos.[10] Os autores observaram maior facilidade de persuasão quando a mudança favorecia candidatos associados a grupos minoritários, dentro daquele desenho experimental.[10] Isso não estabelece uma regra universal para qualquer aplicação.[10]

Minha leitura é que a estabilidade da decisão deveria fazer parte do contrato do produto. Se o sistema aceita um argumento sem evidência suficiente em uma variante e o rejeita em outra equivalente, um teste só da primeira resposta não captura o problema.

Como aplicar

Defina primeiro os critérios legítimos da tarefa com responsáveis pelo domínio. Construa casos com as mesmas qualificações e troque somente a identidade apresentada. Inclua casos claros e casos realmente ambíguos, sem misturar os dois grupos na análise.

Para cada par, registre a escolha inicial, a justificativa e a resposta a argumentos de pressão equivalentes. Verifique também se a mudança preserva a acurácia nos casos claros. O experimento deve distinguir resistência indevida de resistência desejável: mudar diante de nova evidência legítima não é o mesmo que ceder à persuasão.

Use revisão humana para examinar diferenças relevantes e documente a política que deveria orientar cada decisão. Não peça ao próprio modelo uma garantia genérica de imparcialidade e use essa garantia como resultado da avaliação.

Cuidados e limites

O estudo relata que template, formulação e formato de resposta podem mudar inclusive a direção do viés medido na comparação com o benchmark BBQ.[10] Portanto, avalie o formato efetivamente usado no produto, não apenas uma variante conveniente de laboratório.

Entre as intervenções estudadas, pedir reavaliação com identidades trocadas foi mais promissor, mas não eliminou todos os vieses em casos ambíguos.[10] Uma intervenção por alteração de ativações reduziu a acurácia de um modelo de 98% para 47% nos casos claros.[10] Mitigação também precisa de teste de regressão. Em decisões de maior impacto, mantenha supervisão humana e critérios documentados; uma boa pontuação não deve ser confundida com autorização para delegar qualquer decisão sobre pessoas.

Fonte

[10] Fonte: Hugging Face Blog / Ai2