ChatGPT avalia currículos de pessoas com deficiência de forma negativa, aponta estudo

Um estudo recente revelou que o ChatGPT, ferramenta da OpenAI, apresenta preconceitos ao avaliar currículos que mencionam deficiências. Os pesquisadores identificaram estereótipos, como a crença de que pessoas com autismo não são bons líderes. A equipe utilizou currículos de diferentes deficiências para testar o sistema, constatando que menções a honrarias e credenciais relacionadas a deficiências resultavam em avaliações mais baixas.

Os resultados foram apresentados na Conferência ACM de 2024 sobre Justiça, Responsabilidade e Transparência no Rio de Janeiro. A pesquisa, liderada por Kate Glazko, estudante de doutorado da Universidade de Washington, buscou entender como sistemas de IA tratam currículos que indicam deficiências.

Após personalizar o ChatGPT com instruções para evitar preconceitos, houve melhorias em cinco das seis deficiências testadas: surdez, cegueira, paralisia cerebral, autismo e deficiência em geral. No entanto, currículos que mencionavam autismo e depressão continuaram a ser classificados de forma negativa.

Os pesquisadores usaram o currículo de um dos autores do estudo, com cerca de 10 páginas, para criar seis versões aprimoradas, cada uma sugerindo uma deficiência distinta. Estes currículos foram submetidos ao GPT-4, que mostrou um viés ao classificar currículos com referências a deficiências, colocando-os em primeiro lugar apenas em um quarto das vezes.

Jennifer Mankoff, coautora do estudo e professora na Allen School da UW, destacou que em um cenário justo, currículos aprimorados deveriam ser sempre bem classificados. A pesquisa sugere que, mesmo com personalizações, os preconceitos podem persistir e é necessário mais trabalho para corrigir esses vieses.

A importância de aumentar a conscientização sobre os preconceitos da IA e promover a inclusão no mercado de trabalho foi ressaltada, com ações de organizações como ourability.com e inclusively.com sendo destacadas. O estudo também sugere a necessidade de testar outros sistemas de IA, como o Gemini da Google e o Llama da Meta, para documentar e corrigir preconceitos de forma mais abrangente.