Um estudo sobre sistemas de inteligência artificial identificou que modelos multimodais de grande porte podem reforçar associações racistas ao analisar imagens de pessoas. A pesquisa avaliou 14 modelos capazes de relacionar textos e fotografias e constatou que, após a ampliação dos dados de treinamento, aumentou em 65% a probabilidade de imagens de homens negros receberem a classificação de “criminoso”. Entre homens latinos, o crescimento chegou a 69%.
Intitulado The Dark Side of Dataset Scaling: Evaluating Racial Classification in Multimodal Models, o trabalho foi apresentado na conferência ACM FAccT de 2024. Os pesquisadores compararam modelos treinados em bases da LAION com 400 milhões e 2 bilhões de amostras, utilizando 597 fotografias padronizadas do Chicago Face Dataset. As imagens apresentavam pessoas com expressão, roupas e condições de iluminação semelhantes, reduzindo fatores que poderiam distorcer a comparação.
O resultado não significa que toda ferramenta de inteligência artificial tenha exatamente esse comportamento. O aumento de 65% apareceu nos modelos maiores da arquitetura ViT-L quando a base de treinamento passou de 400 milhões para 2 bilhões de amostras. Nos modelos menores analisados, o aumento da base reduziu essa associação em 20% para homens negros e em 47% para homens latinos.
Segundo os autores, os resultados mostram que simplesmente adicionar mais informações ao treinamento não elimina preconceitos. Quando as bases são montadas com conteúdos retirados da internet sem curadoria suficiente, estereótipos históricos presentes nesses dados podem ser reproduzidos e até ampliados pelos sistemas.
O estudo reforça o debate sobre o chamado racismo algorítmico, especialmente diante do uso crescente da IA em áreas como recrutamento, reconhecimento de imagens, segurança e produção de conteúdo. Os pesquisadores defendem auditorias independentes, maior transparência sobre os bancos de dados e mecanismos específicos para identificar e reduzir resultados discriminatórios.
