PUBLICIDADE
Topo

Algoritmo racista: Twitter detalha como sua IA privilegia brancos em fotos

Lucas Santana

Colaboração para Tilt

20/05/2021 18h46Atualizada em 18/06/2021 12h51

O Twitter reconheceu publicamente o que muitas pessoas na rede social já desconfiavam: o mecanismo de inteligência artificial (IA) que recortava imagens postadas na plataforma privilegiava pessoas brancas.

Em post divulgado no seu blog oficial, a diretora de engenharia de software da empresa, Rumman Chowdhury, reconheceu o erro ao compartilhar os resultados de um experimento interno que avaliou o funcionamento do algoritmo.

Desde o início de maio, o Twitter não usa mais o algoritmo racista de recorte de fotos em seu aplicativo para Android e iOS, que agora mostra as imagens postadas pelo usuário sem cortes.

O que rolou

Em outubro do ano passado, pessoas na rede social viralizaram a tese de que, ao "cortar" uma imagem com pessoas de diferentes raças para um quadro de pré-visualização no feed, o algoritmo do Twitter preferia mostrar pessoas brancas.

As denúncias repercutiram tanto que levaram a empresa a conduzir um experimento interno com o sistema, conhecido como algoritmo de saliência.

Quando uma pessoa posta uma foto no Twitter, o algoritmo de saliência cria um quadro de visualização que destaca automaticamente um trecho da imagem, de uma forma que mostre seu conteúdo mais significativo.

Esse recorte é feito por uma inteligência artificial treinada para destacar aquilo que ela acha que uma pessoa gostaria de ver primeiro na imagem, determinando o que seria enquadrado na pré-visualização.

O que o Twitter descobriu

Nos últimos meses, o Twitter decidiu investigar para comprovar se seu algoritmo é mesmo racista ou não. O teste consistia em fazer o sistema reconhecer rostos de pessoas brancas e pretas em um banco de imagens aleatório criado para o experimento, com fotografias de indivíduos brancos e pretos, homens e mulheres.

Se o algoritmo fizesse suas escolhas de forma igualitária, não haveria diferença em quantas vezes cada cor e gênero ganhariam destaque. Mas não foi bem isso o que aconteceu.

O experimento interno do Twitter identificou padrões de potencial racista e sexista no seu algoritmo de recorte de fotos em quatro cenários:

  • Ao destacar elementos de uma imagem, há uma diferença geral de 4% na paridade demográfica que favorece pessoas brancas em detrimento de pessoas negras;
  • Ao comparar fotografias de mulheres pretas e brancas, o algoritmo mostrou 7% mais brancas;
  • Entre os homens negros e brancos, a diferença foi de 2% para os brancos;
  • Ao selecionar homens e mulheres, o algoritmo preferiu destacar as mulheres em 8% dos casos.

Após realizar o experimento, o próprio Twitter reconheceu que há falhas no algoritmo, e que, em uma imagem com muitas pessoas, não há uma "solução ideal" para identificar qual seria o verdadeiro destaque.

"Mesmo que o algoritmo de saliência fosse ajustado para refletir com igualdade perfeita entre gênero e raça, nos preocupamos com ofensas de representação de algoritmos automatizados quando pessoas não podem ser representadas da forma que queiram na plataforma. O algoritmo também apresenta potencial de ofensas no seu escopo de análise, inclusive insensível a nuances culturais", reconhece Chowdhury.

De acordo com a empresa, as descobertas do experimento serviram para desenvolver melhorias no sistema de destaques em imagens do Twitter, que já começaram a ser implementadas progressivamente nos sistemas Android e IOS desde o início do mês.

Se as mudanças surtirem efeito, em breve as pessoas poderão escolher manualmente o que destacar em um quadro de visualização ou mesmo optar que a imagem seja mostrada integralmente no feed, sem nenhum tipo de recorte.