Sistema que reconhece gays por fotos mostra lado assustador de algoritmos

A inteligência artificial está ficando cada vez mais assustadora. Em um estudo polêmico, pesquisadores da Universidade de Stanford demonstraram que a tecnologia de reconhecimento facial pode identificar os homossexuais com uma precisão surpreendente, embora muitas advertências se apliquem. Imagine como isso poderia ser usado em muitos países onde a homossexualidade é um delito criminal.

O autor principal do estudo sobre o "radar gay", apelidado de "gaydar", Michal Kosinski, argumenta que ele meramente mostra às pessoas o que é possível, para que elas possam tomar as medidas adequadas para prevenir abusos. Não me convence.

• Como as empresas tentam impedir que as máquinas se voltem contra você 
• Facebook explica como usa inteligência artificial para combater terrorismo

Quando as pessoas ouvem falar de algoritmos que reconhecem as pessoas através de máscaras, encontram terroristas e identificam criminosos, elas tendem a pensar em filmes distópicos como "Minority Report", em que Tom Cruise impedia assassinatos com a ajuda de "precogs" -- seres humanos com pressentimentos sobrenaturais, embora fatalmente falhos, causados por uma doença neurológica na infância.

A realidade é muito pior. Não temos essa pré-cognição. Nós temos algoritmos que, embora melhores do que a adivinhação aleatória e, às vezes, mais precisos que o julgamento humano, estão muito longe de serem perfeitos. No entanto, eles estão sendo representados e comercializados como se fossem ferramentas científicas com precisão matemática, muitas vezes por pessoas que deveriam ter mais cuidado.

Compromisso ético

Este é um abuso da confiança pública na ciência e na matemática. Os cientistas de dados têm o dever ético de alertar a população sobre os erros que esses algoritmos inevitavelmente cometem -- e as tragédias que podem implicar.

Esse é o argumento que defendi recentemente em uma conversa com Kosinski, que também é famoso por ter criado o algoritmo de análise de perfil psicológico "Magic Sauce", que a Cambridge Analytica posteriormente adaptou para fazer campanha tanto para o Brexit quanto para Donald Trump.

Sua resposta foi que nós dois estamos tentando alertar o mundo sobre os perigos potenciais do big data, mas com métodos diferentes. Ele mostra ao mundo as "versões de brinquedo" de algoritmos que podem ser, e com certeza estão sendo, construídos com dados maiores e melhores em outros lugares -- e ele não obtém nenhuma renda dos aplicativos comerciais. Um protótipo acadêmico, se você preferir.

Não creio nisso. É como construir bombas para reclamar dos perigos da guerra. Até mesmo as "versões de brinquedo" podem ser muito destrutivas quando as pessoas acreditam demais nelas. E elas acreditam, e é por isso que empresas como a Cambridge Analytica podem ganhar dinheiro vendendo seu "molho secreto".

Considere o algoritmo do radar gay. Um governo poderia usá-lo para atacar os civis, declarando que certas pessoas são de "gênero atípico" e "criminalmente gays" porque o algoritmo diz isso -- sem dar-lhes a possibilidade de apelar, porque trata-se de "matemática pura". Já vimos esse mesmo cenário em outros contextos, por exemplo, com avaliações algorítmicas de professores de escolas públicas. A diferença é que, em vez de perder o emprego, as pessoas podem perder a liberdade -- ou pior.

Quem trabalha com big data precisa se proteger disso. É claro que os regimes opressivos não precisam de algoritmos para serem opressivos. Mas não deveríamos permitir que eles apelem para a autoridade da matemática e da ciência ao fazê-lo. Devemos obrigá-los a cometer suas atrocidades em plena luz do dia. Devemos expor a natureza política desses atos, pois as lutas políticas pelo menos podem ter uma possibilidade de vitória a longo prazo.

Quando perguntei a Kosinski sobre isso, ele pareceu mais preocupado com o bom funcionamento do algoritmo do que com a falsa pretensão de autoridade científica. Talvez ele ache que todo mundo compreende as falhas. Talvez ele acredite que seja apenas questão de tempo para que os algoritmos que identificam criminosos e terroristas se tornem muito mais precisos -- embora ele reconheça que há poucos motivos para achar que os resultados de seu radar gay se traduziriam para outros países.

Duvido que eu tenha conseguido convencê-lo a parar de construir modelos assustadores para demonstrar até que ponto as coisas podem se tornar assustadoras. Por isso, fique atento.

Esta coluna não reflete necessariamente a opinião do conselho editorial nem da Bloomberg LP e de seus proprietários.