Passou batido: o próprio Facebook criou vídeos com conteúdo extremista

A animação começa com uma foto das bandeiras negras da jihad. Segundos depois, são mostrados os destaques de um ano de postagens nas mídias sociais: placas de versos antissemitas, conversas sobre retribuição e uma foto de dois homens carregando mais bandeiras jihadistas enquanto queimam a bandeira americana.

O vídeo não foi produzido por extremistas; foi criado pelo Facebook. Em uma jogada inteligente de autopromoção, a gigante das mídias sociais recebe um ano do conteúdo de um usuário e gera automaticamente um vídeo comemorativo. Neste caso, o usuário se chamava "Abdel-Rahim Moussa, o califado".

"Obrigado por estar aqui, do Facebook", conclui o vídeo em uma bolha de desenho animado antes de exibir o famoso "joinha" da empresa.

O Facebook gosta de dar a impressão de que está à frente dos extremistas ao derrubar suas postagens, muitas vezes antes mesmo que os usuários os vejam. Mas uma queixa de um denunciante confidencial à Comissão de Valores Mobiliários obtida pela Associated Press alega que a empresa de mídia social exagerou em seu sucesso. Pior ainda, isso mostra que a empresa está inadvertidamente fazendo uso de propaganda por grupos militantes para gerar vídeos e páginas que poderiam ser usados por redes de extremistas.

De acordo com a denúncia, durante um período de cinco meses no ano passado, os pesquisadores monitoraram as páginas de usuários que se afiliaram a grupos que o Departamento de Estado dos EUA designou como organizações terroristas.

Nesse período, 38% dos posts com símbolos proeminentes de grupos extremistas foram removidos. Em sua própria análise, a AP descobriu que, a partir deste mês, grande parte do conteúdo proibido citado no estudo —como um vídeo de execução, imagens de cabeças decepadas e propaganda honrando militantes martirizados— escapou dos algoritmos e ficou fácil de ser encontrado no Facebook .

A denúncia está ocorrendo enquanto o Facebook tenta tomar a dianteira diante de uma crescente gama de críticas sobre suas práticas de privacidade e sua capacidade de manter o discurso de ódio, assassinatos transmitidos ao vivo e suicídios fora de seu serviço.

Sobre as críticas, o executivo-chefe Mark Zuckerberg falou de seu orgulho pela capacidade da empresa de eliminar automaticamente os posts violentos por meio da inteligência artificial. Durante uma chamada no mês passado, por exemplo, ele repetiu uma declaração cuidadosamente redigida que o Facebook vem empregando.

"Em áreas como terrorismo, para conteúdos relacionados à Al-Qaeda e ao EI, 99% desse conteúdo é derrubado, e nossos sistemas o sinalizam de maneira proativa antes que alguém o veja", disse ele. Então ele acrescentou: "Isso é o que realmente parece ser bom".

Zuckerberg não ofereceu uma estimativa de quanto do material total proibido está sendo removido.

A pesquisa por trás da queixa da Comissão de Títulos e Câmbio dos EUA visa destacar as falhas gritantes na abordagem da empresa. No ano passado, os pesquisadores começaram a monitorar usuários que se identificaram explicitamente como membros de grupos extremistas. Não foi difícil documentar. Algumas dessas pessoas até listam os grupos extremistas como seus empregadores.

Um perfil colocou a bandeira negra de um grupo afiliado da Al Qaeda e listou como seu empregador, talvez de forma frívola, o Facebook. O perfil que tinha um vídeo gerado automaticamente com a a bandeira sendo queimada também postou um vídeo do líder da Al Qaeda, Ayman al-Zawahiri, pedindo que os grupos jihadistas não lutem entre si.

Embora o estudo esteja longe de ser abrangente —em parte porque o Facebook raramente divulga publicamente seus dados— pesquisadores envolvidos no projeto dizem que a facilidade de identificar esses perfis usando uma pesquisa básica de palavras-chave e o fato de que tão poucos foram removidos sugerem que as alegações do Facebook de que seus sistemas captam a maior parte do conteúdo extremista não são precisas.

"Quero dizer, isso é apenas esticar a imaginação para além da incredulidade", diz Amr Al Azm, um dos pesquisadores envolvidos no projeto. "Se um pequeno grupo de pesquisadores pode encontrar centenas de páginas de conteúdo por meio de pesquisas simples, por que uma empresa gigante com todos os seus recursos não consegue?"

Al Azm, professor de história e antropologia na Universidade Shawnee State, em Ohio, também dirigiu um grupo na Síria documentando o saque e o contrabando de antiguidades.

O Facebook admite que seus sistemas não são perfeitos, mas diz que está fazendo melhorias.

"Depois de fazer investimentos pesados, estamos detectando e removendo conteúdo de terrorismo com uma taxa de sucesso muito maior do que há dois anos", disse a empresa em um comunicado. "Não estamos afirmando que encontramos tudo, e seguimos vigilantes em nossos esforços contra grupos terroristas em todo o mundo".

Reagindo aos relatórios da AP, o deputado Bennie Thompson, presidente do Comitê de Segurança Doméstica da Câmara dos EUA, expressou frustração pelo fato de o Facebook ter feito tão pouco progresso no bloqueio de conteúdo, apesar das garantias que recebeu da empresa.

"Este é mais um exemplo profundamente preocupante da incapacidade do Facebook de gerenciar suas próprias plataformas —e até que ponto precisa limpar seus atos", disse ele. "O Facebook não deve apenas livrar suas plataformas de conteúdo terrorista e extremista, mas também precisa ser capaz de evitar que ele seja amplificado".

Mas como uma indicação clara de quão facilmente os usuários podem escapar do Facebook, uma página de um usuário chamada "Nawan al-Farancsa" tem um cabeçalho cuja letra branca em um fundo preto diz em inglês "O Estado Islâmico". A imagem é pontuada com um foto de uma nuvem de cogumelo explosiva que cresce em uma cidade.

O perfil deveria ter chamado a atenção do Facebook —bem como das agências de inteligência. Foi criado em junho de 2018, lista o usuário como vindo da Chechênia, um conhecido local de militância. Diz que ele morava em Heidelberg, Alemanha, e estudou em uma universidade na Indonésia. Alguns dos amigos do usuário também postaram conteúdo militante.

A página, ainda ativa nos últimos dias, aparentemente escapou dos sistemas do Facebook por causa de uma óbvia e longa evasão de moderação que o Facebook deveria reconhecer: as letras não eram texto pesquisável, mas sim embutidas em um bloco gráfico. Mas a empresa diz que sua tecnologia analisa áudio, vídeo e texto —inclusive quando está embutido— para imagens que refletem violência, armas ou logotipos de grupos proibidos.

A gigante das redes sociais passou por dois anos difíceis a partir de 2016, quando o uso da mídia social pela Rússia para se intrometer nas eleições presidenciais dos EUA entrou em foco. Zuckerberg inicialmente minimizou o papel que o Facebook desempenhou na operação de influência da inteligência russa, mas depois a empresa pediu desculpas.

O Facebook afirma que agora emprega 30 mil pessoas que trabalham em suas práticas de segurança e proteção, revisando material potencialmente prejudicial e qualquer outra coisa que não possa pertencer ao site. Ainda assim, a empresa está colocando muita fé na inteligência artificial e na capacidade de seus sistemas de eliminar coisas ruins sem a ajuda de humanos. A nova pesquisa sugere que a meta está muito distante e alguns críticos alegam que a empresa não está fazendo um esforço sincero.

Quando o material não é removido, ele é tratado da mesma forma que qualquer outro post publicado pelos 2,4 bilhões de usuários do Facebook, que são celebrados em vídeos animados, vinculados, categorizados e recomendados por algoritmos.

Mas não são apenas os algoritmos que são os culpados. Os pesquisadores descobriram que alguns extremistas estão usando o "Frame Studio" do Facebook para postar propaganda militante. A ferramenta permite que as pessoas decorem suas fotos de perfil dentro de quadros gráficos —para apoiar causas ou celebrar aniversários, por exemplo. Facebook diz que essas imagens emolduradas devem ser aprovadas pela empresa antes de serem publicadas.

Hany Farid, perito em forense digital da Universidade da Califórnia em Berkeley, que assessora o Projeto Counter-Extremism, um grupo de Nova York e Londres focado no combate a mensagens extremistas, afirma que o sistema de inteligência artificial do Facebook está falhando. Ele diz que a empresa não está motivada para resolver o problema porque seria caro.

"Toda a infra-estrutura é fundamentalmente falha", disse ele. "E há muito pouco apetite para consertar isso, porque o que o Facebook e as outras empresas de mídia social sabem é que, uma vez que eles começam a ser responsáveis pelo material em suas plataformas, ele abre uma lata inteira de minhocas."

Outra função de geração automática do Facebook que apresentou falhas remove informações de emprego das páginas dos usuários para criar páginas comerciais. A função deve produzir páginas destinadas a ajudar as empresas na rede, mas em muitos casos elas estão servindo como uma área de reforço de marca para grupos extremistas.

A função permite que os usuários do Facebook curtam páginas de organizações extremistas, incluindo a Al Qaeda, o grupo do Estado Islâmico e a Al-Shabab, com base na Somália, efetivamente fornecendo uma lista de simpatizantes para os recrutadores.

No topo de uma página gerada automaticamente para a Al-Qaeda na Península Arábica, a AP encontrou uma foto do casco danificado do USS Cole, que foi bombardeado pela Al Qaeda em um ataque de 2000 na costa do Iêmen, que matou 17 marinheiros da Marinha dos EUA. É a imagem definidora da propaganda da AQAP. A página inclui a página da Wikipedia para o grupo e foi curtida por 277 pessoas quando visualizada pela última vez nesta semana.

Como parte da investigação da denúncia, os pesquisadores de Al Azm na Síria analisaram de perto os perfis de 63 contas que curtiram a página gerada automaticamente por Hay'at Tahrir al-Sham, um grupo que se fundiu de grupos militantes na Síria, incluindo a Frente al-Nusra, afiliada à Al-Qaeda.

Os pesquisadores conseguiram confirmar que 31 dos perfis correspondiam a pessoas reais na Síria. Alguns deles acabaram sendo os mesmos indivíduos que a equipe de Al Azm estava monitorando em um projeto separado para documentar o financiamento de grupos militantes por meio do contrabando de antiguidades.

O Facebook também enfrenta um desafio com os grupos de ódio dos EUA. Em março, a empresa anunciou que estava expandindo seu conteúdo proibido para incluir também conteúdo nacionalista e separatista branco —anteriormente, só agia com conteúdo de supremacia branca. A empresa diz que baniu mais de 200 grupos de supremacia branca. Mas ainda é fácil encontrar símbolos de supremacia e ódio racial.

Os pesquisadores da denúncia da Comissão de Títulos identificaram mais de 30 páginas geradas automaticamente por grupos de supremacia branca, cujo conteúdo o Facebook proíbe. Eles incluem o "Partido Nazista Americano" e o "Novo Império Ariano". Uma página criada para a "Sede da Irmandade Ariana" marca o escritório em um mapa e pergunta se os usuários o recomendam. Um usuário postou uma pergunta: "Como pode um irmão entrar na casa?"

Até mesmo supremacistas marcados pela polícia estão escapando pela rede. Após uma série de detenções que começaram em outubro, promotores federais no Arkansas indiciaram dezenas de membros de uma quadrilha de narcotráfico ligada ao Novo Império Ariano. Um documento legal de fevereiro pinta uma imagem brutal do grupo, o acusando de assassinato, sequestro e intimidação de testemunhas e, em um caso, eles usaram uma faca quente para marcar o rosto de alguém. Ele também alega que o grupo usou o Facebook para discutir os negócios do Novo Império Ariano.

Mas muitos dos indivíduos citados na denúncia têm páginas no Facebook que ainda estavam no ar nos últimos dias. Eles não deixam dúvidas da afiliação da supremacia branca dos usuários, postando imagens de Hitler, suásticas e um símbolo numérico do slogan do Novo Império Ariano, "To The Dirt" —os membros se comprometem a permanecer leais até o fim.

As empresas de mídia social têm ampla proteção na legislação dos EUA devido à responsabilidade decorrente do conteúdo que os usuários publicam em seus sites. Mas o papel do Facebook na geração de vídeos e páginas de conteúdo extremista levanta questões sobre a exposição. Analistas jurídicos contatados pelo AP divergiram sobre se a descoberta poderia abrir a empresa a ações judiciais.

No mínimo, a pesquisa por trás da queixa da comissão ilustra a abordagem limitada da empresa ao combate ao extremismo online. O Departamento de Estado dos EUA lista dezenas de grupos como "organizações terroristas estrangeiras designadas", mas o Facebook, em suas declarações públicas, diz que concentra seus esforços em dois: o Estado Islâmico e a Al Qaeda.

Mas mesmo com esses dois alvos, os algoritmos do Facebook muitas vezes perdem os nomes dos grupos afiliados. Al Azm diz que o método do Facebook parece ser menos eficaz com a escrita árabe.

Por exemplo, uma pesquisa em árabe para "Al-Qaeda na Península Arábica" mostra não apenas posts, mas uma página de negócios gerada automaticamente. Um usuário listou sua ocupação como "Ex-Sniper" em "Al-Qaeda na Península Arábica", escrito em árabe. Outro usuário evitou ser derrubado pelo Facebook ao reverter a ordem dos países em árabe para o ISIS ou "Estado Islâmico do Iraque e Síria".

John Kostyack, advogado do National Whistleblower Center, em Washington, que representa o demandante anônimo por trás da denúncia, disse que o objetivo é fazer com que o Facebook adote uma abordagem mais robusta para combater a propaganda extremista.

"No momento, estamos ouvindo histórias sobre o que aconteceu na Nova Zelândia e no Sri Lanka —são massacres dolorosos em que os grupos que se apresentaram estavam claramente recrutando a céu aberto e fazendo contatos no Facebook e em outras mídias sociais", disse ele. "Isso não vai parar a menos que desenvolvamos uma política pública para lidar com isso, ou a menos que criemos algum tipo de senso de responsabilidade social corporativa."

Farid, perito forense, diz que o Facebook construiu sua infraestrutura sem pensar nos perigos decorrentes do conteúdo e agora está tentando reformular as soluções.

"A política desta plataforma tem sido: 'Mova-se rapidamente e quebre as coisas'. Na verdade, acho que, pelo menos uma vez, o lema deles foi realmente preciso", diz ele. "A estratégia foi crescer, crescer, crescer, lucrar, lucrar, lucrar e depois voltar e tentar lidar com quaisquer problemas que existam".

Chan, incel, dark web: entenda termos da internet ligados ao massacre de Suzano

Veja glossário