Odeia filme dublado? Deepfake promete sincronizar falas com "perfeição"

Gosta de assistir a filmes dublados, mas se incomoda com o movimento da boca dos atores? Uma startup norte-americana desenvolveu uma tecnologia que pretende acabar com esse empecilho para quem não curte ficar acompanhando as legendas no cinema.

TrueSync é o nome do sistema criado pela empresa Flawless. O software utiliza deepfakes para sincronizar a boca dos atores com o som da dublagem.

Deepfakes são edições de vídeo que usam algoritmos de inteligência artificial para modificar de forma realista o rosto de uma pessoa. O TrueSync usa modelos de machine learning (capacidade de aprendizado das máquinas) para criar movimentos labiais que correspondem às falas traduzidas de humanos. Na sequência, as imagens são coladas automaticamente na região da boca de um ator no filme, por exemplo.

"No coração do sistema está um mecanismo de preservação de desempenho que captura todas as nuances e emoções do material original", informa o site oficial da empresa.

A startup argumenta que dublagem e legendas degradam "o conteúdo por meio de alterações de script e perda de sincronia". A ideia do software é preservar a performance do ator em cena sem prejudicar a compreensão de públicos de diferentes países.

Em um vídeo publicado no Vimeo, a empresa mostra os resultados iniciais de seu software. As imagens trazem cenas de filmes como "Questão de Honra" (1992), estrelado por Jack Nicholson e Tom Cruise, e "Forrest Gump" (1994), que traz Tom Hanks no papel principal.

Apesar de as imagens ainda não ficarem 100% perfeitas, o TrueSync faz a sincronia entre os lábios dos atores e a dublagem em diversas línguas, como alemão, japonês e espanhol. Confira a demonstração abaixo.

Flawless Demo - www.flawlessai.com from Flawless on Vimeo.

Deepfakes no cinema

A Flawless, contudo, não é a primeira a pensar em como utilizar a tecnologia de deepfake no cinema. Em junho do ano passado, pesquisadores da Disney apresentaram uma técnica que utiliza o algoritmo para trocar rostos de atores em filmes do futuro.

Contudo, os próprios pesquisadores da Disney afirmaram que o sistema deles só funciona bem quando visto em tablets ou celulares, mas a projeção para tela de cinema ainda fica com uma qualidade bem ruim.

Tecnologias semelhantes, mas mais trabalhosas e caras, já são usadas no cinema. A própria Disney, por exemplo, usou um sistema de computação gráfica para rejuvenescer o rosto da personagem da Princesa Leia (Carrie Fischer) em "Rogue One: Uma História Star Wars" (2016).

Nesse caso, foi usada uma dublê de corpo combinada à recriação digital do rosto de Carrie Fisher quando esteve no primeiro filma da saga, em 1977, além de um áudio antigo da atriz.

Contudo, se a tecnologia de deepfake já estivesse 100% na ativa durante as gravações do filme, os estúdios poderiam fazer a criação de maneira bem mais rápida e a um custo bem menor. A indústria do cinema poderá se beneficiar bastante de tecnologias como essas.