“Quando olhamos para o abuso de imagens íntimas, a grande maioria das ferramentas e do uso de armas veio do espaço de código aberto”, diz Ajder. Mas muitas vezes começam com desenvolvedores bem-intencionados, diz ele. “Alguém cria algo que considera interessante ou legal e alguém com más intenções reconhece seu potencial malicioso e o transforma em uma arma.”
Alguns, como o repositório desativado em agosto, têm comunidades criadas especificamente para usos explícitos. A modelo se posicionou como uma ferramenta para pornografia deepfake, afirma Ajder, tornando-se um “funil” para abusos, que visa predominantemente mulheres.
Outros vídeos enviados para o site de streaming de pornografia por uma conta que credita modelos de IA baixados do GitHub apresentavam rostos de alvos populares de deepfake, celebridades Emma Watson, Taylor Swift e Anya Taylor-Joy, bem como outras mulheres menos famosas, mas muito reais, sobrepostas a situações sexuais.
Os criadores descreveram livremente as ferramentas que usaram, incluindo duas limpas pelo GitHub, mas cujo código sobrevive em outros repositórios existentes.
Os perpetradores à procura de deepfakes se reúnem em muitos lugares on-line, inclusive em fóruns comunitários secretos no Discord e à vista de todos no Reddit, agravando as tentativas de prevenção de deepfakes. Um Redditor ofereceu seus serviços usando o software do repositório arquivado em 29 de setembro. “Alguém poderia fazer isso com meu primo”, perguntou outro.
Torrents do principal repositório banido pelo GitHub em agosto também estão disponíveis em outros cantos da web, mostrando como é difícil policiar software deepfake de código aberto em toda a linha. Outras ferramentas pornográficas deepfake, como o aplicativo DeepNude, foram da mesma forma retirado antes que novas versões surgissem.
“Há tantos modelos, tantas bifurcações diferentes nos modelos, tantas versões diferentes, que pode ser difícil localizar todos eles”, diz Elizabeth Seger, diretora de política digital do think tank multipartidário do Reino Unido, Demos. “Depois que um modelo é disponibilizado publicamente para download, não há como fazer uma reversão pública disso”, acrescenta ela.
Um criador de pornografia deepfake com 13 vídeos explícitos manipulados de celebridades femininas creditou um repositório GitHub proeminente comercializado como uma versão “NSFW” de outro projeto que incentiva o uso responsável e pede explicitamente aos usuários que não o usem para nudez. “Aprender tudo sobre Face Swap AI disponível no GitHUB, sem usar serviços online”, diz seu perfil no site do tubo, descaradamente.
O GitHub já havia desativado esta versão NSFW quando a WIRED identificou os vídeos deepfake. Mas outros repositórios marcados como versões “desbloqueadas” do modelo estavam disponíveis na plataforma em 10 de janeiro, incluindo um com 2.500 “estrelas”.
“É tecnicamente verdade que uma vez [a model is] lá fora, não pode ser revertido. Mas ainda podemos dificultar o acesso das pessoas”, diz Seger.
Se não for controlado, acrescenta ela, o potencial de dano da “pornografia” deepfake não é apenas psicológico. As suas repercussões incluem a intimidação e a manipulação de mulheres, minorias e políticos, como se viu com deepfakes políticos afetando mulheres políticas em todo o mundo.
Mas ainda não é tarde para controlar o problema, e plataformas como o GitHub têm opções, diz Seger, incluindo intervir no ponto de upload. “Se você coloca um modelo no GitHub e o GitHub diz não, e todas as plataformas de hospedagem dizem não, para uma pessoa normal fica mais difícil conseguir esse modelo.”
O controle da pornografia deepfake feita com modelos de código aberto também depende dos legisladores, das empresas de tecnologia, dos desenvolvedores e, claro, dos próprios criadores de conteúdo abusivo.
Pelo menos 30 estados dos EUA também têm alguma legislação que aborda a pornografia deepfake, incluindo proibições, de acordo com a organização sem fins lucrativos Public Citizen’s rastreador de legislaçãoembora as definições e políticas sejam díspares e algumas leis abranjam apenas menores. Os criadores de deepfake no Reino Unido também sentirão em breve a força da lei depois que o governo anunciou criminalizando a criação de deepfakes sexualmente explícitosbem como o compartilhamento dos mesmos, no dia 7 de janeiro.
