Embora tenha sido endurecida pelos anos que passou trabalhando no ativismo na Internet, Caitlin Roper ficou traumatizada pelas ameaças online que recebeu este ano.
Lá estava a foto dela mesma pendurada em um laço, morta. E outra dela mesma em chamas, gritando.
As postagens fizeram parte de uma onda de críticas dirigida a Roper e seus colegas do Collective Shout, um grupo ativista australiano, no X e em outras plataformas de mídia social. Algumas delas, incluindo imagens de mulheres esfoladas, decapitadas ou colocadas num picador de madeira, foram aparentemente possibilitadas – e dotadas de um realismo visceral – pela inteligência artificial generativa. Em alguns dos vídeos, Roper estava usando um vestido floral azul que ela, de fato, possui.
“São esses pequenos detalhes estranhos que fazem com que tudo pareça mais real e, de alguma forma, um tipo diferente de violação”, disse ela. “Essas coisas podem ir da fantasia para algo mais do que fantasia.”
A IA já está levantando preocupações sobre sua capacidade de imitar vozes reais a serviço de golpes ou de produzir pornografia deepfake sem a permissão do sujeito. Agora, a tecnologia também está a ser utilizada para ameaças violentas – preparando-as para maximizar o medo, tornando-as muito mais personalizadas, mais convincentes e mais facilmente entregues.
“Duas coisas sempre acontecerão quando uma tecnologia como essa for desenvolvida: encontraremos maneiras inteligentes, criativas e emocionantes de usá-la e encontraremos maneiras horríveis e terríveis de abusar dela”, disse Hany Farid, professor de ciência da computação na Universidade da Califórnia, Berkeley. “O que é frustrante é que isso não é uma surpresa.”
Ameaças geradas digitalmente são possíveis há pelo menos alguns anos. Um juiz na Flórida recebeu um vídeo em 2023, provavelmente feito usando uma ferramenta de personalização de personagens do videogame Grand Theft Auto 5, que apresentava um avatar que parecia e andava como ela sendo hackeado e morto a tiros.
Mas as imagens ameaçadoras estão rapidamente a tornar-se mais fáceis de produzir e mais persuasivas. Uma página do YouTube tinha mais de 40 vídeos realistas – provavelmente feitos com IA, de acordo com especialistas que analisaram o canal – cada um mostrando uma mulher sendo baleada. (O YouTube, depois que o The New York Times o contatou, disse que havia encerrado o canal por “múltiplas violações” de suas diretrizes.) Um vídeo deepfake de um estudante carregando uma arma fez com que uma escola secundária fosse bloqueada nesta primavera. Em julho, um advogado em Minneapolis disse que o chatbot Grok da xAI forneceu a um usuário anônimo da mídia social instruções detalhadas sobre como invadir sua casa, agredi-lo sexualmente e se livrar de seu corpo.
Até recentemente, a inteligência artificial só conseguia replicar pessoas reais se estas tivessem uma enorme presença online, como estrelas de cinema com inúmeras fotografias acessíveis ao público. Agora, uma única imagem de perfil será suficiente, disse Farid, cofundador do GetReal Security, um serviço que identifica conteúdo digital malicioso. (Roper disse que usou o vestido floral azul em uma foto publicada há alguns anos em um jornal australiano.)
O mesmo se aplica às vozes – o que antes levava horas de dados de exemplo para clonar agora leva menos de um minuto.
“A preocupação é que agora quase qualquer pessoa sem competências, mas com motivação ou falta de escrúpulos, possa facilmente utilizar estas ferramentas para causar danos”, disse Jane Bambauer, professora que leciona sobre IA e direito na Universidade da Florida.
As preocupações com ameaças e extorsões assistidas por IA intensificaram-se com a introdução em setembro do Sora, um aplicativo de texto para vídeo da OpenAI. O aplicativo, que permite aos usuários fazer upload de imagens de si mesmos para serem incorporadas em cenas hiper-realistas, rapidamente retratou pessoas reais em situações assustadoras.
O Times testou Sora e produziu vídeos que pareciam mostrar um homem armado em uma sala de aula ensanguentada e um homem encapuzado perseguindo uma jovem. Grok também adicionou prontamente um ferimento de bala com sangue à foto de uma pessoa real.
“Do ponto de vista da identidade, todos são vulneráveis”, disse Farid.
Um porta-voz da OpenAI disse que a empresa contava com múltiplas defesas, incluindo grades de proteção para bloquear a criação de conteúdo inseguro, experimentos para descobrir fraquezas anteriormente desconhecidas e sistemas automatizados de moderação de conteúdo. (O Times processou a OpenAI em 2023, alegando violação de direitos autorais de conteúdo de notícias relacionado a sistemas de IA, uma afirmação que a OpenAI negou.)
Especialistas em segurança de IA, no entanto, disseram que as empresas não fizeram o suficiente. Alice Marwick, diretora de pesquisa da Data & Society, uma organização sem fins lucrativos, descreveu a maioria das grades de proteção como “mais parecidas com um guarda de trânsito preguiçoso do que com uma barreira firme; você pode obter um modelo para ignorá-las e contorná-las”.
Roper disse que a torrente de abusos online iniciada neste verão – incluindo centenas de postagens de assédio enviadas especificamente para ela – estava ligada ao seu trabalho em uma campanha para encerrar videogames violentos que glorificam o estupro, o incesto e a tortura sexual. No X, onde apareceu a maior parte dos abusos, disse ela, algumas imagens e contas de assédio foram retiradas. Mas a empresa também lhe disse repetidamente que outras postagens retratando sua morte violenta não violavam os termos de serviço da plataforma. Na verdade, X certa vez incluiu um de seus assediadores em uma lista de contas recomendadas para ela seguir.
Alguns dos assediadores também alegaram ter usado Grok não apenas para criar as imagens, mas também para pesquisar como encontrar as mulheres em casa e nos cafés locais.
Farto, Roper decidiu postar alguns exemplos. Logo depois, de acordo com as capturas de tela, X disse a ela que ela violava suas políticas de segurança contra violência gratuita e bloqueou temporariamente sua conta.
Nem X nem xAI, empresa proprietária da Grok, responderam aos pedidos de comentários.
A IA também está a tornar outros tipos de ameaças mais convincentes – por exemplo, o swatting, a prática de fazer falsas chamadas de emergência com o objetivo de incitar uma grande resposta da polícia e do pessoal de emergência. A IA “intensificou significativamente a escala, a precisão e o anonimato” de tais ataques, afirmou neste verão a Associação Nacional de Procuradores-Gerais. Numa escala menor, uma série de vídeos gerados por IA mostrando supostas invasões de casas fizeram com que os residentes visados ligassem para os departamentos de polícia de todo o país.
Agora, os autores de golpes podem compilar relatórios falsos e convincentes, clonando vozes e manipulando imagens. Um mata-mata em série usou tiros simulados para sugerir que um atirador estava no estacionamento de uma escola secundária do estado de Washington. O campus ficou fechado por 20 minutos; policiais e agentes federais apareceram.
A IA já estava complicando os esforços das escolas para proteger os alunos, levantando preocupações sobre imagens sexuais personalizadas ou rumores espalhados através de vídeos falsos, disse Brian Asmus, um ex-chefe de polícia que trabalhava como gerente sênior de segurança e proteção do distrito escolar quando o mata-mata acionou. Agora, a tecnologia está adicionando um desafio extra à segurança, tornando mais difícil distinguir alarmes falsos de chamadas de emergência verdadeiras.
“Como a aplicação da lei responde a algo que não é real?” Asmus perguntou. “Acho que ainda não avançamos nisso.”
