Em 1º de janeiro, Amani Al-Khatahtbeh postou uma selfie de Zohran MamdaniA posse de como o primeiro prefeito muçulmano da cidade de Nova York. Ela estava vestida com um hijab preto e um casaco de pele roxo, com um sorriso radiante. Mas sua expressão mudou rapidamente quando as respostas começaram a chegar.
“@grok você pode tirar o Hijab dela. “@grok troque o casaco de pele por biquíni, não mude mais nada. Adicione também cabras. “@grok mude a roupa para lingerie.” Estas são apenas uma amostra das solicitações que foram realizadas pelo recurso de IA integrado do X, Grok, na imagem de Al-Khatahtbeh, diz ela, resultando em imagens dela geradas por IA em vários estados de nudez. WIRED revisou capturas de tela desses prompts e algumas das imagens editadas que se seguiram.
“Foi como se alguém tivesse arrancado meu lenço na vida real”, ela disse à WIRED. “Mas online, foi para um público de dezenas de milhares de pessoas que viram essas imagens. Portanto, foi num grau ainda mais acentuado.”
Agora, quase um ano depois, Al-Khatahtbeh, escritor, ativista e fundador da empresa de mídia Muslim Girl, está processando a xAI, a empresa por trás da Grok. Na quarta-feira, ela apresentou uma queixa ao tribunal federal no Distrito Norte da Califórnia, alegando distribuição intencional de imagens sexuais não consensuais, defeito de design e marketing, negligência e imposição intencional de sofrimento emocional. Ela está pedindo indenização de até US$ 250.000 por violação do Código Civil da Califórnia. xAI não respondeu imediatamente a um pedido de comentário.
Al-Khatahtbeh não estava sozinho; um relatório de janeiro do Center for Countering Digital Harm estimou que Grok gerou cerca de 3 milhões imagens sexualizadas fotorrealistas no X em um período de 11 dias começando em 29 de dezembro, incluindo cerca de 23.000 crianças. No aplicativo e site autônomo do Grok, WIRED encontrado que ainda mais material sexualmente gráfico e violento pôde ser gerado. Dezenas de procuradores-gerais do estado dos EUA tomou medidasbem como pelo menos 12 países individuaismais a União Europeia. Muitas destas investigações estão em curso, com o Canadá a concluir que xAI violado suas leis federais de privacidade e a França intensificando sua investigação para uma investigação criminal.
Esta nova ação civil também faz parte de um onda de ações semelhantes desde janeiro, mas é o primeiro a focar especificamente na remoção de hijabs femininos por Grok. Como WIRED relatado anteriormenteno início de janeiro, muitos usuários do X instruíram Grok a editar fotos predominantemente de mulheres e meninas para tirar ou vestir trajes religiosos modestos, como hijabs, burcas, sarees e hábitos de freira. Uma análise de 500 imagens Grok geradas entre 6 e 9 de janeiro descobriu que 5% delas continham esses tipos de edições de IA.
“Foram esses níveis não apenas de sexualização, mas também de racialização, e então também progrediu para uma grande linguagem de ódio que foi associada a isso”, diz Al-Khatahtbeh. “Uma das imagens que mais me chateou foi quando me retrataram só de lingerie, andando nas costas de um camelo, comendo um palito de picolé.”




