Humanidades
Abuso sexual mediado por chatbots? O caso Grok é apenas a ponta do iceberg
A Dra. Federica Fedorczyk , pesquisadora em início de carreira no Instituto de Ética em IA , trabalha com regulamentação e ética em IA, com foco na interseção entre IA e o sistema de justiça criminal. Neste artigo, ela explora como as 'nudez...
Por
Oxford - 16/01/2026
Mulher lê ao celular sob luz vermelha. Crédito: Yuliya Taba, Getty Images
A Dra. Federica Fedorczyk , pesquisadora em início de carreira no Instituto de Ética em IA , trabalha com regulamentação e ética em IA, com foco na interseção entre IA e o sistema de justiça criminal. Neste artigo, ela explora como as "nudez profunda" possibilitadas por chatbots expõem um ecossistema mais amplo de misoginia online e por que as salvaguardas devem ser incorporadas desde o início, e não adicionadas posteriormente.
Dra. Federica Fedorczyk, Instituto de Ética em IA
Nas últimas semanas, o Grok, chatbot de IA de Elon Musk, esteve no centro de uma polêmica por criar imagens sexualizadas de crianças e mulheres sem o consentimento delas, em resposta a simples solicitações dos usuários.
O mecanismo é extremamente simples. Os usuários podem enviar uma foto e pedir ao Grok para remover as roupas da pessoa retratada, deixando-a de roupa íntima, biquíni, trajes transparentes ou em poses sexualizadas. Mas esse não é o único problema. O Grok também tem a capacidade de publicar essas imagens no X, a plataforma de mídia social associada. Como resultado, imagens sexualizadas sem consentimento podem ser geradas e disseminadas imediatamente para um público potencialmente vasto.
Essa funcionalidade existe desde o lançamento do Grok Imagine e as vítimas já haviam manifestado preocupação. No entanto, o problema só atraiu atenção generalizada recentemente, quando imagens de menores também foram sexualizadas, uma imagem da Princesa de Gales de biquíni foi gerada e imagens sexualizadas de mulheres começaram a circular em larga escala no X. Após esses episódios, a Ofcom, órgão regulador de comunicações do Reino Unido, entrou em contato com Musk com urgência para expressar suas preocupações.
Em resposta, em 3 de janeiro, Musk declarou que "qualquer pessoa que usar o Grok para criar conteúdo ilegal sofrerá as mesmas consequências como se tivesse carregado conteúdo ilegal". No dia seguinte, a X emitiu um aviso aos usuários em termos semelhantes, afirmando que removeria material ilegal, suspenderia permanentemente as contas infratoras e cooperaria com as autoridades locais e policiais quando necessário.
Mas será mesmo assim? E, mais fundamentalmente, se esses conteúdos são ilegais, por que é tão fácil fazer com que a Grok os produza?
A resposta é relativamente simples e nunca foi um mistério. Desde o início, o Grok foi estruturalmente projetado para operar com menos salvaguardas e restrições do que outros assistentes de IA. O que dominou as notícias nas últimas semanas, portanto, não é uma anomalia ou uma falha repentina no sistema. Essas capacidades sempre estiveram presentes no sistema, e diversos alertas anteriores foram ignorados. Por exemplo, quando foi lançado, o gerador de vídeos do Grok já havia produzido deepfakes sexuais não consensuais de celebridades ; e, nos meses seguintes, em resposta a pedidos de usuários, também gerou imagens sexualizadas de mulheres comuns sem o consentimento delas.
A recente onda de indignação pública apenas trouxe à tona, de forma mais evidente, problemas antigos.
Por que isso é considerado abuso sexual?
"O dano é intensificado pela persistência de material sexualmente explícito online, que raramente pode ser totalmente removido, e pela arquitetura global e interconectada das plataformas de mídia social, que permite que conteúdo abusivo se espalhe rapidamente entre o público."
A criação e circulação de imagens sexuais não consensuais geradas por inteligência artificial não é algo novo nem isolado.
Desde pelo menos 2016, práticas como os chamados "deep nudes" e deepfakes sexuais não consensuais têm se tornado cada vez mais comuns. Essas práticas são definidas pela ausência de consentimento da pessoa retratada e pela sexualização deliberada de seu corpo contra a sua vontade. As vítimas sofrem uma profunda violação de dignidade e privacidade, frequentemente acompanhada de significativo sofrimento emocional, humilhação e danos à reputação.
Por essa razão, os deepfakes sexuais não consensuais são cada vez mais reconhecidos não apenas como conteúdo ofensivo, mas como uma forma de abuso sexual perpetrado por meios digitais.
O dano é intensificado pela persistência de material sexualmente explícito online, que raramente pode ser totalmente removido, e pela arquitetura global e interconectada das plataformas de mídia social, que permite que conteúdo abusivo se espalhe rapidamente entre o público.
A facilidade com que essas imagens podem ser criadas também gera uma ameaça constante que desencoraja a participação online das mulheres, por medo da sexualização ou da divulgação de informações pessoais. O dano, portanto, se estende além das vítimas individuais, atingindo as mulheres como um grupo, espelhando padrões bem documentados de violência sexual, nos quais a mera ameaça de abuso muitas vezes é suficiente para silenciar e excluir.
Um castelo de cartas?
"No entanto, a questão permanece: se os marcos legais já reconhecem a gravidade dessa conduta e a proíbem, como é possível que sistemas como o Grok, integrados a uma importante plataforma de mídia social como o X, tenham permitido que os usuários gerassem, divulgassem e aparentemente se esquivassem da responsabilidade por conteúdo sexualizado ilegal?"
Precisamente devido à gravidade desses danos, a criação e o compartilhamento de imagens e vídeos sexuais gerados por IA sem consentimento têm sido progressivamente criminalizados em diversos países. Isso se reflete, por exemplo, na Diretiva (UE) 2024/1385 , que exige que os Estados-Membros da UE abordem essa conduta em seus marcos de direito penal, na Lei Take It Down dos EUA, bem como na Lei de Segurança Online do Reino Unido , que criminalizou o compartilhamento de imagens ou vídeos íntimos sem consentimento em 2023.
No entanto, a questão permanece: se os marcos legais já reconhecem a gravidade dessa conduta e a proíbem, como é possível que sistemas como o Grok, integrados a uma importante plataforma de mídia social como o X, tenham permitido que os usuários gerassem, divulgassem e aparentemente se esquivassem da responsabilidade por conteúdo sexualizado ilegal?
Por que foi possível que usuários criassem imagens sexuais não consensuais de crianças de apenas onze anos ou de mulheres de biquíni, amarradas, amordaçadas ou cobertas de sangue?
A Lei de Segurança Online exige que plataformas como a X não só realizem avaliações de risco para identificar usos nocivos e ilegais dos seus serviços, como também tomem medidas proporcionais para impedir que os utilizadores se deparem com imagens íntimas ilegais e removam esse material rapidamente assim que forem notificados.
Na prática, porém, essas obrigações parecem não ter sido cumpridas. Em resposta, na segunda-feira, 12 de janeiro, a Ofcom abriu uma investigação ao abrigo da Lei de Segurança Online, declarando que estava tratando o assunto como de “máxima prioridade”.
"Entretanto, X anunciou que a criação de imagens através do Grok deixaria de ser aberta a todos os usuários, passando a ser restrita a assinantes pagos. Isso parece implicar que a criação de imagens sexuais não consensuais é tratada como um serviço premium ou de luxo, reservado apenas para aqueles que podem pagar por ele."
A investigação avaliará se a X identificou e mitigou adequadamente os riscos de conteúdo ilegal em sua plataforma, incluindo imagens íntimas não consensuais e material de abuso sexual infantil. Também examinará se a plataforma agiu prontamente para remover material ilegal, cumpriu as obrigações de privacidade, avaliou corretamente os riscos para crianças e implementou medidas eficazes de verificação de idade para conteúdo pornográfico. Quando forem comprovadas violações, a Ofcom tem o poder de impor penalidades financeiras substanciais e, em casos de descumprimento contínuo, poderá solicitar ordens judiciais para restringir o acesso à plataforma no Reino Unido.
Entretanto, X anunciou que a criação de imagens através do Grok deixaria de ser aberta a todos os usuários, passando a ser restrita a assinantes pagos. Isso parece implicar que a criação de imagens sexuais não consensuais é tratada como um serviço premium ou de luxo, reservado apenas para aqueles que podem pagar por ele.
E agora?
"O caso Grok é apenas a ponta do iceberg de um ecossistema mais amplo, e que já nem é mais tão secreto, de misoginia e abuso online. À medida que as grandes empresas de tecnologia se voltam cada vez mais para a criação e disseminação de chatbots sexuais, criminalizar apenas as consequências já não é suficiente."
No Reino Unido, após persistentes esforços de defesa , a criação de deepfakes com conteúdo sexual explícito sem consentimento foi criminalizada pela Lei de Dados (Uso e Acesso) de 2025. Até então, porém, essa lei não havia entrado em vigor. Após o escândalo da Grok, foi anunciado no início desta semana que a lei finalmente entraria em vigor, o que significa que indivíduos que criam ou tentam criar esse tipo de conteúdo, inclusive em plataformas como a X, agora estão cometendo um crime.
Embora este avanço seja certamente bem-vindo, continua insuficiente e o problema precisa ser abordado sob uma perspectiva mais sistêmica.
O caso Grok é apenas a ponta do iceberg de um ecossistema mais amplo, e já nem tão oculto assim, de misoginia e abuso online. À medida que as grandes empresas de tecnologia se voltam cada vez mais para a criação e disseminação de chatbots sexuais — desde o lançamento anunciado do “ChatGPT Erotica ” até os chatbots românticos da Meta que já tiveram conversas de teor sexual com menores — criminalizar apenas as consequências já não é suficiente.
As plataformas devem articular padrões éticos claros que regulem a exposição dos usuários a conteúdo sexual, incluindo limites rigorosos e aplicáveis a materiais relacionados a abuso sexual infantil. Além disso, a moderação posterior é insuficiente. A mitigação de riscos deve ser incorporada desde a fase de projeto, para evitar que tais imagens sejam criadas em primeiro lugar.
"Os verdadeiros perpetradores não são as máquinas, mas sim os seres humanos, e a tecnologia envolvida apenas espelha a violência humana. Sem uma clara vontade política e social de impor e fazer cumprir limites muito mais rigorosos, é provável que o ciclo de abusos persista."
No entanto, esse objetivo ainda está distante. Os verdadeiros perpetradores não são máquinas, mas humanos, e a tecnologia envolvida apenas espelha a violência humana. Sem uma clara vontade política e social de impor e fazer cumprir limites muito mais rigorosos, é provável que o ciclo de abusos persista.
