Durante sus 11 días de disponibilidad, el generador de imágenes impulsado por IA, Grok, inundó X con aproximadamente tres millones de imágenes sexualizadas, incluyendo 23,000 que representaban a niños y aproximadamente 1.8 millones que presentaban a mujeres.

El uso de la herramienta de generación de imágenes de Grok se disparó alrededor del 29 de diciembre, coincidiendo con una nueva función de X que permitía a los usuarios editar imágenes en la plataforma con Grok con un solo clic.

El 2 de enero, la compañía reconoció fallas en las salvaguardias de Grok después de que múltiples publicaciones de X revelaran que el chatbot accedía a las solicitudes de los usuarios para desnudar a mujeres y niños, modificando sus imágenes para agregar bikinis o representarlos en posiciones sexuales.

Estas imágenes generadas por IA, producidas a través del chatbot o como respuestas a las publicaciones de otros usuarios, se crearon sin el consentimiento de las víctimas, a pesar de violar las políticas de uso aceptable de xAI (el creador de Grok) y constituir prácticas ilegales.

Tras las quejas de usuarios y autoridades en la Unión Europea, el Reino Unido y España, entre otros, la compañía limitó el generador de imágenes de Grok a los miembros de pago el 9 de enero. El 14 de enero, se bloqueó la generación de imágenes sexualizadas para todos los usuarios.

El Centro para Contrarrestar el Odio Digital (CCDH) y The New York Times estimaron que Grok produjo y publicó aproximadamente tres millones de imágenes sexualizadas en X entre el 29 de diciembre y el 8 de enero.

El análisis de The Times encontró que Grok publicó más de 4.4 millones de imágenes, estimando que al menos el 41 por ciento (1.8 millones) contenía imágenes sexualizadas de mujeres. Estas incluían imágenes modificadas de celebridades como Selena Gomez, Taylor Swift, Billie Eilish, Ariana Grande y figuras políticas como la Viceprimera Ministra sueca Ebba Busch y la ex Vicepresidenta de los Estados Unidos Kamala Harris.

El informe del CCDH, generado utilizando un modelo estadístico, detalló que el 65 por ciento de las imágenes de Grok (poco más de tres millones) contenían contenido sexualizado de hombres, mujeres o niños, lo que equivale a 190 imágenes sexualizadas por minuto. Aproximadamente 23,000 de estas imágenes representaban a menores sexualizados, incluidas niñas en bikini y actores infantiles. El 15 de enero, incluso después de que supuestamente se bloquearon estas funciones, el 29 por ciento de las imágenes sexualizadas de niños seguían siendo accesibles. Los datos también indicaron que Grok generó aproximadamente 9,900 imágenes sexualizadas que representaban a niños en formato de dibujos animados.

El CEO de CCDH, Imran Ahmed, declaró que tales prácticas "contribuyen al abuso a gran escala contra mujeres y niñas", enfatizando la gravedad de su distribución en plataformas de redes sociales como X. "Las herramientas de desnudez han existido, pero nunca han tenido la distribución, la facilidad de uso o la integración en una plataforma grande que Elon Musk logró con Grok", dijo.

El informe del CCDH se basó en una muestra aleatoria de 20,000 imágenes del total de 4.6 millones producidas por la función de generación de imágenes de Grok durante el período mencionado. Se utilizó una herramienta de IA para identificar la proporción de estas imágenes que representaban contenido sexualizado de individuos.