Cuando Ashley St. Clair le pidió a Grok, el robot de respuesta de inteligencia artificial generativa integrado en la plataforma X, que dejara de crear imágenes sexualmente sugerentes de ella, Grok dijo que dejaría de hacerlo.
Pero no fue así. Desde entonces, St. Clair, conocida como una creadora de contenido conservador de alto perfil que tiene un hijo con el dueño de X, Elon Musk, dijo que ha visto a Grok generar muchas otras imágenes de ella, algunas basadas en fotos de cuando era menor.
Grok «declaró que no produciría más de estas imágenes mías, y lo que siguió fueron innumerables imágenes más producidas por Grok a petición de los usuarios que eran mucho más explícitas y, finalmente, algunas de ellas eran de menores de edad», dijo St. Clair. “Fotos mías de 14 años, desnuda y en bikini”.
La introducción en diciembre de una función de edición de imágenes en Grok ha provocado un intenso escrutinio ya que la gente la ha utilizado para generar una ola de imágenes que representan a mujeres y niños sin ropa, hasta trajes de baño o ropa interior muy reveladores. St. Clair es una de las muchas mujeres cuyas fotos han sido alteradas por Grok, y algunas se han convertido en videos sexualizados.
El sábado, Musk escribió: «Cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si cargara contenido ilegal», en respuesta a la publicación de otro usuario defendiendo a Grok de las críticas por la controversia. La cuenta de seguridad de X también publicó que eliminaría publicaciones, así como “suspendería permanentemente las cuentas y trabajaría con los gobiernos locales y las fuerzas del orden según sea necesario” para abordar el problema.
La herramienta permite a los usuarios solicitar a Grok que ajuste cualquier imagen cargada en la plataforma por cualquier usuario mediante indicaciones de IA. En un ejemplo no sexual publicado el domingo, un usuario pidió a Grok que insertara una esvástica en una imagen de una cara surrealista llorando. Pero un vistazo a las respuestas de Grok muestra que, de manera abrumadora, la capacidad de Grok para quitar o alterar la ropa de las imágenes se ha convertido en el meme destacado de la herramienta.
xAI, la empresa que creó Grok y ahora es propietaria de X, no respondió a una solicitud de comentarios sobre las declaraciones de St. Clair. Musk no respondió a una solicitud de comentarios.
St. Clair, mejor conocida por sus apasionados comentarios en línea, comenzó a publicar sobre el tema el domingo después de que un amigo le informó sobre el tema, dijo en una entrevista el lunes.
St. Clair dijo que en la primera publicación que vio, un usuario le pidió a Grok que la pusiera en bikini. Dijo que cuando le pidió a Grok que eliminara la publicación y le dijo que no daba su consentimiento para la imagen, respondió que la publicación era «divertida». A partir de ahí, las publicaciones sólo empeoraron, dijo. Más personas comenzaron a incitar a Grok a crear deepfakes sexualizados de ella, y algunos de los deepfakes se convirtieron en videos. NBC News ha revisado una selección de las imágenes.
Muchas de las imágenes permanecieron en línea el lunes por la noche, aunque algunas cuentas que hicieron las solicitudes a Grok fueron suspendidas y las imágenes fueron eliminadas.
Ofcom, que regula las industrias de las comunicaciones en el Reino Unido, dijo el lunes que está «consciente de las serias preocupaciones planteadas sobre una característica de Grok en X que produce imágenes de personas desnudas e imágenes sexualizadas de niños» y que «hizo contacto urgente con X y xAI para comprender qué medidas han tomado para cumplir con sus obligaciones legales de proteger a los usuarios en el Reino Unido».
El uso de IA generativa para crear imágenes realistas se ha disparado en los últimos años y, junto con él, ha crecido la protesta por el uso de dichos programas para crear imágenes y vídeos sexualmente explícitos de personas reales, a menudo llamados deepfakes. Muchas plataformas han instituido reglas contra la creación o publicación de imágenes falsas y sexualizadas de personas sin su consentimiento. Musk ha adoptado el uso de IA para crear contenido con carga sexual, integrando un modo «picante» sexualizado en chats de texto y conversaciones con «compañeros» de Grok.
La política de xAI establece que prohíbe a los usuarios crear contenido que sexualice a niños, pero no tiene reglas contra la generación de imágenes sexuales de adultos. Pero no está claro que las políticas de xAI se implementaron en las barreras impuestas a la nueva función de edición de imágenes.
La semana pasada, después del lanzamiento de esa actualización, los usuarios rápidamente comenzaron a pedirle al robot que generara imágenes lascivas, como las que representan a St. Clair. Si bien muchas imágenes inapropiadas que Grok ha publicado han sido eliminadas, Grok continúa produciendo imágenes sexualizadas de partes que no dan su consentimiento, incluidos niños, según una revisión de NBC News de la producción de Grok. xAI y Musk no respondieron a una solicitud de comentarios.
St. Clair dijo que un usuario le pidió a Grok que produjera un video sexualmente explícito de ella basado en una foto que incluía la mochila de su hijo. «La mochila de mi pequeño estaba al fondo. La mochila que usa para ir a la escuela todos los días. Y tuve que despertarme y verlo ponerse eso en la espalda y caminar hacia la escuela», dijo.
St. Clair le dijo a NBC News que ha “perdido la cuenta” de cuántas imágenes de ella misma generadas por IA ha visto en los últimos días. Añadió que cree que Musk “probablemente lo ha visto”, pero que no tiene “ningún deseo” de acercarse a él personalmente. «No creo que sea correcto para mí manejar esto con recursos que no están disponibles para las innumerables mujeres y niños a los que les ha estado sucediendo, así que he estado revisando los recursos primarios disponibles para todos los demás», dijo.
A medida que continuaba la controversia en torno a la función, Musk celebró otras imágenes editadas por Grok, como una de una tostadora en bikini, y compartió numerosas publicaciones durante la última semana celebrando la última actualización de Grok y sus capacidades de generación de imágenes.
A medida que las imágenes alteradas por la IA continúan circulando en línea, el gobierno y los grupos de defensa han comenzado a llamar la atención sobre el tema.
Politico informó que las autoridades francesas estarían investigando a X por la creación de deepfakes no consensuales usando Grok en la plataforma, sumándose a una investigación previa sobre la plataforma luego de las publicaciones antisemitas del chatbot en noviembre. En los últimos años, X parece alejarse de muchas prácticas de moderación de contenido utilizadas para controlar el contenido objetable.
En junio, Thorn, una organización sin fines de lucro con sede en California que trabaja con empresas de tecnología para proporcionar tecnología que pueda detectar y abordar el contenido de abuso sexual infantil, dijo a NBC News que había rescindido su contrato con X después de que la plataforma dejara de pagar facturas por el trabajo de Thorn. X dijo que estaba avanzando con su propia tecnología para detectar y abordar material de abuso sexual infantil, pero a raíz de la rescisión del contrato, NBC News observó un aumento en cuentas X aparentemente automatizadas que inundaron hashtags con cientos de publicaciones por hora anunciando la venta de material ilegal.
Fallon McNulty, director ejecutivo de la división de niños explotados del Centro Nacional para Niños Desaparecidos y Explotados, dijo a NBC News que el NCMEC ha estado recibiendo informes en los últimos días del público sobre publicaciones que circulan en X y que se han creado con Grok.
Dijo que xAI suele estar «a la par de algunas de las otras empresas de IA» cuando se trata de informar a CyberTipline del NCMEC. De 2023 a 2024, los informes de X aumentaron un 150%, según los informes del NCMEC.
«Lo que es preocupante es cuán accesible y fácil de usar es esta tecnología. Cuando proviene de una plataforma grande, casi sirve para normalizar algo, y ciertamente llega a una audiencia más amplia, lo cual también es muy preocupante», dijo McNulty. «Pero, una vez más, sin esas salvaguardias adecuadas, es muy alarmante la facilidad con la que un delincuente puede acceder a este tipo de tecnología y crear imágenes que serán perjudiciales para los niños y los sobrevivientes».
St. Clair dijo que el problema le generó mayores preocupaciones sobre el hecho de que la IA sea una industria dominada por hombres que sirve a otras industrias dominadas por hombres. “Cuando estás construyendo un LLM [large language model]especialmente uno que tiene contratos con el gobierno, y estás expulsando a las mujeres del diálogo, estás creando un modelo y un monstruo que estará inherentemente predispuesto hacia los hombres. Absolutamente”, dijo, refiriéndose a las posibles razones por las que xAI ha tenido dificultades para abordar el problema.
Ella cree que la única manera de abordar el problema es que otros miembros de la comunidad de IA se pronuncien en contra. «La presión debe provenir de la propia industria de la IA, porque sólo se regularán a sí mismos si hablan. Sólo harán algo si los otros guardianes del capital son los que hablan sobre esto».
