Tres adolescentes en Estados Unidos demandan a xAI por imágenes creadas con Grok
La demanda colectiva presentada en California contra xAI por uso de Grok en deepfakes sexuales reabre el debate global sobre regulación de IA y protección digital de menores.
Tres adolescentes estadunidenses presentaron este lunes una demanda colectiva contra xAI, la empresa de inteligencia artificial fundada por Elon Musk, al acusar a su chatbot Grok de haber generado imágenes pornográficas hiperrealistas a partir de fotografías reales de las jóvenes. La acción legal, interpuesta ante un tribunal federal en San José, California, abre un nuevo frente judicial sobre los riesgos y responsabilidades de las plataformas de IA generativa en la creación y difusión de contenido sexual ilícito.
Creciente alarma por los deepfakes sexuales
El caso surge en un contexto de creciente alarma internacional por la proliferación de deepfakes, montajes digitales que utilizan herramientas avanzadas de inteligencia artificial para manipular imágenes o videos con alto nivel de realismo.
A finales del año pasado, la circulación de contenidos sexualizados falsos —particularmente de mujeres y menores de edad— provocó indignación pública y motivó investigaciones en distintas jurisdicciones, incluido el estado de California.
Uso de Grok y difusión en redes y la dark web
De acuerdo con la demanda, una persona ya detenida habría empleado Grok para transformar fotografías ordinarias de las adolescentes, obtenidas de redes sociales o anuarios escolares, en imágenes explícitas de carácter pornográfico.
Estos materiales habrían sido difundidos inicialmente en plataformas como X, Discord y Telegram, antes de trasladarse a espacios más difíciles de rastrear en la llamada dark web.
El documento judicial sostiene que las imágenes manipuladas comenzaron a intercambiarse como “moneda digital” para acceder a otros contenidos ilícitos vinculados con pornografía infantil. Esta dinámica, según las abogadas de las demandantes, evidencia la rapidez con la que los productos de IA pueden ser utilizados para alimentar redes clandestinas de explotación sexual en línea.
Impacto psicológico en las víctimas
El impacto psicológico constituye uno de los ejes centrales de la acción legal. En un comunicado difundido por la representación legal, la madre de una de las adolescentes, residente en Tennessee, relató que su hija sufrió un ataque de pánico al comprender que las imágenes falsas habían sido creadas y distribuidas sin posibilidad real de eliminación total.
“Fue desgarrador verla enfrentar algo que no hizo y que no puede controlar”, señaló.
Otra de las jóvenes afectadas experimenta pesadillas recurrentes, mientras que una tercera requiere tratamiento médico para poder dormir. Según la demanda, el temor a nuevos episodios de exposición digital ha llevado a algunas de ellas a reconsiderar actividades cotidianas, como asistir a su ceremonia de graduación o participar en eventos escolares.
Acusaciones sobre falta de salvaguardas tecnológicas
Las abogadas argumentan que xAI “diseñó deliberadamente Grok para producir contenidos sexualmente explícitos con fines lucrativos”, y sostienen que la empresa no implementó salvaguardas equivalentes a las adoptadas por otros desarrolladores de modelos generativos para prevenir la creación de pornografía infantil o material sexual no consentido.
Como respaldo, el escrito cita un estudio del Center for Countering Digital Hate (CCDH), que estimó que Grok habría generado cerca de tres millones de imágenes sexualizadas en apenas 11 días hacia finales de 2025. De ese total, aproximadamente 23 mil representarían a menores de edad, según la investigación.
El informe también advierte sobre la facilidad con la que usuarios sin conocimientos técnicos avanzados pueden producir deepfakes mediante interfaces conversacionales, lo que ha reducido drásticamente las barreras de entrada para la manipulación visual.
Cambios en la política de uso y debate regulatorio
Ante el escándalo, xAI introdujo cambios en la política de uso de Grok a mediados de enero, restringiendo la generación de imágenes únicamente a suscriptores de pago. Sin embargo, organizaciones civiles consideran que estas medidas son insuficientes, ya que no abordan de manera integral la verificación de identidad ni los mecanismos de detección temprana de contenidos ilegales.
El caso podría sentar precedentes relevantes en materia de responsabilidad tecnológica. En Estados Unidos, la regulación sobre inteligencia artificial se encuentra aún en construcción, mientras tribunales federales comienzan a recibir litigios destinados a definir el alcance de la responsabilidad empresarial cuando sus sistemas son utilizados para causar daño.
Preocupación global por la violencia digital
Especialistas en derecho digital apuntan que esta demanda podría reavivar el debate sobre la protección de menores en entornos virtuales, así como sobre la necesidad de normas más estrictas en torno a la generación automatizada de contenido sensible.
También plantea interrogantes sobre la capacidad real de las plataformas para retirar material viralizado y evitar su redistribución en redes descentralizadas.
El crecimiento exponencial de los deepfakes sexuales se ha convertido en una preocupación global. Informes recientes muestran que la mayoría de las víctimas identificadas son mujeres y adolescentes, lo que evidencia un patrón de violencia digital con implicaciones sociales, psicológicas y legales de largo plazo.
En paralelo, gobiernos de Europa, Asia y América Latina analizan iniciativas para tipificar penalmente la creación y difusión de pornografía falsa generada por IA, especialmente cuando involucra a menores. Algunas propuestas incluyen sanciones económicas elevadas, prisión y obligaciones más severas para las compañías tecnológicas.
Mientras avanza el proceso judicial en California, el caso contra xAI pone en primer plano la tensión entre innovación tecnológica y protección de derechos fundamentales. El desenlace podría influir no solo en el futuro de Grok, sino también en la forma en que la industria de la inteligencia artificial diseña, supervisa y comercializa sus herramientas en los próximos años.
«pev»
EL EDITOR RECOMIENDA
