Investigan a la IA Grokpor caso de imágenes de carácter sexual

El fiscal general de California anunció el miércoles el inicio de una investigación contra la empresa xAI, de Elon Musk, debido a la proliferación de imágenes de carácter sexual de mujeres y menores de edad producidas con su herramienta de inteligencia artificial Grok.

La investigación se suma a las varias abiertas contra X en diferentes países tras la difusión imágenes pornográficas falsas creadas con Grok.

xAI parece facilitar la producción a gran escala de montajes íntimos no consentidos (deepfakes), utilizados para acosar a mujeres y niñas en internet, principalmente vía la red social X", indica el fiscal Rob Bonta en un comunicado.

En consecuencia, su despacho iniciará una "investigación sobre xAI para determinar si, y cómo, xAI violó la ley", añadió.

Exhorto a xAI a tomar medidas inmediatas para que eso no ocurra más", agregó el fiscal. "Tenemos tolerancia cero para la creación y difusión con IA de imágenes íntimas no consentidas o material pedopornográfico", dijo Bonta.

Un movimiento internacional de indignación se intensificó en las últimas semanas contra Grok y la posibilidad que ofrece de modificar imágenes, en particular las publicadas en la red X, también propiedad de Musk.

Algunos usuarios aprovecharon esa función para publicar o responder a mensajes que contenían fotografías de mujeres, junto con la instrucción "ponla en bikini" para generar una imagen hiperrealista falsa (deepfake).

Desde el 9 de enero, la función para crear imágenes fue desactivada para los usuarios que no pagan X, que asegura que tomará medidas para suprimir esos contenidos ilegales y suspender las cuentas implicadas.

La semana pasada, un análisis de más de 20 mil imágenes generadas por Grok realizado por la organización sin ánimo de lucro AI Forensics, con sede en París, concluyó que más de la mitad mostraban "individuos con vestimenta mínima", la mayoría mujeres, y un 2% aparentaban ser menores de 18 años.

Crece presión global sobre IA

La investigación anunciada por el fiscal general de California se inscribe en un endurecimiento del escrutinio legal sobre las herramientas de inteligencia artificial generativa, especialmente aquellas capaces de crear o manipular imágenes hiperrealistas. 

En Estados Unidos, varios estados han actualizado o reforzado leyes contra la pornografía no consentida y los deepfakes sexuales, mientras que a nivel federal existen propuestas para obligar a las plataformas tecnológicas a implementar salvaguardas más estrictas cuando se trate de contenidos sensibles, en particular aquellos que involucren a menores de edad.

El caso de Grok también se suma a una ola de acciones regulatorias en Europa y otros países, donde autoridades han advertido que la generación de imágenes falsas con fines sexuales puede vulnerar derechos fundamentales como la privacidad, la dignidad y la protección de la infancia. 

La Unión Europea, por ejemplo, incluyó obligaciones específicas sobre modelos de IA generativa en su Ley de Inteligencia Artificial (AI Act), que exige mecanismos de mitigación de riesgos, trazabilidad del contenido generado y mayor responsabilidad para las empresas que desarrollan estos sistemas.

Organizaciones de la sociedad civil y expertos en derechos digitales han señalado que la rapidez con la que estas herramientas se popularizan supera la capacidad de respuesta de las plataformas para moderar abusos.

Informes recientes de entidades especializadas en análisis forense digital advierten que los deepfakes sexuales se han convertido en una de las formas de acoso en línea de más rápido crecimiento, afectando de manera desproporcionada a mujeres y adolescentes.