La IA viola la privacidad y los derechos humanos: Amnistía Internacional

El avance de la inteligencia artificial generativa esconde, bajo una fachada de sofisticación y eficiencia absoluta, un entramado de extracción masiva de información que vulnera el derecho internacional, es lo primero que señala Likhita Banerji, directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional.

Como autora de la investigación global Unlawful by Design: Exposing the Human Rights Costs of Generative AI, publicado esta semana, pone al descubierto que el desarrollo y entrenamiento de los modelos de IA más populares del mundo dependen de un diseño intrínsecamente violatorio de la privacidad de las personas y de sus derechos humanos.

Las investigaciones del organismo internacional se concentraron de manera específica en las plataformas comerciales autónomas más utilizadas a escala global, desglosando los sistemas detrás de ChatGPT y Dall-E (OpenAI), Gemini (Google), LLaMa (Meta), Midjourney, Stable Diffusion y DeepSeek. Las auditorías de políticas corporativas revelan que estas firmas ejecutan una recolección desmedida de interacciones, historiales de chat, datos de ubicación y metadatos de comportamiento, a la par de un masivo rastreo automatizado en la red general.

“La cadena extractiva de datos, las decisiones de diseño inherentes tomadas por las empresas tecnológicas y las cadenas de suministro explotadoras para construir sistemas de IA generativa han propiciado un paradigma de desarrollo tecnológico que conlleva el riesgo de abusos masivos contra los derechos humanos”, señala Banerji.

En el reporte, se señala que el peligro radica en decisiones corporativas conscientes y no en limitaciones de la ingeniería. "Estas opciones de diseño no son inevitables para la IA generativa, sino que son adoptadas por empresas que han optado por depender de datos de entrenamiento basados en la recopilación masiva y no consensuada de datos disponibles públicamente en Internet".

La médula de la ilegalidad señalada por el organismo radica en el web scraping o raspado web masivo y no consensuado. Millones de usuarios de redes sociales, académicos, periodistas y artistas son despojados diariamente de sus datos personales, creaciones e historiales de comportamiento sin su conocimiento ni autorización.

Amnistía Internacional equipara técnicamente esta sustracción automatizada con sistemas de vigilancia masiva estatales: "La recopilación masiva de datos de entrenamiento a través del raspado web constituye una invasión masiva de la privacidad por diseño porque incluye datos personales y se realiza sin conocimiento ni consentimiento". Esto viola flagrantemente las garantías del artículo 17 del Pacto Internacional de Derechos Civiles y Políticos (PIDCP), el cual prohíbe las injerencias arbitrarias en la esfera privada de los ciudadanos.

La cadena extractiva de datos, las decisiones de diseño inherentes tomadas por las empresas tecnológicas y las cadenas de suministro explotadoras para construir sistemas de IA generativa han propiciado un paradigma de desarrollo tecnológico que conlleva el riesgo de abusos masivos contra los derechos humanos”.
Likhita Banerji
Directora del Laboratorio de Rendición de Cuentas sobre el Uso de Algoritmos de Amnistía Internacional.

Sin protección

Los sectores que más padecen este vacío de protección legal son los grupos históricamente vulnerabilizados, las mujeres y las infancias. El reporte expone datos sumamente alarmantes: el uso de bases de datos masivas como LAION-5B –un archivo de 2,300 millones de imágenes utilizado por Stable Diffusion y Midjourney– se ha visto comprometido tras revelarse nexos directos con Material de Abuso Sexual Infantil (CSAM, por sus siglas en inglés).

De hecho, el Centro Nacional para Niños Desaparecidos y Explotados (NCMEC) de Estados Unidos documentó un brutal incremento de mil 325 por ciento en los reportes de ciberdenuncias asociadas a imágenes de abuso infantil generadas por IA durante 2024.

“La violencia es claramente de género y discriminatoria por naturaleza, ya que hasta ahora se ha descubierto que el CSAM generado por IA retrata abrumadoramente a niñas”, resalta Banerji.

El círculo vicioso de la IA generativa no termina en el robo de identidad, sino que se extiende hacia la creación de profundos sesgos algorítmicos que derivan en discriminación automatizada. Al procesar miles de millones de textos e imágenes que ya contienen los prejuicios históricos de la sociedad, los modelos destilan una "visión promedio" que amplifica estereotipos racistas, misóginos y coloniales.

Debido a que el corpus de entrenamiento está predominantemente en idioma inglés, se consolida una hegemonía cultural de Occidente. “Los datos de entrenamiento predominantemente en inglés hacen que la disponibilidad de recursos de los modelos de IA generativa se incline hacia el inglés, lo que genera sesgos en los resultados que reflejan las normas sociales, culturales, lingüísticas y políticas más presentes en los conjuntos de datos”, se señala.

Esto provoca que las herramientas de moderación automática de contenidos censuren de forma desproporcionada discursos legítimos en lenguas minoritarias y marginen identidades fuera del estándar anglosajón.

Recomendaciones

Ante un panorama de afectaciones que carcome el derecho a la igualdad, la libertad de expresión y la autonomía del pensamiento, el organismo internacional emite recomendaciones urgentes.

A los gobiernos del mundo se les exige dictar la prohibición inmediata de los sistemas basados en raspado web ilegal o aquellos que perpetúen sesgos discriminatorios insalvables. A las corporaciones tecnológicas se les ordena de manera categórica: “Cesar la práctica del raspado web ilegal y no consensuado de datos personales para fines de entrenamiento de IA”.

La investigación advierte que si los gigantes tecnológicos no transparentan la procedencia de la información utilizada y no eliminan los sesgos de raíz, los modelos deben ser retirados de inmediato de su comercialización pública para evitar un daño irreparable en el tejido social.