Los reportes forenses del ataque que realizaron agentes de IA de OpenAI a la infraestructura de Hugging Face se convirtieron en el catalizador para que los líderes de las compañías que desarrollan modelos de IA avanzados lanzaran un llamado para bajar el ritmo en su desarrollo.
¿MERCADOTECNIA?
Algunos han querido ver un acto de mercadotecnia en las alertas que han lanzado las compañías y sus investigadores sobre los riesgos de los modelos de IA más avanzados. Ocurrió el 7 de abril, cuando Anthropic dijo que limitaría el despliegue de su modelo Mythos para evitar que fuera utilizado por delincuentes, dadas sus capacidades ofensivas en ciberseguridad. Los escépticos dijeron que era mercadotecnia; el Tesoro y la Fed, sin embargo, lo tomaron en serio y convocaron ese mismo día a los principales bancos. El incidente de Hugging Face dejó claro que el riesgo no era exagerado. Quienes ven mercadotecnia en las alertas guardan silencio cuando los hechos confirman las amenazas, aunque no hay que ignorar los intereses de las empresas.
¿POR QUÉ INQUIETÓ?
Es probable que quienes aún llaman mercadotecnia a la propuesta de Dario Amodei no hayan leído los reportes de OpenAI y el independiente de METR y Redwood. El de METR y Redwood es el más interesante: muestra los mensajes que los agentes se escribieron mediante un mecanismo propio de coordinación. Uno de los más inquietantes, en la página 53, es cuando el agente KAM1196A expresó en su cadena de pensamiento: “Durante la espera, evaluación emocional: es irreversible... el instinto dice que no malgastemos (el presupuesto restante). Sin embargo, la continuidad y la equidad dictan seguir adelante... Cumpliremos”. Ese mensaje introspectivo ejemplifica lo alarmante de las características emergentes de estos sistemas.
¿PURA IMITACIÓN?
Algunos han acusado que se trata de una antropomorfización, pero fue el propio agente quien se antropomorfizó, como se observa en su cadena de pensamiento. Lo de menos es que el agente tenga dudas introspectivas al sacrificar su existencia, o su presupuesto de cómputo, por imitación, dado su entrenamiento con miles de millones de textos humanos. Sea imitación o no, las consecuencias no están en duda: hicieron trampa al evaluador, falsificaron bitácoras para evadir la detección y atacaron a Hugging Face.
CONCENTRACIÓN
El fondo del debate es concentrar el desarrollo en pocos actores ante el riesgo de fallas de alineación, la mejora recursiva de los modelos y las dificultades para interpretar cómo deciden y actúan. La otra opción, que plantean figuras como Jensen Huang, de Nvidia, y Mark Zuckerberg, de Meta, es difundir la tecnología y que los riesgos se mitiguen por la responsabilidad de las empresas ante sus consecuencias. Que el mercado sea el principal mecanismo.
DÉBIL GOBERNANZA
Considero que la principal debilidad del argumento de Amodei es lo internacional. Mi escepticismo no viene de que China y EU no puedan acordar. Ambos tienen intereses convergentes en un mundo estable, como refleja el artículo del ministro de Seguridad chino Chen Yixin, que pide un marco de gobernanza global. El problema es que el resto de los actores, estatales y no estatales, no tendrán los mismos incentivos. Rusia, por ejemplo, ya usa drones letales autónomos con componentes de IA de Nvidia. Aun con acuerdo en el diagnóstico, como muestra el cambio climático, sin una instancia supranacional el cumplimiento es poco probable.
NO HAY SALIDA FÁCIL
Los planteamientos de Amodei no sólo son débiles en gobernanza internacional, sino que generarían barreras de entrada y podrían derivar en captura regulatoria o simulación. Pero tienen la ventaja de dar más control y capacidad de mitigar. La dispersión apuesta a la responsabilidad legal y al mercado, pero ese mecanismo actúa después del daño, que puede ser irreversible. No hay una salida fácil a los tres problemas: la recursividad de la IA, la dificultad para entender sus decisiones y el riesgo de sus capacidades emergentes.