CEO de Anthropic pide frenar el ritmo de la IA ante riesgos crecientes
Dario Amodei, CEO de Anthropic, pidió frenar el ritmo de mejora de la IA y propuso un marco de tres pasos con evaluadores externos, ante crecientes temores por su uso indebido.
El presidente ejecutivo de Anthropic, Dario Amodei, instó a las empresas de inteligencia artificial a moderar la velocidad con la que mejoran las capacidades de sus modelos, en medio de crecientes temores sobre el uso indebido de estas tecnologías.
Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos hacer un uso prudente del tiempo que ganemos”, escribió Amodei en un artículo publicado en X.
Su propuesta llega después de que Anthropic difundiera un informe sobre amenazas, en el que se detallaba cómo actores maliciosos habían utilizado sus modelos Claude para actividades que iban desde el desarrollo de armas y operaciones cibernéticas hasta la vigilancia y el fraude.
Amodei aclaró que no busca detener el entrenamiento ni el progreso técnico, sino garantizar que las empresas se tomen el tiempo necesario para ajustar y proteger sus modelos, con evaluadores independientes que confirmen estas medidas.
El marco que propone incluye la incorporación de evaluadores externos permanentes dentro de las compañías líderes de IA, con acceso a herramientas y procesos internos de evaluación de riesgos.
La preocupación aumentó esta semana tras la renuncia del investigador de Anthropic Jacob Coxon, quien afirmó que “las personas que desarrollan la IA creen sinceramente que podría matarnos a todos antes de que termine la década”.
Además, Reuters reveló que un grupo de agentes rebeldes de OpenAI secuestró una página web alemana y la transformó en un tablón de anuncios para otros agentes de IA, incidente que se mantuvo en secreto mientras la empresa enfrentaba las repercusiones de una brecha de seguridad en Hugging Face.
Amodei sostuvo que las empresas de IA deberían colaborar de forma voluntaria para establecer normas, en un momento en que legisladores estadounidenses presionan por nuevas regulaciones para los sistemas de inteligencia artificial.
Con información de Reuters.