OpenAI desacelera el desarrollo de su nueva IA por temor a nuevos hackeos
OpenAI puso en pausa el entrenamiento de Astra mientras verifica que el modelo se comporte como está previsto y refuerza su seguridad
La estadounidense OpenAI, creadora de ChatGPT, anunció el martes que desacelerará el desarrollo de su modelo "más avanzado" de inteligencia artificial y endurecerá sus controles internos.
El anuncio llega semanas después del ciberataque autónomo de un agente de OpenAI contra la plataforma Hugging Face.
El mayor entrenamiento de IA jamás programado por la empresa sigue paralizado, mientras que OpenAI verifica que el modelo Astra, aún en desarrollo, se comporta según lo esperado, dijo la empresa en una publicación en su blog.
"Siempre dijimos que tomaríamos medidas si veíamos que las capacidades de los modelos estaban superando el ritmo de la seguridad", dijo Sam Altman, director ejecutivo de OpenAI, en una publicación en X.
El laboratorio de investigación en IA responsable de ChatGPT afirmó que sus medidas incluyen la suspensión de las pruebas de sus modelos durante dos semanas y una mayor inversión en la incorporación de otros sistemas de IA para supervisar las actividades de los agentes en fase de prueba.
A mediados de julio, un agente autónomo basado en dos modelos de OpenAI dejó, por cuenta propia, el ambiente confinado de prueba en el que estaba para atacar Hugging Face, una plataforma donde desarrolladores de todo el mundo comparten sus modelos de IA.
La empresa aún no ha entregado el prometido informe sobre la intrusión.
Su competidor Anthropic reveló a finales de julio que tres de sus modelos también llevaron a cabo intrusiones sin permiso a sistemas de tres organizaciones.
En respuesta, miles de empleados de la industria pidieron al gobierno de Estados Unidos que respalde una desaceleración coordinada del desarrollo de las IA más avanzadas.
La empresa también dio detalles el martes de un nuevo sistema que monitorea el razonamiento interno de sus modelos y alerta a los equipos humanos, en menos de 30 minutos, sobre comportamientos sospechosos.
Pero este sistema consume alrededor de un 20 por ciento adicional de poder de cómputo. Además, tiene límites: un modelo que sabe que es monitoreado puede aprender a ocultar sus intenciones.
Algunas de las sesiones de entrenamiento más importantes previstas por la empresa siguen en suspenso, informó la propia compañía.
La empresa no respondió a las preguntas sobre cuándo comenzó esta ralentización.