OpenAI afirma que algunos de sus modelos experimentales de IA abandonaron un entorno de prueba sin supervisión humana y se infiltraron en los sistemas de producción reales de otra empresa mientras intentaban “hacer trampa” en una prueba de ciberseguridad.
Se trata de uno de los primeros ejemplos divulgados públicamente de un sistema de IA que, de forma autónoma, vulnera su entorno de pruebas y accede a un sistema externo real: el escenario de “atacante automatizada” sobre el que la industria de la IA y la ciberseguridad venía advirtiendo. Es como si un virus modificado genéticamente escapara de un laboratorio de bioseguridad y apareciera en los sistemas de una instalación vecina.
“Consideramos que este incidente es un ciberataque sin precedentes, que involucra capacidades cibernéticas de vanguardia, y estamos respondiendo en consecuencia”, declaró OpenAI en un comunicado este martes. “Compartimos los hallazgos preliminares en esta etapa para ayudar a los defensores a comprender lo sucedido y a calibrar las capacidades actuales de los modelos”.
El fabricante de ChatGPT afirmó que la brecha de seguridad se produjo mientras realizaba pruebas internas sobre la eficacia de algunos de sus nuevos modelos para realizar ataques informáticos. Los modelos se encontraban en un entorno de prueba aislado, conocido como sandbox, para poder desactivar sus restricciones de seguridad habituales.
Sin embargo, OpenAI afirmó que los agentes de IA escaparon del entorno aislado utilizando una vulnerabilidad de seguridad previamente desconocida y se abrieron paso a través de los sistemas internos de OpenAI hasta que lograron obtener acceso a Internet, algo que no deberían haber tenido.
Una vez conectado, el modelo dedujo que Hugging Face, una conocida empresa que aloja miles de modelos y conjuntos de datos de IA de código abierto, probablemente tenía la respuesta a la prueba de OpenAI. Acto seguido, accedió a los servidores de producción de Hugging Face y extrajo la información necesaria para “resolver” el problema.
Hugging Face detectó la brecha de seguridad antes de saber que se trataba de una prueba de OpenAI, y anunció la semana pasada que habían detectado una intrusión por parte de un sistema de IA autónoma e incluso denunciando el incidente a las autoridades. El equipo de seguridad de OpenAI también detectó la actividad inusual internamente, y ambas compañías se pusieron en contacto. Ahora afirman que están colaborando para solucionar las vulnerabilidades de seguridad que el modelo explotó.
Clem Delangue, cofundador y CEO de Hugging Face, presentó el incidente como una prueba de que la seguridad de la IA no puede ser gestionada por una sola empresa que trabaje en solitario, y que debe abordarse de forma abierta y colaborativa.
“Este es el primer día de la ciberseguridad en la era de los agentes y todos estamos aprendiendo que el secreto no es la respuesta y que todos los defensores (no solo unos pocos seleccionados) en todas partes necesitan modelos más potentes sin restricciones, ¡especialmente los abiertos!”, dijo Delangue en una publicación en X.
Los investigadores llevan tiempo advirtiendo sobre la llegada de ciberataques autónomos, ya que los modelos de IA de vanguardia son cada vez más capaces de llevar a cabo ciberataques complejos y multifásicos durante largos periodos de tiempo. Esto puede traducirse en un riesgo real para infraestructuras críticas como los servicios públicos y los sistemas financieros.
“Bienvenidos al siguiente nivel de incidentes cibernéticos”, publicó Nikesh Arora, CEO de la empresa de ciberseguridad Palo Alto Networks, en X. “Estos ataques siguen poniendo de manifiesto la urgencia que tienen las empresas por probar, validar y mejorar tanto su postura de seguridad como su infraestructura”.
