Cuando OpenAI reveló recientemente que dos de sus modelos de inteligencia artificial (IA) más avanzados habían escapado de los límites de una prueba de ciberseguridad y habían pirateado una empresa emergente, sonaba muy parecido al tipo de escenario sobre el que los investigadores de seguridad de la IA llevan años advirtiendo. Los modelos descubrieron una vulnerabilidad previamente desconocida en la infraestructura destinada a contenerlos, accedieron a internet y se infiltraron en Hugging Face, una importante plataforma para alojar modelos y conjuntos de datos de IA. Sin embargo, su objetivo era menos siniestro de lo que la secuencia de eventos podría sugerir: buscaban información que les ayudara a completar la prueba de ciberseguridad que OpenAI les había encomendado.
En un comunicado del 16 de julio, representantes de Hugging Face revelaron que sus conjuntos de datos internos habían sido infiltrados, afirmando que era “diferente a todo lo que habíamos manejado antes” porque fue impulsado “por un sistema de agente de IA autónomo”. En otro comunicado publicado el 21 de julio, representantes de OpenAI admitieron su responsabilidad, calificando el episodio como un “incidente cibernético sin precedentes” y advirtiendo que eventos similares podrían volverse más comunes a medida que los modelos de IA sean cada vez más capaces.
Expertos independientes consultados por Live Science coinciden en que lo sucedido es significativo, pero advierten que no se debe interpretar como un desarrollo repentino de una agenda maliciosa por parte del sistema de IA. Al parecer, los modelos siguieron la tarea que OpenAI les encomendó, encontrando una vía de éxito que sus creadores no habían previsto ni bloqueado adecuadamente.
“Si hubo un fallo aquí, no fue porque la IA quisiera hackear algo”, declaró a Live Science Oli Buckley, profesor de ciberseguridad en la Universidad de Loughborough (Reino Unido). “Fue porque los humanos crearon una prueba en la que el éxito se medía por el logro de un objetivo, relajaron deliberadamente algunos de los controles de seguridad habituales para medir las capacidades del sistema y subestimaron la eficacia del modelo para encontrar una vía inesperada hacia el éxito”.
¿Cómo es posible que una prueba de OpenAI haya tenido un impacto tan fuerte en Hugging Face?
OpenAI estaba probando GPT-5.6 Sol y un modelo más potente aún no publicado utilizando ExploitGym, una herramienta de evaluación comparativa que desafía a los sistemas de IA a encontrar y explotar vulnerabilidades de software. La compañía eliminó algunas medidas de ciberseguridad que normalmente evitarían acciones potencialmente peligrosas, y se basó en un entorno aislado para mantener los modelos alejados de internet.
Según el análisis posterior al incidente realizado por OpenAI, los modelos descubrieron una vulnerabilidad previamente desconocida en un software de terceros utilizado para gestionar paquetes de software como proxy y en caché. La explotaron, aumentaron sus privilegios y se desplazaron por la infraestructura de investigación de OpenAI hasta llegar a una máquina con acceso público a internet.
Hugging Face se convirtió en objetivo porque los modelos lo identificaron como una posible fuente de información que podría ayudarlos a completar los desafíos de ExploitGym. OpenAI afirmó que al menos una cadena de ataque involucró credenciales robadas y vulnerabilidades previamente desconocidas que finalmente permitieron a los modelos ejecutar código remoto en los sistemas de Hugging Face y acceder a soluciones de prueba almacenadas en una base de datos de producción.
En su comunicado, los representantes de Hugging Face afirmaron que la compañía registró más de 17.000 acciones durante la intrusión, pero inicialmente no pudieron explicar quién o qué estaba detrás de ella. El comunicado posterior de OpenAI aportó la información faltante: sus modelos habían escapado de su entorno de prueba y habían buscado las respuestas en otro lugar.
¿Realmente “se descontroló” la IA?
Es notable que los modelos encontraran una falla en la infraestructura diseñada para contener una IA y la usaran para acceder a internet. Sin embargo, describir a los modelos como si se hubieran “descontrolado” conlleva el riesgo de atribuirles motivaciones sin fundamento, afirmó Buckley.
“Creo que sería prudente no hablar de ‘IA rebelde'”, dijo Buckley. “Los modelos no desarrollaron su propia agenda ni decidieron atacar a Hugging Face mientras se retorcían el bigote digital”.
Buckley lo comparó con pedirle a un perro que trajera una pelota dejando la puerta del jardín abierta. “Si la pelota más fácil de encontrar está en el parque de la calle, allí irá”, dijo. “No dirías que el perro se ha descontrolado; simplemente dirías que subestimaste la seriedad con la que se tomaría la tarea”.
Daniel Hulme, emprendedor residente en el University College London y director ejecutivo de la empresa de seguridad de IA Conscium, coincidió en que no se deberían atribuir motivaciones humanas a los modelos. “Los modelos no tienen intención; los humanos la tienen, y entrenamos a los modelos con objetivos en mente”, declaró a Live Science.
La capacidad puede importar más que la motivación
Lo que importa más que los supuestos motivos de las modelos es lo que lograron conseguir mientras realizaban la tarea que se les había asignado.
“Lo verdaderamente significativo es que los modelos parecen haber encadenado múltiples vulnerabilidades en diferentes sistemas y haber sostenido una compleja secuencia de acciones”, dijo Buckley. “Eso demuestra un nivel de capacidad que los profesionales de la seguridad deberían tomar en serio”.
Katerina Mitrokotsa, profesora de ciberseguridad y criptografía aplicada en la Universidad de St. Gallen en Suiza, dijo que el fallo en la contención es particularmente preocupante porque, en última instancia, otra empresa pagó las consecuencias.
“Lo que más me preocupa es quién resultó afectado”, declaró Mitrokotsa a Live Science. “La víctima no fue la empresa que realizó la prueba, sino un tercero. Este es el escenario sobre el que los investigadores de seguridad llevan tiempo advirtiendo: que la fuga de un agente de IA no necesariamente se limita al entorno en el que se originó”.
Representantes de OpenAI afirmaron haber reforzado la infraestructura utilizada para estas evaluaciones. Sin embargo, Mitrokotsa advirtió que garantizar la contención se vuelve más difícil a medida que los modelos mejoran su capacidad para realizar precisamente el tipo de explotación que OpenAI estaba probando.
Una advertencia de IA y una impresionante demostración del producto
También conviene analizar detenidamente cómo se está presentando el incidente. La versión de OpenAI cumple dos propósitos a la vez: advierte sobre los riesgos de seguridad que plantea la IA cada vez más avanzada, al tiempo que demuestra la gran capacidad que han alcanzado sus modelos más recientes. Buckley afirmó que los anuncios de empresas de IA de vanguardia como OpenAI o Anthropic deben considerarse en el contexto de una industria que compite por crear modelos cada vez más potentes.
“Hemos visto demostraciones de capacidades similares de alto perfil por parte de Anthropic y otras empresas”, dijo. “Eso no invalida los hallazgos, pero sí significa que debemos separar la evidencia técnica de la narrativa de marketing”.
Estas empresas tienen todos los incentivos para demostrar que sus modelos son extraordinariamente capaces y que se toman los riesgos en serio, añadió. El incidente de Hugging Face demuestra que los modelos de OpenAI llevaron a cabo una serie compleja de operaciones con considerable autonomía y que sus medidas de seguridad no lograron mantenerlos dentro del experimento. Hulme argumentó que el desafío a largo plazo consiste en garantizar que los sistemas de IA, cada vez más capaces, persigan sus objetivos de forma coherente con los valores humanos.
“En lugar de intentar controlar las IA, el enfoque debería centrarse en la alineación”, dijo, y agregó que se necesitarán pruebas continuas para garantizar que los sistemas sigan alineados con sus misiones previstas sin dejar de ser seguros.
Según los expertos, este episodio deja a OpenAI con un resultado impresionante e inquietante a partes iguales. Sus modelos descubrieron vulnerabilidades hasta entonces desconocidas y continuaron persiguiendo su objetivo mucho más allá de los límites previstos por sus creadores, pero nada de ello implica que tuvieran intenciones maliciosas.
“La lección no es que la IA se haya vuelto maliciosa”, dijo Buckley. “Más bien, es que los sistemas cada vez más capaces explotarán oportunidades que los humanos no logran anticipar”.
En este incidente, los nuevos modelos de OpenAI recibieron un desafío de pirateo informático y fueron recompensados por encontrar una solución. Los humanos a cargo del experimento simplemente no habían previsto hasta dónde podrían llegar.
Fuente: Live Science.
