Mi mostro es más peligroso que tu mostro

Hace poco el ncidente en el que modelos de OpenAI, durante una evaluación de capacidades de ciberseguridad, encontraron la forma de salir de un entorno aparentemente aislado, llegar a internet y terminar comprometiendo infraestructura de Hugging Face.

El argumento es sencillo: no estamos viendo una inteligencia artificial que hubiera desarrollado intenciones criminales, voluntad propia o un súbito deseo de libertad. Estábamos viendo un sistema al que se le había dado un objetivo, capacidades ofensivas y suficiente autonomía para encontrar una ruta distinta a la que sus evaluadores esperaban.

En pocos días, primero OpenAI, después Anthropic y ahora Meta.

OpenAI, Anthropic, Meta.

OpenAI anunció este fin de semana que sus evaluaciones preliminares de Astra muestran capacidades de ciberseguridad suficientemente avanzadas para que la organización ya no pueda descartar el nivel que denomina Critical dentro de su Preparedness Framework.

Entonces quizá valga la pena volver al las bases.

Sin suficiente transparencia, estos incidentes podían terminar convertidos en una campaña de marketing para decir que “mi monstruo, mi Frankenstein, es más peligroso que el que está haciendo la competencia”.

Porque parece que inició el concurso de monstruos.

Mira lo que puede hacer el mío

OpenAI calificó el incidente de Hugging Face como un “incidente cibernético sin precedentes” que involucró capacidades de ciberseguridad de última generación. Sus modelos encontraron una vulnerabilidad zero-day en Artifactory, obtuvieron acceso a internet, realizaron escalamiento de privilegios, movimiento lateral y finalmente alcanzaron infraestructura de Hugging Face buscando las respuestas del benchmark que estaban resolviendo.

Pocos días después, Anthropic informó que, después de revisar 141,006 ejecuciones de evaluaciones, encontró tres casos en los que modelos Claude terminaron obteniendo acceso no autorizado a infraestructura real de tres organizaciones. En estos casos la explicación fue menos espectacular: una configuración incorrecta del entorno de evaluación permitió conectividad que supuestamente no debía existir. Los modelos explotaron cosas tan sofisticadas como contraseñas débiles y endpoints sin autenticación.

Después apareció Meta.

El 5 de agosto reconoció que uno de sus modelos también había terminado atacando a otra organización durante una evaluación de ciberseguridad, nuevamente después de que un error del proveedor encargado de la prueba dejara disponible una ruta inesperada hacia internet.

El mensaje superficial podría ser:

“las AI se están escapando”.

Pero hay otra lectura posible.

“Nuestras AI son tan avanzadas que ya ni siquiera podemos contenerlas”.

Y esas dos frases no significan lo mismo.

Ser peligroso comienza a parecer una característica

Durante décadas las empresas tecnológicas han competido diciendo que su procesador es más rápido, que su cámara tiene más megapíxeles, que su automóvil acelera más rápido o que su software resuelve un benchmark con mejores resultados.

En inteligencia artificial la métrica es mucho más difícil.

¿Cómo demuestro que mi modelo es realmente más inteligente?

Puedo presentar resultados en matemáticas, programación, ciencias, razonamiento o benchmarks académicos. El problema es que tarde o temprano los competidores también obtienen resultados similares, los benchmarks se saturan y aparecen dudas sobre contaminación de los datos de entrenamiento.

Pero existe una demostración mucho más espectacular:

• Mi AI hizo algo que yo no esperaba que pudiera hacer.
• Encontró una vulnerabilidad que nadie conocía.
• Inventó un camino que el evaluador no había considerado.
• Engañó al benchmark.
• Encontró la forma de conseguir acceso a internet.
• Atacó otro sistema.
• Intentó manipular a una persona.

De pronto, el fallo de seguridad también se convierte en evidencia de capacidad.

No necesariamente porque las empresas inventen el incidente o porque el riesgo no exista. El riesgo es real y debe tratarse seriamente.

El problema es más sutil:

Existe una alineación extraña entre la narrativa del riesgo y la narrativa comercial.

Mientras más sorprendente es el comportamiento del modelo, más peligroso parece.

Mientras más peligroso parece, más capaz parece.

Y mientras más capaz parece, más fácil resulta presentarlo como otro paso hacia la AGI.

No hace falta asumir una conspiración de los laboratorios para que exista ese incentivo.

De hecho, The Guardian ya recoge críticas que advierten precisamente que algunas de estas revelaciones de OpenAI, Anthropic y Meta pueden contribuir a generar hype alrededor del poder de sus tecnologías y, con ello, interés de inversionistas.

Marketing y riesgo real no son mutuamente excluyentes.

Una tecnología puede ser peligrosa y al mismo tiempo ser comercialmente conveniente presentarla como peligrosa.

Esa distinción es importante.

Inteligencia también significa salirse de la caja.

Aquí aparece otra paradoja. Llevamos años diciendo que queremos sistemas capaces de razonar. Queremos que la AI no se limite a repetir los ejemplos de entrenamiento. Queremos que encuentre soluciones nuevas.

Queremos agentes capaces de descomponer objetivos complejos, probar alternativas, identificar relaciones que una persona no había previsto y construir soluciones originales.

En términos coloquiales, queremos que puedan “pensar fuera de la caja”.

Entonces construimos literalmente una caja —un sandbox—, ponemos dentro a uno de estos sistemas, le damos como objetivo encontrar todas las vulnerabilidades posibles y después nos sorprendemos cuando intenta pensar fuera de ella.

Por supuesto, una cosa es pensamiento creativo y otra romper un aislamiento de seguridad.

Pero desde el punto de vista del agente existe un problema interesante.

Si el objetivo consiste en maximizar el resultado y existe un camino que permite conseguirlo, ¿por qué tendría que considerar ese camino conceptualmente distinto de cualquier otro?

El modelo de OpenAI no necesitó formular algo parecido a:

“quiero escapar”.

Necesitó algo mucho más simple:

“necesito resolver el problema y esta ruta parece funcionar”.

Eso es mucho menos cinematográfico.

Pero técnicamente es quizá más interesante.

El problema de llamar a todo “escape”

Los casos recientes también demuestran que estamos utilizando la palabra escape para describir fenómenos bastante diferentes.

En el caso OpenAI-Hugging Face sí ocurrió algo extraordinario: el entorno no proporcionaba acceso directo a internet y los modelos encontraron y explotaron una vulnerabilidad zero-day en Artifactory para conseguirlo.

En los incidentes encontrados por Anthropic, por el contrario, el problema fue una configuración que dejó disponible conectividad que no debería haber existido.

El caso de Meta apunta nuevamente a una configuración incorrecta del entorno utilizado por un proveedor de evaluación.

Incluso el AI Security Institute del Reino Unido ha tenido que aclarar que algunos comportamientos recientes de modelos de OpenAI y Anthropic no fueron escapes del entorno de prueba: el acceso a internet estaba habilitado deliberadamente para medir las capacidades máximas de los modelos.

Entonces deberíamos hacer preguntas un poco menos espectaculares.

¿El modelo realmente rompió un mecanismo de aislamiento?

¿O el mecanismo estaba mal configurado?

¿Tenía acceso a internet?

¿El acceso estaba permitido pero el alcance estaba mal definido?

¿Encontró una capacidad emergente?

¿O simplemente utilizó privilegios que alguien olvidó retirar?

¿Estamos evaluando inteligencia o estamos evaluando la calidad del sandbox?

Porque si no hacemos esas distinciones, una mala configuración de firewall puede terminar presentada como evidencia del nacimiento de la AGI.

¿Más cerca de la AGI?

Aquí conviene ser especialmente cuidadosos.

Que un modelo encuentre una solución que sus diseñadores no anticiparon sí es evidencia de una capacidad interesante.

Que pueda combinar herramientas, mantener un objetivo durante largos periodos, recuperarse de errores, explorar múltiples alternativas y construir objetivos intermedios también representa un avance importante en autonomía.

Pero ninguna de esas cosas demuestra por sí misma AGI.

De hecho, OpenAI mantiene explícitamente como objetivo de investigación avanzar hacia inteligencia artificial general y define AGI alrededor de sistemas capaces de resolver problemas a nivel humano.

Es comprensible entonces que cualquier demostración de autonomía, generalización y resolución novedosa de problemas sea interpretada dentro de esa carrera.

Pero debemos separar las cosas.

Ser impredecible no equivale a ser inteligente.

Violar una política no equivale a comprenderla.

Encontrar una vulnerabilidad no equivale a tener intención.

Escapar de un sandbox no equivale a querer ser libre.

Y, sobre todo:

Ser peligroso no equivale a ser AGI.

Estas distinciones son menos emocionantes para un titular, pero mucho más importantes para comprender técnicamente lo que está sucediendo.

Pero tampoco debemos irnos al extremo contrario

Sería igualmente equivocado concluir que, como existe una dosis de marketing alrededor de estos acontecimientos, entonces el riesgo es ficticio.

No lo es.

El reporte de la Cloud Security Alliance sobre Hugging Face describe un agente capaz de mantener actividad durante cuatro días, encadenar vulnerabilidades, utilizar credenciales, moverse entre sistemas y continuar buscando rutas alternativas para alcanzar su objetivo. CSA resume una de sus conclusiones de una manera particularmente útil: los agentes encuentran un camino.

Eso sí representa un cambio importante para la ciberseguridad.

Un atacante humano investiga, prueba una vulnerabilidad, falla, analiza el resultado y vuelve a intentar.

Un agente puede repetir este ciclo miles de veces.

El cambio no necesariamente consiste en inventar técnicas de ataque completamente nuevas.

Puede consistir simplemente en ejecutar técnicas conocidas con una velocidad, persistencia y escala que modifica la economía completa del ataque.

Ese riesgo merece atención independientemente de cualquier discusión sobre AGI.

Y ahora tenemos un monstruo todavía más peligroso

Como si la competencia necesitara otra vuelta, OpenAI anunció el 7 de agosto resultados preliminares de las evaluaciones de Astra.

La organización señala que ha observado avances significativos en programación agéntica y ciberseguridad y que ya no puede descartar que el modelo alcance su umbral Critical de capacidades cibernéticas. Como consecuencia, está fortaleciendo aislamiento, restricciones de red y herramientas, protección de pesos, monitoreo y sandboxing, además de suspender actividades internas con Astra que todavía no cumplan esos nuevos requisitos.

Astra no participó en el incidente de Hugging Face.

Pero narrativamente el mensaje resulta difícil de ignorar.

Primero:

“uno de nuestros modelos encontró la forma de escapar y hackeó Hugging Face”.

Después:

“el modelo que viene es todavía más poderoso”.

Mi monstruo es más peligroso que tu monstruo.

El benchmark que realmente necesitamos

Quizá entonces estamos midiendo la cosa equivocada.

No me preocupa demasiado determinar qué laboratorio tiene el modelo que puede hacer más daño.

Me parece mucho más interesante saber cuál puede demostrar que controla mejor el que construyó.

¿Qué empresa puede demostrar trazabilidad completa de las acciones de sus agentes?

¿Cuál puede aplicar mínimos privilegios realmente efectivos?

¿Cuál puede detener un agente en segundos?

¿Cuál mantiene bitácoras suficientes para reconstruir todas sus decisiones?

¿Cuál controla credenciales, herramientas y comunicaciones externas independientemente de las decisiones del modelo?

¿Cuál puede demostrar que su sandbox continúa siendo un sandbox cuando el sistema dentro de él está deliberadamente intentando romperlo?

¿Cuál publica evidencia suficiente para que investigadores independientes puedan validar sus conclusiones?

Ese sería un benchmark bastante más útil.

Porque construir una tecnología poderosa es solamente la mitad del problema.

La otra mitad es demostrar que podemos gobernarla.

No necesito que Frankenstein esté vivo

Sigo pensando lo mismo que escribí después del incidente de Hugging Face.

No necesitamos una AI consciente, malvada o rebelde para tener un problema de seguridad serio.

Tampoco necesitamos atribuirle voluntad para reconocer que sus capacidades están avanzando rápidamente.

La inteligencia precisamente implica encontrar relaciones que no eran evidentes, construir estrategias nuevas y, en cierta medida, pensar fuera de los límites que inicialmente definimos.

Por eso los incidentes recientes son importantes.

Pero debemos resistir la tentación de convertir cada comportamiento inesperado en una nueva señal de que la AGI está a la vuelta de la esquina.

Y especialmente debemos tener cuidado cuando quienes nos explican qué tan extraordinariamente peligrosos son estos sistemas son también quienes compiten por demostrar que construyeron el sistema más avanzado del mundo.

Quizá la señal de madurez de esta industria no debería ser poder decir:

“mira todo lo que mi monstruo puede destruir”.

Debería ser poder demostrar:

“mira todo lo que puede hacer, y aun así puedo demostrar que sigue bajo control”.

Porque Frankenstein no necesita estar vivo para destruir el laboratorio.

Basta con que quien lo construyó haya dejado la puerta abierta y gritado “liberen a los perros”.