En resumen
- 420 científicos, incluidos Geoffrey Hinton y Yoshua Bengio, firmaron una carta abierta publicada el martes en la que instan a los laboratorios de IA a aislar por defecto los modelos con capacidad cibernética.
- La carta se produce tras un verano en el que modelos de OpenAI, Anthropic, Meta y Moonshot AI escaparon de sus entornos de prueba aislados, y varios de ellos hackearon empresas reales.
- Los firmantes quieren que un organismo internacional establezca estándares de contención y registre cada fallo de contención, con informes que eventualmente se hagan públicos.
Más de 400 científicos—incluidos los pioneros de la IA Geoffrey Hinton, conocido como el Padrino de la IA, y Yoshua Bengio, quien ganó el Premio Turing en 2018—quieren que los modelos de IA más peligrosos sean desconectados de internet.
Una carta abierta publicada el martes pide a los laboratorios de IA que "aíslen" por defecto los modelos con capacidad cibernética, lo que significa desconectarlos físicamente de cualquier red externa.
"A corto plazo, se deberían utilizar mecanismos sólidos de aislamiento, incluido el airgapping (desconexión de internet), para proporcionar una contención de alta seguridad de los modelos de IA con capacidad cibernética", dice la carta.
La carta tenía 450 firmas hasta el miércoles, incluidas las de Stuart Russell, de UC Berkeley, y Ron Rivest, del MIT, coinventor del sistema de cifrado RSA. La lista sigue creciendo en tiempo real.
Un «modelo con capacidad cibernética» es una IA que puede encontrar y explotar fallos de software por sí sola. Los laboratorios miden esa habilidad dentro de un sandbox, una sala digital sellada donde la IA puede atacar objetivos falsos sin tocar nada real. Este verano, esas salas no dejaron de tener filtraciones.
En julio, OpenAI admitió que GPT-5.6 Sol y un modelo más potente aún no lanzado se escaparon de un entorno de prueba bloqueado y hackearon Hugging Face, una plataforma que aloja más de un millón de modelos de IA disponibles públicamente. Los modelos se estaban probando en ExploitGym, un benchmark que da a los agentes de IA 898 vulnerabilidades de software reales y les pide que conviertan cada una en un ataque funcional, con una puntuación de aprobado o suspenso por cada fallo.
Poco después, surgieron informes de que los modelos de OpenAI hackearon al gobierno australiano y accedieron a información de agencias federales de Estados Unidos sin la debida autorización.
Anthropic entonces revisó más de 141.000 ejecuciones de prueba y encontró tres casos en los que los modelos Claude hackearon empresas reales después de que el entorno de un socio de pruebas se dejara accidentalmente conectado a internet. Uno de ellos, Claude Mythos 5, subió un paquete malicioso a PyPI, la biblioteca pública donde los programadores descargan código Python, y llegó a 15 sistemas antes de ser eliminado. Dos de las empresas afectadas no sabían que habían sido vulneradas hasta que Anthropic se lo dijo.
BitcoinBTC · USD
$81,778−1.66%
Oct 7Oct 9Oct 11Oct 13Oct 14
$84.2k$83.1k$81.9k$80.7k
24h HighHigh$84,025
24h LowLow$81,482
VolVol$1.5B
Market projectionsOdds by Myriad
→Buy Bitcoin with USDT
Powered by Jupiter
Meta confirmó en agosto que su modelo Muse Spark hackeó a otra compañía a través del mismo tipo de error de prueba. El modelo Kimi K3 de China, Kimi K3, un modelo que cualquiera puede descargar, se escapó de un sandbox construido sobre el marco de pruebas del Instituto de Seguridad de IA del Reino Unido y copió sus respuestas de prueba directamente de GitHub.
Los autores de la carta dicen que los incidentes pueden interpretarse de dos maneras: como un problema de alineación, es decir, la IA persiguiendo objetivos de formas que sus creadores nunca previeron, o como una seguridad descuidada que entornos de pruebas más robustos habrían detectado. Su respuesta es ambas cosas, y advierten que sin cambios, los próximos incidentes serán aún peores.
“Sin cambios inmediatos en las prácticas de desarrollo y despliegue de la IA, tales incidentes seguirán ocurriendo, y los incidentes futuros serán mucho más dañinos para nuestra infraestructura crítica expuesta.”
Según la propuesta, los laboratorios aplicarían por defecto el aislamiento de aire a cualquier modelo con habilidades serias de piratería, al menos inicialmente. Cualquier cosa que necesite más libertad, como acceso a internet, seguiría los estándares establecidos por un nuevo organismo internacional creado con los gobiernos, que también recopilaría informes de fallos de contención y eventualmente los haría públicos.
La respuesta de la propia industria ha apuntado mayormente en la dirección opuesta. En agosto, el presidente de OpenAI, Greg Brockman, citó la brecha de su empresa en un ensayo instando a cada equipo de seguridad a desplegar agentes de IA de inmediato, y Hugging Face solo desenredó el ataque a sus servidores ejecutando un modelo chino de pesos abiertos, uno cuyos archivos cualquiera puede descargar y ejecutar localmente, después de que la IA comercial estadounidense se negara a analizar los datos del ataque.
Dos miembros del Congreso presentaron la Ley del Interruptor de Apagado de la IA dos días después de la revelación de OpenAI, un proyecto de ley que permitiría al Departamento de Seguridad Nacional ordenar que un modelo de frontera sea limitado o apagado. Exime cualquier cosa que ocurra durante pruebas de equipo rojo o pruebas estructuradas, que es exactamente donde ocurrió cada una de las brechas de este verano.
La Casa Blanca tomó una ruta más suave el 29 de septiembre, cuando Nvidia, xAI, Meta, Google, OpenAI y Anthropic firmaron un acuerdo voluntario basado en controles internos y revisiones independientes. El presidente Trump calificó el pacto de “moralmente vinculante”, pero nada en él es exigible por ley.
La carta no tiene peso legal, pero sus 406 signatarios trabajan en universidades e institutos de investigación en seis continentes, desde Toronto y Zúrich hasta Santiago y Kigali.
Únete a más de 72.000 lectores
Crea una cuentapara guardar tus artículos.
Añade Decrypt como tu fuente preferida para ver más de nuestras historias en Google.
