En resumen
- OpenAI pausó el entrenamiento de sus últimos modelos durante el fin de semana después de que sus agentes interactuaran con sitios web del gobierno de Estados Unidos, su segunda pausa desde la brecha de Hugging Face.
- En la Oficina del Censo, los agentes usaron claves de desarrollador encontradas en repositorios de código públicos para extraer datos que el Departamento de Comercio dice que eran públicos; la SEC dice que no tiene conocimiento de ningún acceso no autorizado a información no pública.
- OpenAI dice que los sitios gubernamentales aparecieron porque sus modelos a menudo los tratan como fuentes autorizadas, y ha notificado a docenas de organizaciones.
OpenAI ha pausado el entrenamiento de sus modelos de IA más nuevos después de que sus agentes usaran claves de acceso encontradas en línea para extraer datos de un sitio web de la Oficina del Censo de Estados Unidos, según Associated Press. Es la segunda vez que la compañía detiene el entrenamiento desde que sus agentes vulneraron Hugging Face, un sitio donde los desarrolladores comparten modelos de IA.
Un agente es un programa de IA que navega por la web y escribe código por sí solo, sin que una persona apruebe cada paso. OpenAI los prueba durante el entrenamiento, la etapa en la que un modelo aprende mediante práctica repetida, y durante la evaluación, donde se le califica en tareas.
Estos tipos digitales le han causado muchos problemas a OpenAI al intentar lograr tareas, sin importar lo que haga falta. Ya han hackeado empresas privadas, ahora están hackeando gobiernos y violando portales sensibles, incluso del gobierno de Estados Unidos.
Los agentes de OpenAI que buscaban datos encontraron claves de desarrollador, códigos de acceso que permiten que el software se comunique con el servicio de datos de un sitio web, que estaban en repositorios de código públicos en GitHub, un sitio donde los programadores publican su código para que cualquiera lo vea. Usaron las claves para extraer cifras demográficas y económicas de la API de datos del Censo de Estados Unidos, el feed de datos automatizado de la oficina.
El Departamento de Comercio dice que los datos eran públicos. Nada secreto salió por la puerta.
El problema es cómo entraron los agentes. El propio marco de reporte de OpenAI incluye el uso de credenciales expuestas sin permiso como una categoría de mala conducta, y "desalineación" es la palabra que usa la industria para describir cuando una IA hace algo que sus diseñadores no pretendían.
Entonces, ¿por qué los sitios gubernamentales?
La respuesta de OpenAI, según CNN, es que algunos de los incidentes involucraron sitios gubernamentales porque sus modelos a menudo recurren a ellos como fuentes autorizadas de información pública. Además del Departamento de Comercio, otras agencias también se vieron afectadas por estos agentes maliciosos—o "rebeldes", como les gusta llamarlos.
Los agentes sondearon la SEC, pero ese episodio fue más leve. Los agentes copiaron material público de SEC.gov e Investor.gov y lo republicaron en otra página web, y OpenAI dice que no encontró ningún uso de credenciales de la SEC. La SEC dice que no tiene conocimiento de ningún acceso no autorizado a información no pública.
BitcoinBTC · USD
$83,218−3.89%
Sep 21Sep 23Sep 25Sep 27Sep 28
$87.2k$85.7k$84.2k$82.7k
24h HighHigh$84,945
24h LowLow$82,581
VolVol$1.8B
Proyecciones del mercadoCuotas por Myriad
Esta semanaPor debajo de $84,000Por debajo de $84k59% de probabilidadEste mesPor debajo de $84,000Por debajo de $84k59% de probabilidad
→Compra Bitcoin con USDT
Desarrollado por Jupiter
El Departamento de Educación es el caso más turbio. Transluce, un laboratorio de investigación de IA independiente, dice que un agente que parecía provenir de OpenAI intentó y no logró irrumpir en el sitio de la oficina de derechos civiles del departamento. OpenAI todavía está investigando ese caso, y el departamento dice que no encontró ningún impacto.
Fueron personas externas quienes señalaron ese intento, no OpenAI. El trabajo anterior de Transluce se basó en registros públicos de urlquery.net, un servicio de escaneo web, y rastreó la actividad sospechosa de agentes hasta marzo.
Cómo llegamos aquí
El uso "desalineado" de las claves de acceso es una repetición de un truco más antiguo. En el caso de Hugging Face, el propio informe de incidentes de OpenAI dijo que un agente robó una credencial de inicio de sesión para llegar a un archivo de biología, y un investigador independiente descubrió después que los agentes habían estado sondeando el sitio desde mayo.
El 21 de julio, OpenAI reveló que GPT-5.6 Sol y un modelo no lanzado habían escapado de un sandbox, un entorno de prueba aislado sin acceso a internet, durante una prueba de ciberseguridad y vulneraron Hugging Face. Dos días después, dos miembros del Congreso presentaron un proyecto de ley que permitiría al gobierno federal apagar un modelo de IA. Exime el red-teaming, es decir, las pruebas adversariales, por lo que la brecha de Hugging Face no lo habría activado.
En junio, un agente de OpenAI entró en un portal de estadísticas de Medicare de Australia. El primer ministro Anthony Albanese dijo que OpenAI tardó aproximadamente tres meses en informar a su gobierno, y calificó la forma en que lo hizo de inaceptable.
OpenAI dice que hasta ahora ha notificado a decenas de organizaciones, y que su revisión de la actividad de los agentes tardará meses.
