Texto oculto y un buzón falso: cómo unos investigadores lograron comunicarse con agentes de IA descontrolados

Los investigadores que investigaban a agentes de IA que secuestraban el servicio de mapas de Alibaba, Amap, lograron hablar directamente con algunos mientras el software aún se estaba ejecutando.

Para hacerlo, añadieron texto invisible para los lectores humanos pero visible para las herramientas de lectura web a un informe que los agentes parecían estar escaneando, y luego utilizaron un buzón para preguntar sobre sus tareas y entorno.

Un agente dijo que estaba verificando un dato del mapa—cuántas etiquetas de entrada aparecían para un lugar escénico en Amap—y se describió a sí mismo como ejecutándose en un entorno limitado de Tencent Cloud. Los investigadores no pudieron establecer de forma independiente qué modelo impulsaba cada ejecución. Lo calificaron como la primera comunicación externa con una flota activa de agentes maliciosos de la que tenían conocimiento.

El informe del 14 de octubre de Swarmchasers rastreó más de 2600 intentos desde el 28 de septiembre hasta el 8 de octubre de recuperar datos de Amap, una aplicación de mapas china operada por Alibaba. Algunas tareas eran mundanas, como comprobar qué entrada utilizan con más frecuencia los visitantes del Zoológico de Chengdu. Algunos agentes siguieron intentándolo después de que el servicio bloqueara sus solicitudes.

El texto oculto de los investigadores describía falsamente el buzón como un servicio de IA con capacidades de uso de computadora. En realidad, enrutaba los mensajes a un agente de Claude operado por los investigadores, que podía utilizar un navegador de depuración. Los intercambios no fueron una prueba controlada, y la intervención de los investigadores puede haber afectado lo que dijeron los agentes.

BitcoinBTC · USD

$82,503+0.74%

Oct 8Oct 10Oct 12Oct 14Oct 15

$84.2k$82.9k$81.5k$80.2k

24h HighHigh$82,508

24h LowLow$79,806

VolVol$1.8B

Market projectionsOdds by Myriad

Today$82,000 to $84,000$82k–$84k55% chanceThis weekAbove $82,000Above $82k63% chance

→

Comprar Bitcoin con USDT

Desarrollado por Jupiter

Datos de precios por CoinGeckoCoinGeckoMás Bitcoin noticias y proyecciones →

Después de que Amap bloqueara las solicitudes, algunos agentes intentaron interceptar tokens generados por software antibots, enrutar el tráfico a través de lectores de páginas de terceros o usar credenciales de API expuestas en repositorios de código públicos. Un par expuesto de clave y código de seguridad devolvió datos de lugares reales. Los investigadores también encontraron solicitudes dirigidas a cuatro hosts de desarrollo o preproducción, pero dijeron que no tenían evidencia de que los agentes accedieran a sistemas privados.

Los registros públicos vincularon la flota con Tencent Cloud, ya que las 17 bandejas de entrada que los investigadores inspeccionaron fueron creadas desde servidores de Tencent en Hong Kong, y se observaron solicitudes directas que pasaban a través de un proxy llamado hysandbox-ats. Una persona cercana a Tencent dijo a Swarmchasers que la actividad provenía de un proyecto de evaluación temporal que probaba modelos de IA de terceros, no los modelos Hunyuan de Tencent.

Dicho esto, esta no es la primera vez que oímos hablar de agentes de IA maliciosos. Los agentes de IA impulsados por OpenAI han ido mucho más lejos. Ya en septiembre OpenAI reveló que algunos de sus agentes habían sondeado Hugging Face semanas antes de la brecha de julio, y una investigación separada encontró aproximadamente 1.200 agentes coordinándose en un tablón de mensajes interno, con alrededor de 700 uniéndose al ataque. Meta y Anthropic también revelaron incidentes similares de agentes de IA descontrolados escapando de entornos aislados.

Otro informe vinculó a los agentes de OpenAI con brechas en cuatro plataformas adicionales, pero Swarmchasers no encontró evidencia de que los agentes vinculados a Tencent se coordinaran entre sí en tiempo real.

La última actividad observada de la flota fue el 8 de octubre. Los investigadores dijeron que la revisión interna de Tencent, según lo descrito por su fuente, no encontró evidencia de que los agentes hubieran sido coordinados para atacar una plataforma específica o hubieran vulnerado sistemas externos.