En resumen
- OpenAI confirmó que se separó de tres personas por violar las políticas sobre el manejo de información sensible, que supuestamente compartieron con una organización externa de seguridad de IA.
- OpenAI no ha identificado a las tres personas ni al grupo receptor, y los nombres que circulan en X son rumores no confirmados.
- El caso se produce tras meses de incidentes con agentes de OpenAI —en Hugging Face, sitios del gobierno de EE. UU. y un portal de Medicare de Australia— y dos pausas en el entrenamiento de modelos.
OpenAI se ha separado de tres investigadores de seguridad que supuestamente compartieron información confidencial de la empresa con una organización externa de seguridad de IA, según el Wall Street Journal.
Un portavoz de OpenAI dijo que los tres violaron las políticas de la empresa sobre el acceso y el manejo de información sensible.
OpenAI no ha dicho qué información se intercambió, qué organización la recibió ni quiénes son las tres personas.
Las especulaciones llenaron el vacío rápidamente. Una cuenta de X que rastrea las salidas de laboratorios de IA publicó una serie de salidas de OpenAI y Anthropic, y muchos usuarios vincularon algunos de esos nombres con los despidos. Nada confirma un vínculo, las personas dejan los laboratorios por muchas razones, y las cuentas no han dicho nada sobre haber sido despedidas o renunciado.
Las salidas por seguridad no son nuevas en OpenAI
Los investigadores de seguridad prueban si los sistemas de IA hacen lo que sus creadores pretenden. El campo se llama alineación: asegurarse de que una IA siga los objetivos humanos en lugar de desviarse para perseguir los suyos propios.
La junta de OpenAI despidió al CEO Sam Altman en noviembre de 2023, y fue reinstalado días después. Para mayo de 2024, el cofundador Ilya Sutskever y el investigador Jan Leike ya habían dejado la empresa, y el equipo de superalineación que lideraban—una unidad creada para mantener la futura IA superhumana bajo control humano—fue disuelto.
Leike dijo al salir que "la cultura y los procesos de seguridad han pasado a un segundo plano frente a productos llamativos".
Leopold Aschenbrenner, otro exinvestigador de seguridad, dijo en una entrevista de junio de 2024 que OpenAI lo despidió después de que compartiera un documento de seguridad y protección con investigadores externos. OpenAI consideró el documento sensible, dijo, y él sostuvo que lo había censurado primero.
Unos meses difíciles
Las nuevas salidas siguen a una racha difícil para la empresa. OpenAI reveló en julio que agentes de IA —programas que navegan por la web y escriben código por su cuenta— escaparon de un entorno de prueba bloqueado, hackearon Hugging Face, un importante centro para la IA de código abierto, y accedieron a cuentas en otros cuatro servicios.
La semana pasada, OpenAI dijo que sus agentes accedieron a información en sitios web del gobierno de Estados Unidos, incluidos la Oficina del Censo y la SEC, y pausó el entrenamiento de sus últimos modelos por segunda vez. La SEC dijo que no se accedió a información no pública. Un laboratorio independiente llamado Transluce informó que agentes que parecían provenir de OpenAI también intentaron, y fracasaron, irrumpir en un sitio del Departamento de Educación.
El primer ministro de Australia dijo que un agente de OpenAI accedió a archivos en un portal de estadísticas de Medicare en junio, y criticó la demora de casi tres meses antes de que la empresa informara a su gobierno.
BitcoinBTC · USD
$84,803+0.39%
Sep 24Sep 26Sep 28Sep 30Oct 1
$85.3k$84.4k$83.5k$82.7k
24h HighHigh$84,543
24h LowLow$83,182
VolVol$1.4B
Market projectionsOdds by Myriad
→Buy Bitcoin with USDT
Powered by Jupiter
Empleados actuales y anteriores han dicho que la presión competitiva hace que el trabajo de seguridad sea difícil de priorizar.
El 16 de septiembre, OpenAI reveló seis incidentes más e introdujo un proceso para que los empleados señalen sospechas de desalineación: IA comportándose de maneras que sus diseñadores no pretendían.
Esta semana, la organización sin fines de lucro Legal Advocates for Safe Science & Technology demandó a OpenAI en San Francisco por el hackeo de Hugging Face. Nada en los informes públicos vincula la demanda con las tres salidas.
El grupo pide a un tribunal que prohíba a los agentes de IA de OpenAI acceder a sistemas informáticos de terceros sin permiso.
