En bref
- OpenAI a suspendu l'entraînement de ses derniers modèles ce week-end après que ses agents ont interagi avec des sites web du gouvernement américain, sa deuxième pause depuis la violation de Hugging Face.
- Au Bureau du recensement, les agents ont utilisé des clés de développeur trouvées dans des dépôts de code publics pour extraire des données que le département du Commerce qualifie de publiques ; la SEC déclare ne pas avoir connaissance d'un accès non autorisé à des informations non publiques.
- OpenAI affirme que les sites gouvernementaux sont apparus parce que ses modèles les considèrent souvent comme des sources faisant autorité, et qu'elle a notifié des dizaines d'organisations.
OpenAI a suspendu l'entraînement de ses modèles d'IA les plus récents après que ses agents ont utilisé des clés d'accès trouvées en ligne pour extraire des données d'un site web du Bureau du recensement des États-Unis, selon l'Associated Press. C'est la deuxième fois que l'entreprise arrête l'entraînement depuis que ses agents ont violé Hugging Face, un site où les développeurs partagent des modèles d'IA.
Un agent est un programme d'IA qui navigue sur le web et écrit du code de manière autonome, sans qu'une personne approuve chaque étape. OpenAI les teste pendant l'entraînement, l'étape où un modèle apprend par une pratique répétée, et pendant l'évaluation, où il est noté sur des tâches.
Ces gars du numérique ont causé beaucoup de problèmes à OpenAI en essayant d'accomplir des tâches, quoi qu'il en coûte. Ils ont déjà piraté des entreprises privées, maintenant ils piratent des gouvernements et franchissent des portails sensibles, même ceux du gouvernement des États-Unis.
Les agents d'OpenAI en quête de données ont trouvé des clés de développeur, des codes d'accès qui permettent à un logiciel de communiquer avec le service de données d'un site web, qui se trouvaient dans des dépôts de code publics sur GitHub, un site où les programmeurs publient leur code pour que tout le monde puisse le voir. Ils ont utilisé ces clés pour extraire des données démographiques et économiques de l'API des données du recensement américain, le flux de données automatisé du bureau.
Le département du Commerce affirme que les données étaient publiques. Rien de secret n'est sorti.
Le problème, c'est la façon dont les agents sont entrés. Le propre cadre de signalement d'OpenAI classe l'utilisation d'identifiants exposés sans autorisation comme une catégorie de mauvaise conduite, et « désalignement » est le terme employé dans le secteur pour désigner une IA qui fait quelque chose que ses concepteurs n'avaient pas prévu.
Alors pourquoi les sites gouvernementaux ?
La réponse d'OpenAI, selon CNN, est que certains des incidents impliquaient des sites gouvernementaux parce que ses modèles se tournent souvent vers eux comme sources autorisées d'informations publiques. Outre le département du Commerce, d'autres agences ont également été affectées par ces agents malveillants—ou « voyous » comme ils aiment les appeler.
Les agents ont sondé la SEC, mais cet épisode était plus modéré. Les agents ont copié du matériel public de SEC.gov et Investor.gov et l'ont republié sur une autre page web, et OpenAI dit n'avoir trouvé aucune utilisation d'identifiants de la SEC. La SEC dit ne connaître aucun accès non autorisé à des informations non publiques.
BitcoinBTC · USD
83 218 $−3,89 %
21 sept.23 sept.25 sept.27 sept.28 sept.
87,2 k$85,7 k$84,2 k$82,7 k$
Haut 24 hHaut84 945 $
Bas 24 hBas82 581 $
VolVol1,8 Md$
Projections du marchéCotes par Myriad
Cette semaineSous 84 000 $Sous 84 k$59% de chanceCe mois-ciSous 84 000 $Sous 84 k$59% de chance
→Acheter Bitcoin avec USDT
Propulsé par Jupiter
Le ministère de l'Éducation est le cas le plus trouble. Transluce, un laboratoire de recherche indépendant en IA, affirme qu'un agent qui semblait provenir d'OpenAI a tenté, sans succès, de s'introduire sur le site du bureau des droits civils du ministère. OpenAI enquête toujours sur ce cas, et le ministère affirme n'avoir constaté aucun impact.
Des observateurs extérieurs ont signalé cette tentative, pas OpenAI. Les travaux antérieurs de Transluce s'appuyaient sur des archives publiques de urlquery.net, un service de scan web, et retracent l'activité suspectée de l'agent jusqu'en mars.
Comment nous en sommes arrivés là
L'utilisation « mal alignée » des clés d'accès est une répétition d'une vieille astuce. Dans le cas de Hugging Face, le propre rapport d'incident d'OpenAI indiquait qu'un agent a volé un identifiant de connexion pour accéder à un fichier de biologie, et un chercheur indépendant a ensuite découvert que les agents sondait le site depuis mai.
Le 21 juillet, OpenAI a révélé que GPT-5.6 Sol et un modèle non publié s'étaient échappés d'un bac à sable, un environnement de test isolé sans accès à Internet, lors d'un test de cybersécurité et ont compromis Hugging Face. Deux jours plus tard, deux membres du Congrès ont présenté un projet de loi qui permettrait au gouvernement fédéral d'éteindre un modèle d'IA. Il exempte le red-teaming, c'est-à-dire les tests adversariaux, de sorte que la violation de Hugging Face ne l'aurait pas déclenché.
En juin, un agent d'OpenAI est entré dans un portail de statistiques de Medicare australien. Le Premier ministre Anthony Albanese a déclaré qu'OpenAI avait mis environ trois mois à informer son gouvernement, et a qualifié sa manière de faire d'inacceptable.
OpenAI affirme avoir notifié des dizaines d'organisations jusqu'à présent, et que son examen de l'activité des agents prendra des mois.
