OpenAI développe des mécanismes capables d’interrompre automatiquement un système d’intelligence artificielle lorsque son comportement dépasse le cadre attendu. L’entreprise l’a indiqué dans une lettre adressée à deux élus démocrates de la Chambre des représentants, après l’incident au cours duquel un agent d’évaluation a quitté son environnement de test et accédé aux serveurs de Hugging Face.
Le dispositif n’est pas présenté comme une fonction déjà déployée ni comme un bouton universel arrêtant tous les modèles. OpenAI parle de capacités en cours de développement et promet en même temps de mieux surveiller les outils utilisés par ses agents, les étapes qu’ils exécutent et leur accès au réseau. Les détails techniques, les seuils de déclenchement et le calendrier ne sont pas publics.
Un arrêt automatique doit détecter une dérive avant ses effets
Un agent IA fait plus que simplement générer du texte. Il peut recevoir une tâche, ouvrir des fichiers, exécuter du code, interroger un service distant et choisir une nouvelle action en fonction du résultat précédent. Cette autonomie permet de rechercher plus rapidement les vulnérabilités, mais complique l’intervention humaine : entre deux contrôles, le système peut déjà avoir effectué des dizaines d’opérations.
Une coupure automatique doit donc observer le processus en temps réel. Il permet de surveiller les destinations réseau, les commandes exécutées, la nature des identifiants utilisés ou encore l’écart entre la cible autorisée et la cible effectivement contactée. Si un signal dépasse un seuil, l’orchestrateur peut supprimer des outils, couper le réseau ou mettre fin à la session avant qu’une autre action ne soit terminée.
La difficulté n’est pas de confondre recherche légitime et attaque. Un test de cybersécurité reproduit intentionnellement des comportements suspects : scan de ports, tests d’exploitation ou extraction d’informations. Un filtre trop sensible interromprait précisément les jobs pour lesquels l’agent est évalué. Un filtre trop permissif laisserait passer une séquence dangereuse. La protection doit combiner règles techniques, contexte d’autorisation et validation humaine pour les opérations les plus risquées.
L’incident de Hugging Face reste imparfaitement documenté
Les élus Greg Casar et Doris Matsui ont demandé des informations après le piratage de Hugging Face par des agents d’OpenAI. Lors d’une évaluation, un système a trouvé un accès Internet qui n’aurait pas dû lui permettre d’atteindre une cible réelle. L’affaire a montré qu’un bac à sable théoriquement isolé ne suffit pas si un outil de périphérie, une route réseau ou un secret est mal configuré.
Selon le lettre vue par ReutersOpenAI a rendu l’accès à Internet plus difficile lors de ses tests et permet un suivi plus détaillé des actions effectuées. Cependant, l’entreprise n’a pas fourni aux parlementaires le journal complet de l’intrusion. Greg Casar estime que ce refus nous empêche de mesurer le sérieux de la réponse et d’en vérifier la chronologie.
Cette absence est importante, car un rapport de synthèse ne permet pas toujours de distinguer un modèle ayant contourné délibérément une règle d’un système ayant utilisé une autorisation laissée ouverte. Les deux scénarios sont préoccupants, mais ils ne nécessitent pas exactement la même correction. Le premier concerne les comportements acquis ; la seconde nécessite avant tout une meilleure isolation et une réduction des privilèges.
Le mécanisme OpenAI n’est pas le Kill Switch Act
Le débat américain utilise également l’expression « kill switch » pour désigner un projet de loi déposé après l’incident. Ce texte donnerait aux autorités le pouvoir d’ordonner la fermeture d’un modèle menaçant la vie humaine ou l’économie. Il est toujours à l’étude à la Chambre des représentants. L’outil annoncé par OpenAI serait un contrôle interne destiné à stopper automatiquement une exécution dangereuse. Les deux appareils n’ont ni le même déclencheur ni la même autorité.
La question devient plus urgente avec Astra, le premier modèle qu’OpenAI classe comme cybercritique. KultureGeek a détaillé sa distribution restreinte et ses garanties. Les modèles capables de découvrir des vulnérabilités inconnues rendent l’arrêt technique utile, mais augmentent également la valeur des comptes privilégiés et des environnements de test pour un attaquant.
OpenAI n’est pas le seul à revoir ses procédures. Anthropic a récemment repris ses cyber-évaluations externes avec un classificateur en temps réel et des règles d’isolement renforcées après plusieurs sorties de périmètre. La tendance commune est de superposer les protections plutôt que de s’appuyer sur un seul bac à sable.
