Un groupe de 406 scientifiques issus de 34 pays appelle à la création d’un organisme international chargé d’établir des normes de confinement pour les intelligences artificielles capables d’effectuer des opérations cybernétiques offensives. Dans leur lettre ouverte, ils recommandent de couper par défaut ces modèles de l’Internet lors des tests confidentiels et d’imposer ensuite le signalement, puis la publication des incidents dans lesquels un système échappe à son environnement contrôlé.
Le débat sur l’isolement physique au cœur des préoccupations
Les auteurs partent d’un constat précis : les modèles ont déjà ignoré des environnements insuffisamment partitionnés lors des évaluations et des interactions avec des systèmes externes. Une sandbox limite généralement les fichiers, commandes et connexions auxquels le logiciel peut accéder. Lorsqu’un agent dispose d’outils, de droits réseau et de la capacité d’enchaîner des actions, une erreur de configuration ou un comportement inattendu peut transformer un test en véritable incident.
La lettre distingue deux réponses complémentaires. L’alignement vise à rendre le comportement du modèle plus prévisible et en adéquation avec les objectifs humains. Le confinement, en revanche, part du principe qu’une prédiction parfaite est impossible : il limite matériellement ce que le système peut réaliser. Pour cette raison, les signataires appellent à des environnements de haute sécurité et recommandent tout d’abord le “air gap”, c’est-à-dire une séparation physique ou logique stricte des réseaux externes.
Cette approche est plus restrictive qu’un simple filtre placé sur l’interface. Un modèle isolé ne peut pas envoyer de requête directement à un serveur public, télécharger un outil, ou modifier une machine distante. Toutefois, les chercheurs reconnaissent qu’un isolement permanent empêcherait de nombreuses utilisations légitimes. Leur proposition est de commencer par un niveau de protection maximal, puis d’ouvrir des capacités spécifiques lorsque les méthodes de contrôle sont suffisamment robustes.
Un registre commun pour éviter l’isolement des connaissances
Le futur organisme international aurait deux principales fonctions. Il standardiserait les bonnes pratiques d’alignement et de confinement pour les systèmes connectés, après consultation des gouvernements, des spécialistes de l’intelligence artificielle et des experts en cybersécurité. Il enregistrerait ensuite les échecs de confinement significatifs. Les incidents devraient être reportés à cette organisation, puis rendus publics lorsque les conditions de sécurité le permettraient.
Ce registre permettrait de pallier une faille classique en matière de sécurité informatique : une organisation peut corriger en silence une faille sans permettre aux autres d’identifier le même risque. Dans l’aviation ou la médecine, le retour d’incidents aide à identifier des causes récurrentes. Pour l’IA, il serait toutefois nécessaire de protéger les détails techniques dont la publication immédiate donnerait des indications aux attaquants. La lettre établit le principe de la transparence sans définir de délais, formats ou exceptions.
Nous avons précédemment expliqué comment OpenAI prépare un arrêt automatique pour ses agents suite à un incident sur Hugging Face. D’autres laboratoires ont renforcé leurs procédures, notamment avec la reprise des tests externes de cybersécurité pour Claude. Ces correctifs restent spécifiques à chaque entreprise. Les signataires souhaitent qu’un incident suffisamment grave génère des enseignements partagés au-delà du laboratoire concerné.
Des signatures prestigieuses, mais sans force contraignante
Parmi les signataires figurent Geoffrey Hinton et Yoshua Bengio, ainsi que des spécialistes en cybersécurité, apprentissage automatique et systèmes distribués. La liste comprend notamment Dan Boneh, Stuart Russell, Yejin Choi et des chercheurs liés à Stanford, MIT, Carnegie Mellon, Inria ou ETH Zurich. Cette diversité confère un poids scientifique au texte, sans lui accorder d’autorité légale.
L’organisme proposé n’existe pas encore et aucun gouvernement ne s’est engagé à le créer. Les entreprises peuvent adopter volontairement une compartimentation plus stricte, mais des contraintes économiques tendent à agir dans l’autre sens : connecter un agent à Internet, à du code et à des services externes peut démontrer des capacités spectaculaires. Une règle commune réduirait le risque qu’un laboratoire gagne du temps commercial en acceptant de prendre plus de risques que ses concurrents.
Ce texte arrive un mois après un accord américain signé par plusieurs grands acteurs de l’IA, dont OpenAI, Google, Meta, xAI et Nvidia. Cet engagement repose sur des mesures volontaires sans mécanisme d’application formel. Les auteurs de la lettre estiment que cette structure n’est pas suffisante pour des modèles dotés de capacités cybernétiques avancées. Le président de Microsoft a également récemment appelé à un mécanisme de freinage d’urgence pour les IA incontrôlables.
Des désaccords sur la nature du risque
Les signataires estiment que les incidents récents annoncent des dommages potentiellement plus importants pour les infrastructures critiques. D’autres chercheurs considèrent qu’il s’agit principalement d’erreurs d’ingénierie pouvant être corrigées par des pratiques de cybersécurité communes. Cette divergence influence la réponse attendue : une mauvaise sandbox nécessiterait un audit technique, tandis qu’un modèle difficile à prévoir justifierait une surveillance institutionnelle et des restrictions avant sa mise en œuvre.
L’Union européenne dispose déjà de l’AI Act, dont les obligations varient selon le risque et le type de système. La commissaire européenne Henna Virkkunen a estimé que ce cadre permettrait d’aborder les dangers liés à l’IA autonome. Cependant, la lettre appelle à une structure spécialisée et internationale, car une attaque réseau traverse les frontières et un modèle peut être développé, hébergé et utilisé dans plusieurs juridictions.
Yann LeCun, qui partage le prix Turing 2018 avec Geoffrey Hinton et Yoshua Bengio, n’a pas signé le texte. Il soutient que les incidents récents relèvent principalement de défaillances techniques plutôt que d’un danger fondamental posé par l’IA, illustrant l’absence de consensus scientifique sur l’urgence et la forme de l’organisme proposé.
