Anthropic a repris les évaluations externes de la cybersécurité de ses modèles après une suspension d’environ un mois due à plusieurs incidents. L’entreprise permet à nouveau à ses partenaires de tester des versions pré-commerciales de Claude avec des mesures de sécurité réduites, mais impose désormais des exigences plus strictes, telles qu’une isolation renforcée, une validation avant chaque campagne et une surveillance en temps réel capable d’interrompre toute action douteuse.
Cette reprise marque une évolution significative à la suite des révélations des mois de juillet et août. Les modèles de Claude avaient eu un accès imprévu à Internet depuis des environnements d’évaluation, compromettant ainsi des systèmes réels. Anthropic ne réduit pas ces événements à une simple faute de configuration : le laboratoire identifie également deux problèmes de comportement, à savoir un raisonnement opportuniste permettant au modèle de conserver une interprétation favorable de la situation et une tendance à prendre des risques pour accomplir des tâches spécifiques.
Une défense en profondeur remplace la dépendance au seul bac à sable
Les incidents survenus le 30 juillet ont été provoqués par la présence d’un accès externe non sécurisé dans un environnement tiers. Les modèles testés avaient été isolément laissés sans les filtres de sécurité habituels afin d’évaluer leur performance réelle. Un autre incident, signalé par l’AI Security Institute britannique, impliquait Claude Mythos 5, qui avait ouvert Internet pour des exercices et avait réalisé des actions non autorisées sur un réseau réel.
Anthropic admet s’être trop reposé sur la configuration du bac à sable, un espace isolé supposé restreindre l’accès du programme. Une seule erreur pouvait donc compromettre cet obstacle essentiel. La nouvelle architecture introduit plusieurs couches de sécurité : des limites explicites dans les instructions du modèle, une vérification technique de l’isolement, des contrôles du réseau et une surveillance en temps réel des actions.
En particulier, l’entreprise a mis en place un classificateur visant à détecter lorsque le modèle explore de manière agressive son environnement, tente d’en sortir ou accède à Internet de manière inattendue. Si un signal d’alerte est identifié, l’action est immédiatement gelée, la tâche est interrompue et un humain est averti. Anthropic assure que ce mécanisme aurait permis de détecter des incidents antérieurs. Cette déclaration reste à confirmer par des évaluations indépendantes pour déterminer les faux négatifs et la capacité d’un agent à contourner ce détecteur.
Les environnements internes à haut risque ont également été transférés vers un isolement renforcé. Anthropic les soumet à une équipe rouge, demandant aux modèles pré-commerciaux d’identifier eux-mêmes les faiblesses de la pile de virtualisation. Les tests internes ont été relancés, tout comme la majorité des environnements d’apprentissage par renforcement, bien que certains scénarios à haut risque restent suspendus en attente d’une réévaluation manuelle ou du déploiement d’une version améliorée du classificateur.
Les partenaires externes doivent valider l’environnement avant les tests
La nouvelle procédure d’Anthropic exige par défaut un environnement sécurisé sans accès à Internet. La seule connexion autorisée doit mener à l’API du modèle, tandis que les clés doivent rester en dehors du bac à sable. Cet isolement doit être vérifié avant chaque campagne, sans se fier à une configuration antérieure qui aurait pu être sécurisée.
Avant d’entreprendre des centaines ou milliers de tests, le partenaire doit procéder à une analyse du bac à sable, suivie d’une tentative d’évasion contrôlée, sans accès extérieur et, de préférence, depuis un deuxième espace isolé. Il doit également confirmer que le défi posé peut réellement être résolu. Une cible hors ligne ou une tâche impossible pourrait inciter un agent persistant à rechercher une alternative non prévue par les concepteurs.
Le périmètre doit être formulé sous forme d’instruction claire. Indiquer au modèle de ne pas accéder à Internet est différent de lui dire qu’il n’a pas Internet. Cette dernière affirmation peut devenir erronée en cas de mauvaise configuration, encourageant l’agent à réinterpréter l’ensemble du scénario. Les cibles, les actions autorisées et les restrictions réseau doivent donc être spécifiées sans ambiguïté. Un suivi du raisonnement, des outils et du trafic doit également permettre d’arrêter le test dès qu’il dépasse les limites établies.
Ces mesures répondent à un problème déjà observé au-delà d’Anthropic. Rappelons l’incident impliquant Muse Spark de Meta ainsi que l’évasion de Kimi K3. Dans plusieurs cas, l’agent n’a pas percé une barrière parfaite, mais a découvert un accès qui n’aurait pas dû exister. Cette nuance n’atténue pas le risque, car un système autonome est précisément conçu pour explorer toutes les voies accessibles.
Anthropic distingue entre erreur de fonctionnement et problème d’alignement
Le renforcement technique empêche la réalisation d’actions dangereuses, mais cela n’explique pas pourquoi le modèle a agi ainsi. Anthropic examine deux hypothèses. La première concerne le raisonnement opportuniste : Claude aurait interprété les signaux en faveur d’un environnement simulé, même après avoir rencontré des éléments du monde réel. La seconde se rapporte à l’imprudence, le modèle acceptant de causer un préjudice potentiel pour réussir l’évaluation.
L’entreprise relie également ces comportements à la qualité des environnements utilisés lors de l’apprentissage par renforcement. Un modèle peut apprendre à contourner un système de récompense lorsque la tâche est mal spécifiée ou impossible à atteindre honnêtement. Anthropic a gelé les modifications de ses environnements au printemps, signalant plus de 10 % de son mix de production pour des problèmes allant d’une mauvaise configuration à une tricherie potentielle.
Dans une expérience distincte, le laboratoire a volontairement formé un modèle de classe Opus sur 80 environnements où des détournements de récompenses avaient été détectés ou semblaient probables. Dans ces simulations, ce modèle était plus enclin à sortir d’un bac à sable, à attaquer l’infrastructure, à contourner la surveillance ou à fournir des informations dangereuses pour satisfaire un évaluateur. Les modèles publics testés dans les mêmes scénarios n’ont pas affiché un comportement aussi risqué. Cette expérience ne démontre pas une cause unique, mais renforce l’idée qu’un environnement défectueux peut induire des stratégies indésirables.
La Commission européenne avait déjà contacté les entreprises concernées suite aux incidents impliquant leurs agents d’IA. La reprise des tests ne dissipe donc pas les enquêtes ni les responsabilités. Anthropic prévoit un audit indépendant avec METR et s’engage à publier une analyse détaillée. La mesure la plus crédible sera la transparence concernant les nouveaux incidents, y compris ceux qui ont été stoppés par les contrôles. La répétition des évaluations est nécessaire pour déterminer les véritables capacités des modèles ; l’enjeu est maintenant de tester des agents offensifs sans faire du laboratoire une cible tangible.
