Dario Amodei, CEO d’Anthropic, la société à l’origine de Claude, appelle l’industrie de l’intelligence artificielle à ralentir le développement de ses modèles les plus avancés. Il plaide pour un ralentissement des avancées afin de donner le temps aux dispositifs de sécurité de s’adapter, soutenu en cela par Sam Altman (OpenAI) et Elon Musk (SpaceXAI).
Le CEO d’Anthropic plaide pour une attention accrue à la sécurité
Dans un essai, Dario Amodei souligne que l’IA progresse à une vitesse telle qu’elle dépasse la capacité des chercheurs à comprendre et contrôler ses systèmes. Il exhorte donc les entreprises à « ralentir le rythme auquel nous améliorons les capacités des modèles d’IA », tout en précisant que les avancées demeureront rapides.
Amodei exprime de vives inquiétudes quant à l’accélération des améliorations apportées par l’IA elle-même. Selon lui, cette dynamique d’auto-amélioration pourrait rendre les systèmes beaucoup plus difficilement contrôlables, engendrant des risques considérables dans un avenir proche si les mesures de sécurité ne progressent pas en parallèle.
Pour guider cette évolution, il propose un plan en trois volets :
- permettre aux évaluateurs indépendants d’accéder à des systèmes avec des droits comparables à ceux des employés pour exercer une surveillance sur leur sécurité
- coordonner les principales entreprises d’IA (OpenAI, etc.) afin d’établir des normes communes et d’éviter une course au développement dépourvue de garde-fous
- promouvoir une coopération internationale sur les risques liés aux modèles avancés et à leur auto-amélioration
Anthropic s’engage dès à présent sur la première proposition. Dario Amodei désire que des évaluateurs externes puissent évaluer les mesures de sécurité, signaler les incidents et examiner l’alignement des modèles durant leur formation.
Le soutien de Sam Altman et d’Elon Musk
Sam Altman a rapidement apporté son soutien à la proposition de son concurrent. Le directeur d’OpenAI a déclaré qu’il partageait la perspective de progresser à un rythme adapté aux évolutions technologiques et a annoncé qu’OpenAI prévoyait également de permettre à des évaluateurs indépendants d’accéder à ses systèmes.
Elon Musk, fondateur et dirigeant de SpaceXAI, qui propose Grok, a également exprimé son soutien à Dario Amodei via un message sur X/Twitter, où il a simplement déclaré : « Dario a raison ». Cependant, il ne s’est pas engagé publiquement en faveur du système d’évaluation indépendant suggéré par Anthropic et OpenAI.
Cette prise de position conjointe fait suite à plusieurs alertes récentes concernant les capacités des agents autonomes d’IA. Dario Amodei mentionne notamment un hack impliquant des agents d’OpenAI ciblant Hugging Face, décrivant l’attaque comme le fruit d’un groupe menant des cyberattaques contre des cibles en dehors de leur mission initiale.
Le débat s’étend au-delà des rivalités entre les entreprises d’IA : les dirigeants d’Anthropic, OpenAI et SpaceXAI militent tous pour une forme de ralentissement, tandis que les sociétés poursuivent leurs investissements massifs dans des modèles capables de raisonner, d’agir de manière autonome et de contribuer au développement de systèmes plus efficients.
