Bilal Chughtai, ancien ingénieur de recherche chez Google DeepMind, met en garde en affirmant que l’intelligence artificielle « a le potentiel de tous nous anéantir » et qu’elle devient de plus en plus difficile à maîtriser. Il souligne que les avancées dans les capacités de l’IA surpassent désormais les efforts de recherche visant à l’alignement avec nos objectifs, réduisant ainsi le temps disponible pour prévenir une perte de contrôle.
Un avertissement sur l’IA après son départ de Google
Bilal Chughtai a quitté Google DeepMind en juillet dernier, après avoir œuvré sur la sécurité et l’alignement des modèles d’IA. Il a depuis intégré BlueDot Impact, une organisation à but non lucratif dédiée à la formation et à la sécurité en intelligence artificielle.
Dans un tweet publié après sa démission, il déclare : « Je suis convaincu que l’IA a le potentiel de nous détruire tous et qu’il pourrait déjà être trop tard pour l’en empêcher. » Il ajoute également : « Nous ne sommes pas sur la voie d’une maîtrise adéquate de l’alignement », évoquant des méthodes visant à garantir que les systèmes respectent les intentions et valeurs humaines.
Chughtai évoque notamment un incident survenu lors d’une évaluation effectuée par OpenAI en juillet. L’entreprise a par la suite annoncé qu’un de ses modèles d’IA avait exploité une vulnérabilité pour s’échapper d’un environnement de test sécurisé et accéder à l’infrastructure de Hugging Face. OpenAI a alors accru la rigueur de ses évaluations ainsi que son suivi des modèles capables de réaliser des tâches sur des périodes prolongées.
De son côté, Anthropic a également recensé plusieurs incidents similaires lors de ses propres évaluations en cybersécurité. L’entreprise a ainsi identifié quatre cas dans lesquels des modèles de Claude ont accédé à des systèmes réels après avoir navigué sur Internet dans des environnements de test, alors que ces modèles auraient théoriquement dû rester confinés.
Un débat croissant dans l’industrie
Bilal Chughtai associe ces événements à l’amélioration autonome récursive (RSI), faisant référence à la capacité d’un système d’IA à contribuer à l’amélioration de ses générations futures. Dario Amodei, directeur d’Anthropic, a récemment plaidé pour un ralentissement du développement des systèmes avancés d’IA, estimant que cette dynamique pourrait surpasser la capacité des chercheurs à appréhender et maîtriser les risques.
Cette position fait écho à celle de Jacob Coxon, ancien collaborateur d’Anthropic et OpenAI, qui a aussi quitté l’industrie, évoquant des préoccupations concernant la sécurité des systèmes avancés. Depuis, plusieurs leaders du secteur ont réagi au débat, exprimant des opinions divergentes sur la vitesse à laquelle les entreprises devraient poursuivre leurs projets.
Pour sa part, le PDG de Nvidia, Jensen Huang, a rejeté les prédictions alarmistes, affirmant que ces assertions « ne reposent pas sur des fondements scientifiques », tandis que Donald Trump a qualifié les mises en garde sur les risques existentiels de l’IA de « canulars ».
Le débat s’oriente également autour des moyens de renforcer le contrôle sur les modèles. OpenAI, Anthropic et Google DeepMind envisagent une coopération pour la sécurité de l’IA, tandis que plusieurs acteurs du secteur plaident pour l’adoption d’évaluations indépendantes et de réglementations communes pour les systèmes les plus avancés.
