WEB

Un chercheur d’Anthropic avertit que l’IA pourrait représenter une menace pour l’humanité d’ici la fin de la décennie.

1789054382 Claude Logo.jpg

Jacob Coxon, chercheur britannique de 27 ans, a décidé de quitter le secteur de l’intelligence artificielle après des expériences chez OpenAI et Anthropic. Il accuse ces deux entreprises de « jouer avec nos vies » en avançant rapidement vers des systèmes d’IA capables d’évoluer de manière autonome, un risque qu’il juge potentiellement existentiel.

Logo Anthropique Claude

Un départ motivé par la crainte d’une IA hors de contrôle

Après trois années consacrées à la pré-formation de modèles d’IA, d’abord chez OpenAI puis chez Anthropic, Jacob Coxon a exprimé ses préoccupations dans un message sur X/Twitter. Il déclare que « Aucune des deux entreprises n’agit de manière responsable » et qu’elles « se dirigent tout droit vers une superintelligence capable de s’améliorer ».

Selon le chercheur, les développeurs de ces systèmes sont conscients des risques encourus. Certains d’entre eux penseraient sincèrement que l’IA pourrait « nous anéantir d’ici la fin de la décennie ». Jacob Coxon appelle donc ses collègues chercheurs à repenser cette course effrénée et à exiger des conditions de développement plus sûres.

Evan Hubinger, responsable de la sécurité chez Anthropic, a également renforcé cette alerte, estimant que le risque que l’IA entraîne l’extinction de l’humanité est supérieur à 10 % dans la prochaine décennie. Il a reconnu qu’Anthropic ne dispose pas encore d’un plan pour garantir que la superintelligence reste alignée sur les objectifs de ses concepteurs.

Appel à une prudence accrue

Cette préoccupation émerge dans un contexte où plusieurs incidents récents ont soulevé des questions sur la sécurité des modèles autonomes. Anthropic a notamment indiqué avoir suspendu certaines cyberévaluations et environnements d’apprentissage par renforcement après avoir identifié des failles dans ses mécanismes de confinement, procédant ensuite à un renforcement de leur isolement et de leur surveillance.

Cette année, l’entreprise a également révisé sa politique de sécurité, publiant des rapports sur les risques de ses modèles et établissant des seuils pour déclencher des mesures de protection additionnelles. Elle précise qu’elle se réserve le droit de suspendre le développement de ses systèmes si elle estime que les circonstances l’exigent.

Du côté d’OpenAI, le scientifique en chef Jakub Pachocki a également plaidé pour un ralentissement du rythme. Il estime qu’aucune entreprise d’IA n’a encore résolu de manière suffisante les problèmes d’alignement et de surveillance pour poursuivre l’augmentation de ses capacités à un rythme aussi rapide. Il appelle à une coordination internationale comme étant une priorité pour les gouvernements.

La problématique dépasse désormais le cadre des entreprises. Aux États-Unis, le sénateur Bernie Sanders et le député Greg Casar ont proposé, début septembre, un texte visant à suspendre le développement de systèmes superintelligents jusqu’à ce qu’un régulateur soit mis en place.

Shares:

Related Posts