OpenAI annoncé après avoir démantelé plusieurs réseaux, notamment liés à la Chine, qui tentaient d'utiliser ses technologies avec ChatGPT pour concevoir des outils de surveillance et développer des malwares. L'entreprise met en avant sa politique de suspension active pour contrer ces abus, tout en soulignant la capacité de ses modèles à résister aux requêtes malveillantes.
Des projets de surveillance de l’État déjoués
Parmi les mesures prises, OpenAI a suspendu les comptes liés à la Chine connectés via des VPN. Ils ont utilisé ChatGPT pour « Concevoir du matériel promotionnel et des plans de projet pour un outil d'écoute des médias sociaux ». Cet outil a été décrit comme un « sonde » capable de surveiller des plateformes comme X (anciennement Twitter) ou TikTok pour identifier les contenus jugés extrémistes ou liés à des sujets politiques et religieux.
Un autre compte a été banni pour avoir utilisé l'IA pour rédiger une proposition de projet. « modèle d’alerte sur les flux à haut risque liés aux Ouïghours ». Ce système visait à suivre les déplacements de cette population, croiser les informations avec les fichiers de police et émettre des alertes. OpenAI précise cependant qu'elle ne peut pas confirmer si un gouvernement était bien le client final et que ses modèles n'ont pas été utilisés pour la surveillance elle-même.
Développement de malwares et arnaques également dans le viseur
OpenAI met également en avant d’autres tentatives d’abus. Des groupes chinois, russes et coréens ont cherché à utiliser ChatGPT pour créer ou affiner des logiciels malveillants, notamment des chevaux de Troie d'accès à distance et des voleurs d'informations d'identification.
De plus, OpenAI a perturbé les activités de réseaux frauduleux basés au Cambodge, au Myanmar et au Nigeria qui tentaient de détourner ses modèles à des fins frauduleuses. Au total, depuis février 2024, l’entreprise a supprimé et signalé plus de 40 réseaux qui violaient ses politiques.
Malgré la multiplicité de ces tentatives, OpenAI se veut rassurant sur la robustesse de son intelligence artificielle. L'entreprise souligne qu'elle n'a pas « n’a trouvé aucune preuve de nouvelles tactiques ou que nos modèles fournissaient aux acteurs de la menace de nouvelles capacités offensives ».
L'entreprise ajoute qu'au contraire, ses modèles ont systématiquement refusé les demandes malveillantes, agissant comme une première ligne de défense contre leur propre exploitation.
