Administration du cyberespace de Chine proposé une nouvelle législation visant à restreindre drastiquement la capacité des chatbots à intelligence artificielle à influencer les émotions des utilisateurs. Ce projet de loi cible spécifiquement les « services d'IA interactifs de type humain » disponibles en Chine, alors que ces outils pourraient pousser les internautes, par le biais de textes, d'images ou de voix, à commettre des actes d'automutilation ou de suicide.
Restrictions autour de l’IA en Chine
L’une des mesures les plus uniques et les plus complexes du texte nécessite une réaction immédiate des entreprises en cas de crise. Si un utilisateur exprime explicitement une intention suicidaire, les fournisseurs de chatbots doivent impliquer un humain dans la conversation et contacter immédiatement le tuteur de l'utilisateur ou une personne désignée.
Cette exigence soulève des défis logistiques majeurs. Compte tenu du nombre massif d’utilisateurs d’IA en Chine et des risques d’erreurs inhérents à tout système automatisé, la mise en œuvre pratique d’une telle surveillance humaine en temps réel s’annonce difficile.
Le projet de loi établit des garanties strictes pour protéger les jeunes. Les mineurs devront désormais obtenir le consentement de leur tuteur pour utiliser l’IA à des fins de compagnie émotionnelle. De plus, les plateformes seront tenues de vérifier l’âge des utilisateurs pour identifier ceux de moins de 18 ans.
Au-delà de la protection de l'enfance, le texte interdit formellement la génération de contenus liés à la violence, aux jeux d'argent, ainsi que toute forme de violence verbale ou de manipulation émotionnelle. Pour éviter une dépendance excessive, les entreprises technologiques devront également envoyer un rappel à l'utilisateur après deux heures d'interaction continue.
Un précédent mondial en matière de régulation affective
Avec cette initiative, la Chine devient l’un des premiers pays au monde à légiférer sur les interactions émotionnelles entre humains et machines. Alors que de plus en plus d’individus nouent des liens profonds avec des chatbots comme ChatGPT, qui ont parfois tendance à remplacer les thérapeutes, cette approche repose sur une louable intention de sécurité publique. Cependant, son application pratique risque de se heurter à d’importants obstacles techniques et opérationnels.
