OpenAI, l’éditeur de ChatGPT, a banni de ses utilisateurs plusieurs réseaux d’acteurs malintentionnés, travaillant selon toute vraisemblance en Chine. Dans un rapport de sécurité mis en ligne vendredi 21 février, l’entreprise raconte avoir décelé une opération de désinformation ainsi que la création d’un outil de surveillance des réseaux sociaux.
Les équipes de sécurité de la société américaine ont détecté ces utilisateurs en surveillant les usages de ChatGPT, son célèbre agent conversationnel. En étudiant l’activité d’un groupe de comptes travaillant en langue chinoise et aux horaires de bureau chinois, OpenAI a pu reconstituer les contours de l’outil sur lequel ils travaillaient : un programme analysant en temps réel les messages de Facebook, X, YouTube, Instagram, Telegram et Reddit – ciblant tout particulièrement les appels aux manifestations en faveur des droits de l’homme.
Baptisé « Peer Review » par OpenAI, cet outil aurait pour mission de signaler ces messages aux autorités chinoises ainsi qu’à ses ambassades à l’étranger. Parmi les pays surveillés se trouvent notamment les Etats-unis, l’Allemagne et le Royaume-Uni. Et parmi les thématiques épiées : le soutien aux Ouïgours ainsi que la diplomatie de la région Indo-Pacifique.
ChatGPT était employé par ces acteurs pour rédiger l’argumentaire commercial de « Peer Review », décrire ses modules en détail et chasser les erreurs dans son code informatique (qui semble recourir au Llama de Meta, un concurrent open source de ChatGPT). OpenAI n’est pas parvenu à déterminer si cet outil était utilisé à grande échelle.
Traduction d’articles de propagande
OpenAI a pu également suivre l’activité d’un deuxième réseau d’acteurs chinois engagés dans des opérations de désinformation. Ceux-ci emploient ChatGPT pour générer de courts messages publiés sur les réseaux sociaux, dénigrant notamment les publications sur X du dissident Cai Xia, ancienne professeure à l’école centrale du Parti communiste chinois (PCC).
Présent lors du sommet pour l’intelligence artificielle organisé à Paris au début du mois de février, Ben Nimmo, enquêteur principal chez OpenAI, avait mentionné un exemple similaire déjoué par ses équipes il y a peu. Des utilisateurs chinois avaient utilisé ChatGPT pour renforcer la campagne de désinformation « Spamouflage », recourant à l’outil d’IA générative pour rédiger des tweets favorables au PCC et hostiles à l’Occident, ainsi que pour créer des sites critiques de dissidents à l’étranger. Ils ont été confondus par les équipes d’OpenAI, car ils avaient utilisé les mêmes comptes ChatGPT pour tricher lors des examens en vue des promotions internes au Parti communiste.
Le groupe ciblant Cai Xia est probablement différent. Ses acteurs ont utilisé ChatGPT pour produire des articles longs critiquant les Etats-Unis, qu’ils sont parvenus à publier dans une dizaine d’importants journaux mexicains, péruviens et équatoriens – parfois sous la forme de contenus sponsorisés. Plus précisément, l’IA a servi à traduire et allonger des articles chinois préexistants mettant l’accent sur des sujets de discorde comme la violence politique, la discrimination, le sexisme ou la politique étrangère, en les expliquant par la faiblesse du leadership politique américain.
OpenAI publie depuis plus d’un an des rapports de sécurité dont l’objectif est, entre autres, de « prévenir l’utilisation d’outils d’IA par des régimes autoritaires pour renforcer leur pouvoir ou leur contrôle sur leurs citoyens, pour menacer ou contraindre d’autres Etats ou pour mener des opérations d’influence sous couverture ». Ses enquêteurs emploient eux-mêmes des outils fondés sur l’IA.
