« Elle pourrait tous nous tuer d’ici la fin de la décennie » : la mise en garde d’un chercheur en IA passé par OpenAI et Anthropic

• Un chercheur en intelligence artificielle a décidé de quitter le secteur, accusant deux laboratoires américains, Anthropic et OpenAI, de « jouer avec nos vies ».
• Les entreprises concernées disent voir approcher le stade au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain.

L’intelligence artificielle « joue avec nos vies« . C’est la mise en garde lancée ce mercredi par Jacob Coxon, un Britannique de 27 ans. Ce chercheur connaît son sujet : il a travaillé chez OpenAI avant de rejoindre le rival Anthropic. Deux mastodontes qu’il a finalement quittés, effrayé par l’évolution de cette industrie.

« Aucune des deux entreprises n’agit de manière responsable. Elles foncent tout droit vers une superintelligence capable de s’améliorer elle-même et jouent avec nos vies« , a-t-il écrit mardi sur X. Avant de prévenir : « Les gens qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup marketing« . Le chercheur n’est pas le seul à partager ce point de vue. 

Adopter « dès que possible » un mécanisme « vérifiable » de ralentissement coordonné

Un responsable de la sûreté d’Anthropic, Evan Hubinger, lui a donné raison sur X : « Nous croyons vraiment sincèrement que l’IA pourrait tuer tous les humains« , a-t-il écrit, estimant à titre personnel ce risque à « plus de 10% » dans la décennie. Ce dernier a ajouté qu’Anthropic faisait « de son mieux » mais n’avait « pas encore de plan » pour s’assurer qu’une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant « faible » le risque posé par les modèles actuels.

La démission de Jacob Coxon intervient à un moment crucial pour le secteur de l’IA. Anthropic et OpenAI estiment qu’elles approchent le stade de « l’auto-amélioration récursive« , au-delà duquel un modèle concevrait seul son successeur, hors de tout contrôle humain. Selon Jacob Coxon, ses collègues emploient les termes « crunchtime » (moment décisif) et « endgame » (fin de partie) pour décrire cette trajectoire.

« Chez Anthropic, les enjeux sont bien compris, mais ils sont enfermés dans une course pour y parvenir les premiers : ils pensent que personne d’autre n’agira de façon responsable, donc qu’ils doivent le faire eux-mêmes, malgré le risque« , a-t-il écrit. En février, Anthropic a d’ailleurs retiré de sa charte de sûreté l’engagement de suspendre le développement de ses modèles si elle ne parvenait pas à en maîtriser les risques. Motif invoqué : une pause unilatérale laisserait les acteurs les moins prudents dominer la compétition, sans contre-pouvoirs.

Jacob Coxon n’est pas le premier à tirer la sonnette d’alarme. Fin juillet, plus d’un millier d’employés du secteur, dont le patron d’Anthropic Dario Amodei, ont demandé à Washington de préparer un mécanisme de freinage. OpenAI a suspendu deux semaines en août une partie de ses entraînements et Anthropic a appelé l’industrie à adopter « dès que possible » un mécanisme « vérifiable » de ralentissement coordonné.

Dimanche, le chef scientifique d’OpenAI, Jakub Pachocki, a écrit que « le moment actuel exige une extrême prudence » et que la coordination internationale devait devenir « une priorité absolue » des gouvernements. Aucune loi fédérale n’encadre ces modèles aux États-Unis, où l’administration Trump privilégie une approche légère. Le sénateur Bernie Sanders et l’élu démocrate Greg Casar ont déposé début septembre une proposition de loi visant à suspendre le développement jusqu’à la création d’un régulateur.