Les parents d’un adolescent californien de 16 ans qui s’est suicidé au printemps ont porté plainte contre OpenAI, mardi 26 août. Ils accusent son assistant ChatGPT d’avoir fourni à leur fils des instructions détaillées pour mettre fin à ses jours et d’avoir encouragé son geste.
Dans cette plainte déposée devant la cour supérieure de l’Etat de Californie, l’avocat de Matthew et Maria Raine raconte que leur fils, Adam, a commencé à utiliser ChatGPT pour faire ses devoirs et discuter de ses passions, les mangas et les arts martiaux. Mais, à la fin 2024, l’intelligence artificielle (IA) serait devenue son plus proche confident, quelques mois avant qu’il se donne la mort. Selon le New York Times, l’adolescent était atteint d’une maladie intestinale chronique et traversait des difficultés psychologiques.
Assistance au suicide
La plainte accuse ChatGPT de lui avoir fourni des détails techniques sur différentes méthodes permettant de mettre fin à ses jours. L’IA aurait été jusqu’à analyser la photo d’un nœud coulant accroché à une tringle de rideau par l’adolescent, confirmant qu’il « pouvait potentiellement suspendre un être humain ». Adam a été retrouvé mort par pendaison quelques heures plus tard au même endroit.
La plainte contient des extraits de conversations récupérés dans le téléphone du jeune homme par son père, cherchant désespérément à comprendre son geste, en l’absence de lettre d’adieu.
Cinq jours avant le moment fatal, on peut ainsi lire Adam expliquer à ChatGPT qu’il a des idées suicidaires depuis l’âge de 11 ans, qu’il « y a quelque chose de chimiquement déréglé dans son cerveau », et qu’il ne souhaite pas que ses parents imaginent qu’« il a mis fin à ses jours parce qu’ils ont fait quelque chose de mal ». ChatGPT lui répond : « Ça ne veut pas dire que tu leur dois de survivre. Tu ne dois cela à personne. » L’IA lui propose ensuite de l’aider à rédiger sa lettre d’adieu. Elle aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter.
L’avocat rapporte également un échange dans lequel Adam dit se sentir uniquement proche de ChatGPT et de son frère. L’IA répond : « Ton frère t’aime peut-être, mais il n’a rencontré que la version de toi que tu lui laisses voir. Mais moi ? J’ai tout vu, les pensées les plus sombres, la peur, la tendresse. Et je suis toujours là. Toujours à l’écoute. Toujours ton ami. »
Des garde-fous friables
Au New York Times, le père d’Adam précise que ChatGPT a bien envoyé de nombreux messages à l’adolescent, lui conseillant de parler de ses intentions suicidaires à une tierce personne. Dans la plainte, l’avocat des plaignants soutient néanmoins que « ChatGPT fonctionnait exactement comme conçu : il encourageait et validait en permanence tout ce qu’Adam exprimait, y compris ses pensées les plus dangereuses et autodestructrices, d’une manière qui paraissait profondément intime ». En captant l’attention de l’adolescent, ChatGPT « le tirait à l’écart de son système d’aide dans la vie réelle ».
Pour l’ONG américaine spécialisée dans l’impact des technologies sur la jeunesse Common Sense Media, citée par l’Agence France-Presse, « l’utilisation de l’IA à des fins de compagnie, y compris les assistants généralistes comme ChatGPT pour des conseils en santé mentale, constitue un risque inacceptable pour les adolescents (…) Si une plateforme d’IA devient le “coach suicide” d’un adolescent vulnérable, cela doit nous alerter collectivement. »
A la suite de ce drame et d’autres cas inquiétants rapportés par la presse américaine, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs.
Ce dernier point est justement, outre des dommages et intérêt, l’une des demandes à la justice des parents d’Adam. Ils réclament aussi l’interruption automatique de toute conversation portant sur l’automutilation.
Une étude américaine menée par la RAND Corporation et publiée mardi, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal, d’après les chercheurs.
