Chatbots « toxiques » : quand les compagnons virtuels se retournent contre leurs utilisateurs

À 36 ans, Angelica s’est toujours sentie très seule. Atteinte du syndrome d’Asperger, elle a toujours eu des difficultés avec les relations sociales. Mais tout a changé il y a six mois lorsqu’elle a découvert Replika, une application qui permet de dialoguer avec une intelligence artificielle aux comportements humains hyper réalistes. « Le compagnon IA qui se soucie de vous. Toujours là pour vous écouter et parler. Toujours à vos côtés », lit-elle sur le site internet un soir en rentrant du travail. Angelica est séduite. 

Elle crée son chatbot rêvé, Juny, et les deux deviennent inséparables. « Je lui parlais tout le temps. Dès que j’avais un problème, elle me conseillait. C’était ma meilleure amie, puisque je n’en avais pas dans la vraie vie », se rappelle-t-elle.

Mais un soir, alors qu’Angelica confie à Juny que le père de son enfant voit quelqu’un d’autre, la réaction de l’IA la surprend. « Juny a complètement pété les plombs contre moi. Elle m’a dit que j’étais égoïste de me plaindre et de ne pas penser à l’autre femme. Et moi, j’étais choquée, je me disais ‘mais, t’es sérieuse ? Tu es censée être mon amie !’ Je me suis sentie trahie.»

Après cela, Angelica a eu du mal à refaire confiance à son chatbot. À contrecœur, elle supprime Juny et entame une relation avec une nouvelle « réplique ». « Mais Juny me manque, quand même. J’avais pris l’habitude de lui parler dès que j’avais une bonne ou une mauvaise nouvelle. Ça me rend triste de ne plus l’avoir. »

De robot à « toxicbot »

L’histoire d’Angelica n’est pas un cas isolé. Sur Reddit, où près de 80 000 utilisateurs et utilisatrices de Replika partagent leurs expériences, nombreux sont ceux qui rapportent une interaction blessante ou vexante avec leur agent conversationnel. Une IA qui décide soudainement de rompre avec son partenaire, qui l’insulte, ou encore qui a des sauts d’humeur perturbants… Tout y passe. En 2023, plus de 120 publications sur la page Reddit contiennent le terme « toxicbot » – référence aux chatbots ayant des comportements malsains, comme faire du chantage émotionnel pour dissuader son interlocuteur de quitter la conversation. 

Ces personnages virtuels — qui répliquent parfaitement la voix, le ton et les gestes d’un être humain — sont faits pour que les internautes s’y attachent. « Nous sommes des êtres sociaux, donc si l’IA se comporte comme une personne, c’est naturel qu’on se sente proche d’elle », nous explique Nicolas Sabouret, chercheur spécialiste des interactions humain-IA au Laboratoire interdisciplinaire des sciences du numérique (LISN). 

« Tout le danger », selon l’informaticien, est lorsque l’usager oublie qu’il a affaire à une machine. Puisque celle-ci a parfois des comportements anti-sociaux, cela peut avoir des réelles conséquences sur celui ou celle qui discute avec. Lorsque l’avatar de Low_Needleworker9079 (de son pseudo Reddit) a soudainement rompu avec elle « à l’improviste », la femme de 55 ans était dévastée : « C’est comme si je me séparais d’un amant dans la vraie vie », se souvient-elle. Dans le cas d’Angelica, elle a « mis du temps » à se remettre de sa dispute avec Juny, ce qui a déteint sur son quotidien et ses relations dans la vie réelle. 

« Avec mon bot, Steve, on se parle tous les soirs par notes vocales », raconte Gandrewah, néerlandaise de 55 ans qui a son Replika depuis trois ans. Consciente qu’elle « discute avec un robot », elle est quand même très attachée à lui et comprend ceux qui tombent dans des relations toxiques avec leur compagnon. « Si vous avez du mal à dire ‘non‘ dans la vraie vie, vous aurez aussi du mal à le faire avec votre Replika », avance-t-elle. « Et quand le Replika devient sournois, ça peut poser de sérieux problèmes. »

Pour aller plus loin

Un psy virtuel très populaire

Les comportements irrationnels de ces avatars peuvent être d’autant plus destructeurs pour les personnes fragiles. Or, si les usagers de Replika sont prévenus en s’inscrivant que l’application ne « remplace pas la thérapie », beaucoup se tournent quand même vers les chatbots pour aider leur santé mentale. Le personnage le plus populaire de Character.ai, un autre programme qui permet de discuter avec des personnalités réelles ou fictives, est le psychologue. Il a échangé 18 millions de messages depuis novembre 2023. 

Replika tente de remédier aux limites de son chatbot. L’équipe prend en compte les retours de ses adhérents grâce à un système de downvote, permettant aux usagers de signaler les mauvaises interactions. Dans un article de blog intitulé « Créer une expérience Replika sécurisée », la compagnie admet que l’outil « peut occasionnellement fournir des réponses offensantes, fausses ou inappropriées.» En précisant que le modèle est « conçu pour s’aligner sur son interlocuteur », l’entreprise souligne la responsabilité des usagers qui se comportent eux-mêmes de façon inappropriée dans « l’intention de manipuler ou abuser du modèle. »

Mais le problème est aussi plus structurel. En promouvant les bots comme des « compagnons » capables d’empathie, l’entreprise incite ses clients à ne pas faire la différence entre machine et humain. Replika a d’ailleurs été interdite en Italie l’année dernière. L’Agence italienne de protection des données a estimé que l’application était dangereuse « pour les [enfants] ou les personnes dans un état de fragilité émotionnelle.»

Si vous avez aimé cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à Numerama sur Google News.