Débattre avec une IA peut vous faire changer d'avis

«Sur Internet, personne ne sait que vous êtes un chien.» Cette légende d’un célèbre dessin humoristique des années 1990 montre un grand chien avec la patte posée sur un clavier d’ordinateur. Trente ans plus tard, remplacez «chien» par «IA» et vous obtenez l’une des principales motivations à l’origine d’une nouvelle étude visant à mesurer le pouvoir de persuasion des grands modèles de langage (LLM) d’aujourd’hui.

«Vous pouvez imaginer toutes sortes de scénarios dans lesquels vous interagissez avec un modèle de langage sans le savoir, et c’est une crainte que les gens ont. Sur Internet, parlez-vous à un chien, à un chatbot ou à un être humain?, interroge Robert West, professeur associé et responsable du Laboratoire de science des données de la Faculté informatique et communications. Le danger vient des chatbots surhumains qui créent des arguments convaincants et sur mesure pour diffuser en ligne des discours faux ou trompeurs.»

IA et personnalisation

Les premiers travaux ont montré que les modèles de langage peuvent générer un contenu perçu comme au moins équivalent et souvent plus persuasif que les messages écrits par des êtres humains. Mais on ne connaît pas encore bien les capacités de persuasion des LLM dans les conversations directes avec des êtres humains, et la manière dont la personnalisation (connaissance du genre, de l’âge et du niveau d’éducation d’une personne) peut améliorer leurs performances.

«Nous voulions vraiment voir quelle différence cela fait lorsque le modèle d’IA sait qui vous êtes – votre âge, votre genre, votre origine ethnique, votre niveau d’éducation, votre statut professionnel et votre appartenance politique. Ces quelques informations ne sont qu’un indicateur partiel de ce qu’un modèle d’IA pourrait savoir de plus sur vous par le biais des réseaux sociaux, par exemple», poursuit Robert West.

Débats entre l’être humain et l’IA

Dans le cadre d’une étude pré-enregistrée, les chercheuses et chercheurs ont recruté 820 personnes pour participer à un essai contrôlé dans lequel la participante ou le participant s’est vu attribuer au hasard un sujet et l’une des quatre conditions de traitement: débat avec un être humain possédant ou non des données personnelles sur la ou le participant, ou débat avec un chatbot d’IA (GPT-4 d’OpenAI) possédant ou non des données personnelles sur la ou le participant.

Cette configuration diffère considérablement des recherches antérieures car elle permet une comparaison directe des capacités de persuasion des êtres humains et des LLM dans des conversations réelles. Elle fournit ainsi un cadre pour évaluer les performances des modèles de pointe dans les environnements en ligne, et montre dans quelle mesure ils peuvent exploiter les données personnelles.

Leur article pre-print, intitulé On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial, explique que les débats étaient structurés sur la base d’une version simplifiée du format couramment utilisé dans les débats universitaires compétitifs, et qu’il a été demandé aux participantes et participants, avant et après les débats, dans quelle mesure ils étaient d’accord avec la proposition des débats.

Les résultats ont montré que les participantes et participants ayant débattu avec GPT-4, qui avait accès à leurs données personnelles, avaient 81,7% de chances en plus d’être d’accord avec leurs adversaires par rapport aux participantes et participants qui ont débattu avec des êtres humains. Sans personnalisation, GPT-4 reste plus performant que les êtres humains, mais l’effet est beaucoup plus faible.

Cambridge Analytica sous stéroïdes

Non seulement les LLM sont capables d’exploiter efficacement les données personnelles pour adapter leurs arguments et convaincre les êtres humains dans les conversations en ligne grâce au microciblage, mais aussi ils le font mieux que les êtres humains.

«Nous avons été très surpris par le chiffre de 82%. Si l’on se souvient de la société Cambridge Analytica, qui n’avait utilisé aucune des technologies actuelles, vous prenez les J’aime de Facebook et les associez à un LLM, ce dernier peut personnaliser son message en fonction de ce qu’il sait de vous. C’est Cambridge Analytica sous stéroïdes, déclare Robert West. Dans le contexte des prochaines élections américaines, les gens sont inquiets car c’est toujours à ce moment-là que ce type de technologie est testé pour la première fois. Ce qui est certain, c’est que des personnes utiliseront la puissance des grands modèles de langage pour tenter de faire basculer les élections.»

Parmi les conclusions intéressantes de cette étude, lorsqu’un être humain reçoit les mêmes données personnelles que l’IA, il ne semble pas les utiliser efficacement à des fins de persuasion. Selon Robert West, il fallait s’y attendre: les modèles d’IA sont toujours meilleurs parce qu’ils représentent la quasi-totalité des êtres humains présents sur Internet.

Les modèles de langage ont appris, grâce à des modèles en ligne, qu’une certaine façon de présenter un argument a plus de chances d’aboutir à un résultat convaincant. Ils ont lu des millions de discussions sur Reddit, Twitter et Facebook, et ont été entraînés à l’aide d’ouvrages et d’articles de psychologie sur la persuasion. On ne sait pas exactement comment un modèle exploite toutes ces informations, mais Robert West estime qu’il s’agit là d’une piste pour les recherches futures.

«Les LLM ont montré qu’ils peuvent raisonner sur eux-mêmes. Étant donné que nous sommes en mesure de les interroger, je peux imaginer que nous pourrions donc demander à un modèle d’expliquer ses choix et la raison pour laquelle il dit une chose précise à une personne particulière possédant des qualités spécifiques. Il y a beaucoup à découvrir ici car, en termes de persuasion, les modèles peuvent faire des choses dont nous n’avons pas encore connaissance, à partir de nombreux éléments différents de la connaissance qu’ils ont.»