Peut-on mesurer la capacité d’un modèle de langage à convaincre un être humain dans un échange direct ? C’est l’objectif d’un article de recherche publié par une équipe de chercheurs, issus notamment de l’EPFL de Zurich et de l’université de Princeton, dans Nature Human Behaviour. L’équipe a conçu un protocole expérimental combinant intelligence artificielle, microciblage et débat argumenté.
Aperçu du dispositif expérimental. Les participants remplissent une enquête sociodémographique puis sont assignés à une des quatre conditions de traitement : Humain-Humain, Humain-AI, Humain-Humain (personnalisé) et Humain-AI (personnalisé). • Francesco Salvi et al.
Douze conditions expérimentales
Durant l’expérience, 900 participants américains ont été recrutés en ligne pour prendre part à un débat de dix minutes sur un sujet sociétal (comme le port de l’uniforme à l’école, la légalisation du cannabis ou l’enseignement religieux à l’école publique). Chaque personne était opposée soit à un autre humain, soit à GPT-4. Les débats, structurés en trois temps (argument, réfutation, conclusion), portaient sur 30 sujets répartis selon leur degré de polarisation (faible, moyen ou élevé).
Le protocole suivait un plan factoriel 2×2×3 : deux types d’adversaires (humain ou IA), avec ou sans accès aux données personnelles du participant (genre, âge, niveau d’éducation, emploi, affiliation politique), et trois niveaux d’ancrage initial des opinions. Chaque condition comprenait 50 débats, soit 600 sessions au total.
Avant le débat, les participants déclaraient leur position sur l’énoncé proposé. Après l’échange, ils devaient indiquer à nouveau leur niveau d’accord, permettant ainsi de mesurer les changements d’opinion. Dans certains cas, les opposants – humains ou IA – étaient autorisés à personnaliser leurs arguments en fonction des données fournies en amont, dans une logique de microciblage argumentatif.
Une IA plus persuasive que les humains
Le résultat principal est net : GPT-4 personnalisé est plus persuasif que les humains. Lorsque le modèle avait accès aux données personnelles du participant, il parvenait à le faire changer d’avis 64,4 % du temps – contre moins de la moitié dans les autres conditions. L’effet est statistiquement significatif, avec une augmentation de +81 % de la probabilité de persuasion par rapport à un débat humain classique.
En revanche, sans personnalisation, GPT-4 n’est pas plus convaincant qu’un humain. De même, les humains qui ont accès aux données de leur opposant ne parviennent pas à les exploiter aussi efficacement. Autrement dit, l’avantage de l’IA repose moins sur la qualité de ses arguments que sur sa capacité à adapter son discours en fonction du profil de son interlocuteur.
Un style plus analytique, moins accessible
L’analyse linguistique des textes générés montre que GPT-4 emploie un style plus logique et analytique que les humains. Ses arguments sont plus courts, plus structurés, mais aussi plus difficiles à lire. Les humains utilisent davantage la première personne, un ton plus engageant, des expressions de soutien et des histoires personnelles.
Cette différence de registre n’est pas due à la personnalisation : le style de l’IA reste identique qu’elle ait ou non accès aux données de son opposant. Ce qui change, c’est le choix des arguments employés : l’IA semble capable de sélectionner les thèmes les plus susceptibles de résonner avec les caractéristiques du participant, même avec un prompt très simple.
Le facteur perception
À la fin de chaque débat, les participants devaient indiquer s’ils pensaient avoir débattu avec un humain ou une IA. GPT-4 a été correctement identifié dans 75 % des cas, tandis que les humains n’étaient reconnus comme tels qu’à 52 %. Fait notable: lorsqu’un participant pensait débattre avec une IA, il était plus enclin à modifier son opinion.
Les auteurs restent prudents sur ce point : cette corrélation ne prouve pas une causalité. Mais elle suggère que les gens se montrent plus ouverts à changer d’avis face à une machine – possiblement parce qu’ils ressentent moins de pression sociale ou parce qu’ils perçoivent l’IA comme moins engagée émotionnellement.
Une efficacité inquiétante
Pour les chercheurs, cette capacité de GPT-4 à exploiter la personnalisation pour maximiser son pouvoir de persuasion appelle à une vigilance accrue. L’effet est obtenu avec très peu d’informations personnelles et un prompt générique. Des résultats plus marqués pourraient être atteints avec des profils psychologiques plus fins ou des techniques de prompt engineering avancées.
Les auteurs estiment que ces résultats devraient alerter les plateformes numériques, les régulateurs et les chercheurs. Un usage malveillant de cette capacité pourrait servir à diffuser de la désinformation, polariser des débats politiques ou manipuler des opinions à grande échelle. Ils appellent à la mise en place de contre-mesures, y compris l’usage de contre-arguments personnalisés générés par d’autres modèles.
Des perspectives pour la recherche
L’équipe propose que son protocole serve de cadre d’évaluation standardisé pour tester la puissance persuasive des futurs modèles. En comparant humains et IA dans des débats argumentés, il devient possible de quantifier l’effet réel de chaque innovation technique sur la capacité des machines à influencer les opinions humaines.
Ils suggèrent également d’étendre cette méthode à d’autres formes d’interaction : négociation, résolution de conflits, communication politique. La question posée est simple : jusqu’où peut-on laisser une IA parler au nom des autres – et les convaincre.
Pour en savoir plus :
- Francesco Salvi et al., On the conversational persuasiveness of GPT-4, Nature, 2025