À l’heure où la notion d’ IA de confiance s’impose dans les textes réglementaires comme dans les discours industriels, une équipe interdisciplinaire de chercheurs allemands défend le point de vue inverse : celui d’une méfiance raisonnée comme condition nécessaire à une relation saine entre humains et systèmes automatisés.
Leur article, prépublié la semaine dernière, s’inscrit en réaction à une tendance qu’ils jugent problématique : considérer que la conformité d’un système à une série de critères techniques — transparence, robustesse, équité, “explicabilité” — suffit à susciter la confiance. Selon eux, cette approche fait abstraction du contexte social, politique et économique dans lequel l’IA est utilisée, et des rapports de pouvoir qui traversent ses usages. Une personne peut ainsi avoir de bonnes raisons de se méfier d’un système, même s’il est certifié, dès lors qu’il est utilisé à des fins qui vont à l’encontre de ses intérêts.
Une distinction fondamentale entre système et usage
Les auteurs proposent de distinguer clairement la confiance dans le système lui-même et la confiance dans l’usage qui en est fait. Un modèle prédictif médical peut être techniquement performant et validé par des experts indépendants, tout en étant déployé par un assureur de manière discriminatoire. Dans ce cas, la méfiance n’est pas irrationnelle : elle est normativement justifiée, affirment-ils.
Ils soulignent également qu’une confiance généralisée dans des systèmes complexes, mal compris ou mal régulés, expose à des formes de sur-automatisation, où les utilisateurs perdent leur capacité de contrôle. Une posture de vigilance active serait alors non seulement légitime, mais nécessaire à l’exercice de l’autonomie.
Une perspective ancrée dans plusieurs disciplines
Pour structurer leur réflexion, les auteurs mobilisent plusieurs traditions théoriques. En philosophie pratique, ils distinguent la « confiance authentique », réservée aux relations interpersonnelles fondées sur la réciprocité, de la simple « dépendance fonctionnelle », que l’on peut entretenir à l’égard d’un artefact technique. Cette distinction, jugent-ils, est largement ignorée dans les discours sur la confiance dans l’IA, qui tendent à anthropomorphiser des systèmes n’ayant ni intentions ni obligations morales.
Dans une perspective sociologique, ils s’appuient sur la distinction de Niklas Luhmann entre risque et danger. Lorsqu’un individu prend une décision, il prend un risque. Mais s’il subit les conséquences d’un système sans avoir son mot à dire, il est exposé à un danger. Ainsi, un ingénieur peut « prendre le risque » de concevoir un système automatisé, tandis qu’un citoyen qui en subit les décisions — attribution ou non de droits, surveillance, exclusion — est placé dans une situation de vulnérabilité asymétrique.
La méfiance comme ressource cognitive
Du côté de la psychologie, l’étude montre que la méfiance n’est pas simplement l’absence de confiance. Certaines recherches indiquent qu’elle peut améliorer la créativité, renforcer la flexibilité cognitive et permettre une meilleure détection des erreurs ou des contradictions.
La méfiance active, définie comme une attitude d’évaluation suspensive face à un système, serait ainsi utile pour détecter les défaillances ou les manipulations. Elle permettrait aussi de contrebalancer certaines tendances bien documentées, comme la surconfiance dans les recommandations automatisées ou l’illusion de véracité par répétition.
Ni rejet systématique ni adhésion aveugle
Les auteurs insistent sur le fait que leur concept de « méfiance saine » ne revient pas à un rejet par principe de l’IA. Il ne s’agit ni de refus technophobe, ni de scepticisme radical. La méfiance saine est une posture intermédiaire, contextuelle, qui reconnaît la nécessité d’un jugement situé. Elle repose sur un certain degré de compétence, mais aussi sur une prise en compte des usages sociaux et des enjeux éthiques propres à chaque domaine d’application.
Ils plaident pour que cette posture fasse partie intégrante des politiques d’éducation à l’IA et de la formation des citoyens. Elle pourrait, selon eux, constituer une composante essentielle de l’autonomie critique, à côté des notions plus techniques de littératie algorithmique.
Une attitude politique autant que cognitive
En fin de compte, l’enjeu n’est pas seulement individuel. La méfiance saine permettrait de rendre visibles certaines pratiques problématiques : biais algorithmiques, exploitation des données, pressions à l’usage de systèmes automatisés en milieu scolaire, professionnel ou administratif. Elle pourrait ainsi favoriser des formes de résistance ou de revendication collective, face à des choix technologiques imposés sans débat.
Mais les auteurs reconnaissent les limites de leur proposition. Tout le monde n’a pas le temps, les ressources ou la liberté de développer une telle posture. Dans bien des cas, les usagers n’ont pas d’autre choix que d’utiliser un système, même s’ils s’en méfient. Le risque est alors que la méfiance devienne une charge, plutôt qu’un levier d’action.
Pour une reconnaissance institutionnelle de la méfiance
L’étude se termine sur une recommandation : au lieu de considérer la méfiance comme un obstacle à surmonter, les concepteurs, chercheurs et régulateurs devraient l’intégrer dans leurs modèles de conception et de gouvernance. Elle pourrait servir de signal précoce d’un problème d’usage, ou d’un désalignement entre les intentions du système et les intérêts des usagers.
Faire de la méfiance saine une vertu civique, et non une anomalie psychologique ou une résistance à l’innovation, serait une manière de reconnaître que toute confiance réellement fondée commence par la possibilité de dire non.
Pour en savoir plus :
- Benjamin Paaßen et al., Healthy Distrust in AI systems, Arxiv, 2025