Le point fort de ChatGPT, c’est de nous donner l’impression de discuter avec un autre être, qui penserait de la même manière que nous. Mais ces apparences nous induisent en erreur, car la conception de l’IA induit un comportement très différent du nôtre. Là où nous croyons lire un discours raisonné, il ne s’agit que d’une production très intuitive.

Certains risques liés à l’usage de l’IA générative, et en particulier d’agents conversationnels comme ChatGPT, commencent à être bien décrits et assimilés par les utilisateurs. C’est le cas pour ce qui concerne leurs coûts financier et environnemental déraisonnables, le besoin de protection des données (comme évoqué dans cette publication de la CNIL) ou le rôle croissant de ces outils comme porte d’entrée sur Internet.

Cependant, un autre phénomène, probablement plus diffus et plus insidieux, est encore mal décrit et pris en compte. De par sa fonction d’agent conversationnel, nous projetons de facto sur ChatGPT des fonctions cognitives similaires à celles qu’un interlocuteur humain pourrait développer. Se tourner vers les sciences cognitives va permettre de mieux comprendre leur nature, les interactions qui vont en résulter et les risques associés. Cette caractéristique primordiale des chatbots provoque en effet une mécompréhension de leur fonctionnement par l’utilisateur et donc un excès de confiance dans leurs résultats.

La cognition humaine peut suivre deux chemins

La cognition humaine se caractérise par une dualité bien documentée. D’une part, nous avons la capacité d’aborder un problème en considérant explicitement ses caractéristiques. Nous délibérons intérieurement et utilisons un raisonnement prospectif (« Que se passerait-il si… »). Ce traitement est lent et représente un coût cognitif important mais permet de s’adapter de façon flexible à une nouvelle situation et d’expliciter sa démarche. D’autre part, si la même situation se reproduit régulièrement, nous allons pouvoir automatiser notre prise de décision et réagir de façon automatique sans traiter tous les détails. Cela a un coût cognitif bien moindre et avec un traitement plus rapide.

Cette automatisation n’est possible qu’après de nombreux essais et elle se caractérise donc par un apprentissage très lent. Si cette décision, plus inflexible et moins consciente, aboutit à une erreur, il faudra « reprendre les commandes », c’est-à-dire revenir à l’analyse explicite de la situation pour comprendre ce qui a changé et s’y adapter. Cette dualité se retrouve dans la description de deux modes de pensées (dits système 1 et système 2) ou encore en neurosciences cognitives, par la distinction entre mémoires implicite et explicite.

Quel est le profil cognitif d’un agent conversationnel ?

Il convient maintenant de souligner que les fonctions cognitives que les IA génératives sont supposées prendre en charge (comme le langage, le raisonnement ou l’imagination) relèvent chez les humains de la mémoire explicite et du système 2, le système flexible et délibératif. Elles utilisent ce que l’on appelle les fonctions exécutives, qui supposent en général un contrôle cognitif explicite du comportement.

Mais quand on regarde comment ChatGPT a été construit pour simuler ces fonctions cognitives, on se rend compte que sa structure repose sur un réseau de neurones artificiels entraîné par le même algorithme d’apprentissage que celui de réseaux qui réalisent des fonctions élémentaires de reconnaissance, qui sont fondamentalement de type implicite (système 1). En bref, ces fonctions cognitives sont chez l’humain traitées en mode système 2, de façon explicite et coûteuse en temps et en efforts cognitifs, alors que les modèles artificiels qui restent en mode système 1, continuent à privilégier un traitement implicite par calcul massif et rapide. Et ce, même si ChatGPT présente certains principes astucieux, comme son mécanisme attentionnel qui permet de replacer chaque mot dans le contexte de sa phrase.

Trois limitations fondamentales de l’être humain

La façon dont le cerveau humain réalise des traitements cognitifs explicites découle de trois limitations fondamentales. Premièrement, nous avons une limitation en temps de calcul : nous devons parfois nous adapter rapidement à des situations nouvelles (en particulier si elles sont potentiellement dangereuses). Pour cela, nous avons développé des capacités d’apprentissage rapide par lesquelles un ou deux exemples nous suffisent à nous adapter à une nouvelle situation ou à retenir certaines de ses caractéristiques. Ce n’est pas le cas de ChatGPT. Si son temps de traitement est très rapide, il requiert au préalable un apprentissage massif nécessitant des milliards de mots et pouvant durer des semaines.

Deuxièmement, nous avons une limitation en puissance de calcul. Nous vivons depuis des milliers d’années avec à peu près le même cerveau, dans un monde qui est devenu de plus en plus complexe. Et ce cerveau à des contraintes énergétiques majeures qui limitent drastiquement notre mémoire de travail, c’est-à-dire le nombre d’informations que nous pouvons traiter en même temps, ou la fréquence de fonctionnement de nos neurones. Alors que les ordinateurs modernes, toujours plus efficaces et rapides, enchaînent les records de puissance de calcul et de capacité de stockage.

Le moyen que notre cognition a trouvé pour faire face à ce problème est d’apprendre à décomposer les problèmes complexes en sous-problèmes plus simples à résoudre (comme mémoriser des étapes intermédiaires au lieu d’apprendre directement un trajet compliqué), ce qui nous a amenés à organiser notre comportement dans le temps et nos connaissances en niveaux d’abstraction. ChatGPT n’a pas ce type de contrainte et peut aborder directement des problèmes qui dépassent notre entendement, par exemple faire la synthèse de milliers de textes.

Troisièmement, nous avons des problèmes de communication. Alors qu’il existe des techniques pour qu’un réseau de neurones puisse simplement transférer ce qu’il a appris à un autre réseau, nous n’avons pas la possibilité de nous instruire auprès d’un autre être humain en nous connectant directement à son cerveau. À la place, nous avons développé des « stratégies » comme le langage, l’éducation ou la culture qui nous obligent à apprendre à nous expliquer et à communiquer.

Les apparences de la conversation avec ChatGPT nous induisent en erreur

On pourrait bien sûr discuter plus avant pour savoir si ces limitations (qui permettent aussi d’expliquer certains de nos biais cognitifs) en sont vraiment, ou plutôt si elles sont parmi les meilleurs atouts de notre cognition : apprentissage rapide, organisation structurée des connaissances et explication de nos acquis. Mais il est cependant important de constater qu’elles rendent notre façon d’aborder les problèmes fondamentalement différente des traitements implicites et massifs réalisés par ChatGPT.

Ceci est à la source d’une ambiguïté majeure : alors que ChatGPT est un système complexe comportant des milliards de paramètres, entraîné à partir de milliers de milliards de données pour apprendre à prédire la suite de mots la plus probable, il cache cette complexité derrière sa fonction d’agent conversationnel qui nous parle. Par simple projection, comme on le fait quand nous parlons avec nos semblables, nous développons cette illusion d’interagir avec un agent intelligent, qui pense, ressent et comprend comme nous. Ce qui fait que, pour comprendre ces systèmes dont la complexité nous dépasse, nous en sommes à demander à des psychologues d’interpréter leurs raisonnements et de découvrir leurs biais.

Quand les sciences humaines et sociales nous permettent de comprendre nos relations avec ChatGPT

Une étude publiée par le Boston Consulting Group menée sur des professionnels utilisant ChatGPT illustre bien cette dualité. D’une part, elle rapporte que ces professionnels sont plus productifs et plus objectifs (ChatGPT leur permet de traiter rapidement des problèmes complexes et évite certains de nos biais) mais d’autre part, elle souligne des problèmes dus à cette illusion que nous avons que ChatGPT nous est semblable.

Les performances chutent drastiquement quand ChatGPT fait des erreurs ou quand le problème dépasse nos compétences ? En effet, en travail collaboratif, nous faisons confiance aux personnes perçues comme plus expertes que nous. Les productions de ChatGPT tendent à homogénéiser les résultats produits ? Pas surprenant pour un traitement statistique massif, comparé aux vues originales et parfois même divergentes que nous pouvons avoir. Nous sommes satisfaits par une proposition de ChatGPT qui n’est qu’une prédiction étayée par aucun raisonnement ? Là aussi, les sciences cognitives indiquent qu’en dehors de nos domaines d’expertise, des prédictions assénées avec assurance nous donnent l’illusion de comprendre et que nous faisons confiance à des explications réductrices.

Nous risquons de perdre en compréhension et en créativité

Ainsi, ces outils numériques, qui peuvent nous aider à produire plus, peuvent aussi nous entraîner, si on les considère comme des partenaires cognitifs, à moins comprendre et moins pouvoir expliquer ce que l’on fait, à commettre des erreurs, à ne pas nous rendre compte que notre espace de recherche s’est réduit et appauvri.

Plus encore, si ces usages se généralisent, on pourrait aller vers une homogénéisation de notre culture, due à des outils créés par des entreprises privées dont les algorithmes aussi bien que les valeurs sont souvent obscurs. Cela risquerait de progressivement éliminer la diversité de nos expériences et notre subjectivité alors que les sciences cognitives ont bien montré que des groupes avec de la diversité (de genre, d’ethnie, de culture) sont meilleurs pour résoudre des problèmes et être créatifs.

Il devient donc crucial d’insister sur l’éducation aux outils numériques des jeunes générations et la formation de certains acteurs clés (formateurs, médias, entreprises, politiques) pour les sensibiliser aux principes qui gouvernent ces systèmes. Il est impératif d’apprendre à les utiliser à bon escient, et de former l’esprit critique de ces acteurs envers certains risques, en particulier dans le domaine cognitif.

Frédéric Alexandre ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.

Un des problèmes que l’IA n’a toujours pas résolu aujourd’hui est d’associer des symboles – des mots par exemple – à leur signification, ancrée dans le monde réel – un problème appelé l’« ancrage du symbole ».

Par exemple, si je dis : « le chat dort sur son coussin car il est fatigué », la plupart des êtres humains comprendra sans effort que « il » renvoie à « chat » et pas à « coussin ». C’est ce qu’on appelle un raisonnement de bon sens.

En revanche, comment faire faire cette analyse à une IA ? La technique dite de « plongement lexical », si elle ne résout pas tout le problème, propose cependant une solution d’une redoutable efficacité. Il est important de connaître les principes de cette technique, car c’est celle qui est utilisée dans la plupart des modèles d’IA récents, dont ChatGPT… et elle est similaire aux techniques utilisées par Cambridge Analytica par exemple.

Le plongement lexical, ou comment les systèmes d’intelligence artificielle associent des mots proches

Cette technique consiste à remplacer un mot (qui peut être vu comme un symbole abstrait, impossible à relier directement à sa signification) par un vecteur numérique (une liste de nombres). Notons que ce passage au numérique fait que cette représentation peut être directement utilisée par des réseaux de neurones et bénéficier de leurs capacités d’apprentissage.

Plus spécifiquement, ces réseaux de neurones vont, à partir de très grands corpus de textes, apprendre à plonger un mot dans un espace numérique de grande dimension (typiquement 300) où chaque dimension calcule la probabilité d’occurrence de ce mot dans certains contextes. En simplifiant, on remplace par exemple la représentation symbolique du mot « chat » par 300 nombres représentant la probabilité de trouver ce mot dans 300 types de contextes différents (texte historique, texte animalier, texte technologique, etc.) ou de co-occurrence avec d’autres mots (oreilles, moustache ou avion).

Même si cette approche peut sembler très pauvre, elle a pourtant un intérêt majeur en grande dimension : elle code des mots dont le sens est proche avec des valeurs numériques proches. Ceci permet de définir des notions de proximité et de distance pour comparer le sens de symboles, ce qui est un premier pas vers leur compréhension.

Pour donner une intuition de la puissance de telles techniques (en fait, de la puissance des statistiques en grande dimension), prenons un exemple dont on a beaucoup entendu parler.

Relier les traits psychologiques des internautes à leurs « likes » grâce aux statistiques en grande dimension

C’est en effet avec une approche similaire que des sociétés comme Cambridge Analytica ont pu agir sur le déroulement d’élections en apprenant à associer des préférences électorales (représentations symboliques) à différents contextes d’usages numériques (statistiques obtenues à partir de pages Facebook d’usagers).

Leurs méthodes reposent sur une publication scientifique parue en 2014 dans la revue PNAS, qui comparait des jugements humains et des jugements issus de statistiques sur des profils Facebook.

L’expérimentation reportée dans cette publication demandait à des participants de définir certains de leurs traits psychologiques (sont-ils consciencieux, extravertis, etc.), leur donnant ainsi des étiquettes symboliques. On pouvait également les représenter par des étiquettes numériques comptant les « likes » qu’ils avaient mis sur Facebook sur différents thèmes (sports, loisirs, cinéma, cuisine, etc.). On pouvait alors, par des statistiques dans cet espace numérique de grande dimension, apprendre à associer certains endroits de cet espace à certains traits psychologiques.

Ensuite, pour un nouveau sujet, uniquement en regardant son profil Facebook, on pouvait voir dans quelle partie de cet espace il se trouvait et donc de quels types de traits psychologiques il est le plus proche. On pouvait également comparer cette prédiction à ce que ses proches connaissent de ce sujet.

Le résultat principal de cette publication est que, si on s’en donne les moyens (dans un espace d’assez grande dimension, avec assez de « likes » à récolter, et avec assez d’exemples, ici plus de 70000 sujets), le jugement statistique peut être plus précis que le jugement humain. Avec 10 « likes », on en sait plus sur vous que votre collègue de bureau ; 70 « likes » que vos amis ; 275 « likes » que votre conjoint.

Être conscients de ce que nos « likes » disent sur nous

Cette publication nous alerte sur le fait que, quand on recoupe différents indicateurs en grand nombre, nous sommes très prévisibles et qu’il faut donc faire attention quand on laisse des traces sur les réseaux sociaux, car ils peuvent nous faire des recommandations ou des publicités ciblées avec une très grande efficacité. L’exploitation de telles techniques est d’ailleurs la principale source de revenus de nombreux acteurs sur Internet.

Cambridge Analytica est allée un cran plus loin en subtilisant les profils Facebook de millions d’Américains et en apprenant à associer leurs « likes » avec leurs préférences électorales, afin de mieux cibler des campagnes électorales américaines. De telles techniques ont également été utilisées lors du vote sur le Brexit, ce qui a confirmé leur efficacité.

Notons que c’est uniquement l’aspiration illégale des profils Facebook qui a été reprochée par la justice, ce qui doit continuer à nous rendre méfiants quant aux traces qu’on laisse sur Internet.

Calculer avec des mots en prenant en compte leur signification

En exploitant ce même pouvoir des statistiques en grande dimension, les techniques de plongement lexical utilisent de grands corpus de textes disponibles sur Internet (Wikipédia, livres numérisés, réseaux sociaux) pour associer des mots avec leur probabilité d’occurrence dans différents contextes, c’est-à-dire dans différents types de textes. Comme on l’a vu plus haut, ceci permet de considérer une proximité dans cet espace de grande dimension comme une similarité sémantique et donc de calculer avec des mots en prenant en compte leur signification.

Un exemple classique qui est rapporté est de prendre un vecteur numérique représentant le mot roi, de lui soustraire le vecteur (de même taille car reportant les probabilités d’occurrence sur les mêmes critères) représentant le mot homme, de lui ajouter le vecteur représentant le mot femme, pour obtenir un vecteur très proche de celui représentant le mot reine. Autrement dit, on a bien réussi à apprendre une relation sémantique de type « A est à B ce que C est à D ».

[Près de 80 000 lecteurs font confiance à la newsletter de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]

Le principe retenu ici pour définir une sémantique est que deux mots proches sont utilisés dans de mêmes contextes : on parle de « sémantique distributionnelle ». C’est ce principe de codage des mots qu’utilise ChatGPT, auquel il ajoute d’autres techniques.

Ce codage lui permet souvent d’utiliser des mots de façon pertinente ; il l’entraîne aussi parfois vers des erreurs grossières qu’on appelle hallucinations, où il semble inventer des nouveaux faits. C’est le cas par exemple quand on l’interroge sur la manière de différencier des œufs de poule des œufs de vache et qu’il répond que ces derniers sont plus gros. Mais est-ce vraiment surprenant quand on sait comment il code le sens des symboles qu’il manipule ?

Sous cet angle, il répond bien à la question qu’on lui pose, tout comme il pourra nous dire, si on lui demande, que les vaches sont des mammifères et ne pondent pas d’œuf. Le seul problème est que, bluffés par la qualité de ses conversations, nous pensons qu’il a un raisonnement de bon sens similaire au nôtre : qu’il « comprend » comme nous, alors que ce qu’il comprend est juste issu de ces statistiques en grande dimension.

Frédéric Alexandre ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.

Le point fort de ChatGPT, c’est de nous donner l’impression de discuter avec un autre être qui penserait de la même manière que nous. Mais ces apparences nous induisent en erreur, car la conception de l’IA induit un comportement très différent du nôtre. Là où nous croyons lire un discours raisonné, il ne s’agit que d’une production très intuitive.