Dans un texte critique riche, ample et pertinent, le sociologue Dominique Boullier, ancien coordonnateur scientifique du Médialab de Sciences Po, revient sur les enjeux de l’IA générative. L’auteur de Propagations. Un nouveau paradigme pour les sciences sociales (Armand Colin, 2023) et de Déshumanités numériques (Armand Colin, 2025) ne mâche pas ses mots pour décrire comment l’IA transforme notre rapport au monde. Tribune.

On croit encore souvent que la meilleure innovation gagne toujours. Dans de nombreux cas comme dans celui des LLM, c’est le contraire : la pire des IA est en train de gagner au point de s’imposer comme monopole radical au sens d’Illich. Monopole radical pour la classe vectorialiste dans la génération de code avec l’apparition de Claude Code, monopole radical pour le grand public dans les interactions à travers la diffusion des IA compagnons. Entre les deux, les usages professionnels restent toujours aussi incertains et ne fonctionnent qu’à la condition d’y injecter suffisamment de sémantique et de contrôle expert pour éviter des catastrophes industrielles.

Reconnaissons-le : toute expérience ordinaire d’interaction avec une IA générative se révèle toujours impressionnante et, lorsque les compétences augmentent, des outils encore plus bluffants sont désormais à disposition, comme l’ont expérimenté tous les utilisateurs de Open Claw, agrégateur d’agents. Et pourtant, dès que l’on veut réellement prendre en main ces outils, contrôler leurs opérations, les vérifier ou valider leurs résultats, les mêmes utilisateurs se retrouvent déçus, inquiets voire en colère, à moins d’adopter une tolérance inusitée dans l’univers des produits et services de ce type. [Précisons d’emblée que je n’évoquerai pas ici les éventuelles craintes à propos d’un futur d’IA générale souvent fantasmé mais seulement les constats issus des pratiques ordinaires.]

Ni science, ni industrie, ni éthique mais de l’ingénierie, de la finance et du buzz

Je résumerais cette ambivalence de cette façon, en termes d’éthos ou de posture : si l’on possède une culture, des principes et exigences à la fois scientifiques, industrielles et éthiques, on ne peut qu’être inquiet de voir l’emballement en faveur de ces IA fondées sur les LLM. A l’inverse, si l’on est fasciné par l’ingénierie, les performances financières et si l’on vit dans le monde du buzz permanent, l’IA produit une excitation inédite et sans cesse renouvelée malgré ou à cause des incertitudes qu’elle emporte avec elle.

Et l’on peut systématiser cette opposition terme à terme : science vs ingénierie, industrie vs finance, éthique vs buzz pour mesurer à quel point nous sommes en train de bifurquer, collectivement certes mais sous la houlette de quelques très grandes plateformes technologiques. L’époque moderne s’est caractérisée par la puissance d’une alliance entre science et industrie en y ajoutant depuis la seconde guerre mondiale, un contrôle moral progressif des finalités et des méthodes (la révision écologique principalement). Mais les LLM sortent totalement de cette trajectoire au profit d’un saut postmoderne radical fondé sur leur ingénierie toute-puissante, leur attractivité financière sans limites et leur capacité à générer du buzz, de l’alerte et de l’incertitude permanente.

On pourrait pourtant parier avec Yann Le Cun que ces LLM sont des impasses conceptuelles. On pourrait aussi considérer avec la plupart des grandes entreprises industrielles que les LLM n’offrent pas de fiabilité suffisante, ce qui explique leur adoption très réservée dans les process critiques notamment. On pourrait aussi soutenir avec quelques fondateurs du deep learning (Hinton, Bengio) que l’on risque trop de perdre le contrôle pour laisser se développer une telle technologie. Et pourtant, malgré toutes ces réserves, que je vais documenter et soutenir, ce sont bien ces LLM qui sont en train de former l’architecture technique d’un nouveau mode de production.

Quand les pires technologies sont pourtant les gagnantes

Car, rappelons-le , après des décennies de travaux sur les dynamiques de l’innovation, il est rare que la meilleure technologie gagne. Songeons au clavier Qwerty, cette machine de guerre ergonomique, encore présente dans nos PC, et même sur des smartphones tactiles. 150 ans de résistance à toute transformation malgré les tentatives nombreuses (cf. Dvorak) pour améliorer un système aussi nocif pour les muscles et aussi coûteux à apprendre. Sur ce plan d’ailleurs, les interfaces conversationnelles sont à elles seules une révolution durable qui va modifier la relation ordinaire à la technologie des systèmes d’information, plus encore que ne l’avait fait le Wysiwyg de la fin des années 70 qui a permis le Personal Computer.

De même, la domination de Windows sur tous les systèmes d’exploitation des PC (72% du marché) est le contre-exemple type opposable à l’argument selon lequel « le meilleur gagne ». Tout le monde le reconnaît, Windows a copié Apple (lui-même issu de Xerox) pour l’apparence de son interface, tout en reposant sur son système d’exploitation MS-DOS catastrophique en matière de fiabilité, de sécurité et de performances. Et pourtant, Microsoft l’a imposé au monde entier, grâce à des patchs successifs mais surtout grâce un marketing devenu un cas de figure canonique du « lock-in » (Shapiro et Varian), ce verrouillage d’une clientèle dans un système total. Dans le même temps, Linux (1991) est devenu incontournable pour tous les systèmes techniques critiques ou pour ceux qui exigent une véritable fiabilité mais c’est seulement en 2026 que le gouvernement français fait le choix d’abandonner Windows pour Linux pour les postes de travail de l’administration.

Un processus analogue se déroule ainsi sous nos yeux qui voit une innovation très approximative gagner des parts de marché et créer des habitudes d’usage quasi irréversibles. Les critiques pleuvent sur les systèmes d’IA génératives, sur leurs hallucinations d’abord, sur leurs consommations d’énergie ensuite, sur la collecte de leurs sources, sur leurs principes formels même, et cela sans parler des pratiques de certaines des firmes que j’ai qualifiées ailleurs de voyous (Open AI et X/ Grok) (Boullier, 3 février 2026 , AOC). Mais rien n’y fait, l’IA pénètre dans tous les interstices de la vie ordinaire plus vite que dans la vie professionnelle même, grâce à cette innovation horizontale, imitative, sans barrière d’accès (dont la gratuité, qui constitue un coup de force très convaincant pour les adopteurs). Quitte à avoir la pratique de l’IA honteuse, dans ce qu’on appelle la shadow AI, ces pratiques non déclarées au travail (Ferguson), dans les écoles ou à la maison. Processus d’innovation technique assez rare dans les organisations (Gaglio) qui ont souvent pratiqué plutôt le top-down en devant se battre plus contre les « résistances » des personnels que contre leur enthousiasme débridé et leur volonté de tout tester « pour voir » et finalement pour adopter.

L’heure du bilan n’a cependant pas sonné car tous les ans à peu près une nouvelle version ou couche d’innovation rebat les cartes, au point même de disqualifier les savoir-faire acquis, qu’on avait annoncé comme décisifs pour l’avenir (savoir prompter). Les agents sont déjà là, des systèmes comme Open Claw, même s’il est bridé désormais par Claude, permettent d’organiser des batteries d’agents en parallèle pour réaliser quantité de tâches ou de séquences de tâches, le vibe coding est mis à la disposition de tous, la production de vidéos (dont les deep fakes) est désormais opérationnelle pour des utilisateurs ordinaires. La seule limite constatée pour un certain niveau de performance reposait sur la compétition féroce pour les puces GPU de NVidia qui elles-mêmes changent de version souvent, mais désormais Google et Deep Seek utilisent leurs propres processeurs (TPU notamment) conçus spécialement pour leurs IA. Dans cette effervescence, la question du coût était restée jusqu’ici ignorée comme toujours avec la méthode classique du dealer de techno qui amorce les usages en offrant la gratuité, mais le coût des abonnements à ces services commence à augmenter sérieusement selon le nombre de tokens traités. Au point que l’optimisation de l’usage des tokens fait désormais partie des services de Anthropic, sous forme de « adaptative thinking », terme inadapté mais significatif de l’emphase qui caractérise ces firmes.

Disons-le franchement : j’espère quand même que cette hubris financière et technologique va conduire à une crise majeure, répétant la crise financière de 2008 car c’est sans doute la seule chance de rebattre les cartes et de rouvrir les possibles. Mais il faudra alors posséder cette boussole que je propose pour s’orienter radicalement différemment dans nos choix socio-techniques. A condition qu’il existe encore un espace politique démocratique pour passer à une « démocratie socio-technique » (Lascoumes, Callon, Barthe, 2001) pour inventer un autre avenir. Or, la domination des plateformes d’IA se fait désormais à l’échelle mondiale (Chine et USA) en étroite collaboration avec les régimes les plus autoritaires prêts à favoriser leurs monopoles en échange de services de surveillance omniprésents.

Au-delà des monopoles des plateformes IA, nous devons plus encore nous inquiéter d’un « monopole radical » de l’IA générative et des LLM sur les connaissances, pour utiliser les concepts d’Ivan Illich. Toute son analyse de la mobilité et de l’énergie (Energie et équité, 1975) montrait comment l’industrie pétrolière avait installé un monopole radical de l’automobile supposée solution unique pour traiter nos demandes de mobilité. Alors même que le calcul de la vitesse généralisée (Dupuy, Robert) montrait qu’en intégrant tous les coûts de production et d’utilisation d’une voiture, sa performance en termes de vitesse devenait inférieure à celle d’un vélo. J’expliquerai dans un livre à venir pourquoi la comparaison des LLM avec le coup de force du moteur à explosion et de l’automobile est la plus pertinente en matière de monopole radical, entraînant toutes les dérives sociales, urbaines et environnementales que l’on connaît. C’est pourtant l’avenir qui nous attend dès lors qu’on laisse les entreprises d’IA le façonner pour nous.

Reprenons chacun des dyptiques proposés pour comprendre comment une ambivalence attraction/répulsion finit pourtant par engendrer ce monopole radical.

1/ Absence de science mais ingénierie géniale

J’ai conscience de surprendre ainsi beaucoup de chercheurs qui travaillent sur l’IA et sur certains principes qui ont guidé tout ce courant de recherche, souvent fondé sur des mathématiques de haut niveau. Certains n’accepteront pas de voir disqualifier leurs prétentions scientifiques. Précisons que ce n’est pas parce qu’on dispose de disciplines, de revues et de postes académiques qu’on fait de la science (nous autres chercheurs en sciences humaines et sociales sommes quotidiennement disqualifiés pour cela précisément). L’ingénierie est une activité très noble qui mobilise des rapports parfois étroits avec la science, de même que la médecine, mais ni l’une ni l’autre ne sont des sciences mais plutôt des sciences appliquées, dit-on parfois, et surtout des arts. Le soin est un art plus qu’une science malgré toutes les tentatives de « evidence-based medecine » qui autoriserait les transferts de décision à des systèmes d’IA, au prix d’une ignorance de ce que la relation de soin et la maladie possèdent de multidimensionnel. L’ingénierie, de ce point de vue, peut être géniale et on ne le contestera pas, depuis Léonard de Vinci au moins ! Mais c’est son art de l’assemblage de connaissances, plus ou moins modélisées, dans la résolution d’un problème opérationnel qui produit l’émerveillement. Il faut que ça marche, voilà l’impératif. Or, les observations in situ sur le travail des ingénieurs, comme celles effectuées par les STS et tout le courant de l’ANT (théorie de l’acteur-réseau, Vinck), ont bien montré que quantité de décisions opérationnelles relèvent du pari, de l’opportunité et surtout du tissage d’un réseau multidimensionnel pouvant mobiliser des compétences et des ressources extrêmement diverses. C’est le cas avec les LLM et avec l’IA générative.

Quand l’absence de théorie du langage est productive pour l’ingénierie

En effet, zéro science dans ces IA et on pourrait même dire que c’est grâce à cela que ça marche. C’est ce que disait ce CEO d’une firme de NLP (traitement automatique du langage naturel) il y a plus de quinze ans qui affirmait avec provocation que les performances de ses modèles s’amélioraient à chaque fois qu’il virait un linguiste. Et en effet, les LLM n’ont aucune théorie du langage et se débrouillent très bien pour éviter d’en avoir une, puisqu’ils reposent sur une tokenisation et une vectorisation de tout le matériel linguistique, qui n’a strictement rien à voir avec une analyse du langage, structurale ou même générative à la Chomsky. Le texte fondateur des « Transformers » publié par Google en 2017, l’annonçait d’ailleurs explicitement : « All you need is attention ». Ce qui veut dire en clair que dès lors que l’on veut détecter des patterns, des régularités dans des corpus linguistiques pour prédire les segments suivants, tout ce qui compte c’est la fenêtre de mémoire disponible au moment de l’entraînement sur des corpus par ailleurs toujours plus énormes, de façon à réduire les erreurs. Pas de théorie, pas de concepts, seulement un exploit technique réductionniste à l’extrême et pour cette raison très opérationnel, qui permet de traiter tout token dans un espace latent vectorisé pour pondérer ses probabilités de combinaison et donc d’apparition dans un « contexte » toujours plus grand, cette fenêtre d’attention. Evidemment, l’astuce technique, élémentariste comme toute l’informatique depuis Turing, nécessite des capacités de calcul rarement disponibles, surtout dans un laboratoire académique, et des capacités de collecte de données d’entraînement qui s’affranchissent des règles académiques de sourcing ou de droits d’auteurs (nous verrons cela plus loin dans le chapitre moral).

Cependant, reconnaissons que les résultats de cette simulation de production linguistique à partir de ces matériaux et de ces « astuces » techniques sont prodigieux pour un observateur neutre ou même critique. J’ai moi-même, il y a bien longtemps, développé des chatbots et des méthodes d’ingénierie linguistique en milieu industriel puis académique et la performance ne m’échappe pas. Mais je sais aussi par expérience, tout ce qui a été nécessaire de bricolage, de patch, de tâches aveugles, et de risques pris pour faire tenir un système technique après quantité d’arbitrage faits souvent à la volée et sans justification et sans vérification possible de leurs conséquences sur tout le système. Expliciter tout cela serait considéré comme indécent pour un utilisateur lambda dont on veut par ailleurs faire un utilisateur convaincu et capté dès la première requête puisque l’adoption fonctionne désormais dans l’instant (et non à la décision éclairée).

La boite noire n’est jamais acceptable dans une visée scientifique

Pourtant, cet effet boîte noire reste totalement antinomique avec des exigences scientifiques. Car adopter une visée scientifique (Gagnepain), c’est s’obliger à contester méthodiquement ses propres énoncés pour les vérifier, les discuter dans une communauté de pairs, ce qui suppose de les publier pour pouvoir les répliquer et ensuite les réviser. La chaîne de la référence (Latour) est très longue et doit être explicite. Ce qui n’a rien à voir avec les méthodes de production de l’IA générative qui fonctionne aux résultats simulés et produits en toute opacité. On se trouve alors plus proche de la visée mythique qui doit nous faire croire aux résultats par une simulation merveilleuse et ces IA génératives produisent en effet des merveilles.

Et lorsque les LLM se soumettent à une vérification, c’est à travers des benchmarks et non des expériences réplicables qui permettraient de suivre toutes les pondérations faites automatiquement, ou les méthodes d’apprentissage supervisé et de constitution d’une ground truth (« vérité de terrain », Jaton), qui posent tant de problèmes éthiques occultés. Aucun process explicite donc, contrairement au mouvement existant depuis plus de dix ans d’ « explainable AI » car depuis l’IA connexionniste, dans sa version réseaux de neurones puis deep learning, on sait qu’il n’est plus possible de vérifier tous ces processus, même quand on en est le concepteur. La démarche scientifique ne peut en aucun cas se satisfaire de ces boîtes noires puisque toute la construction des énoncés qui font science a reposé depuis des siècles sur des communications de protocoles et de résultats permettant une éventuelle réplication. Exigence qui se perd, il est vrai, même dans les sciences dures soumises elles aussi au culte du « résultat-positif-à-diffuser » pour améliorer ses scores de publication. On peut se dire alors que le ver était dans le fruit, et que tous les impératifs de publication délirants désormais exigés par les politiques publiques de recherche n’ont pas attendu l’IA pour dégénérer.

L’espace latent probabiliste ne peut pas produire une ontologie

Plus spécifiquement il faut noter la déstructuration délibérée de toute l’articulation du langage, de cette combinatoire analytique de son et de sens, productrice d’un potentiel infini d’expressions. Avec les LLM, il ne s’agit plus que de découpages de matériel langagier écrit optimisés pour leur calculabilité : tout peut devenir token, jusqu’à des signes de ponctuation, sans rapport avec le sens ni avec l’expression orale par ailleurs. Les relations ou vecteurs ne sont plus structurées (pas de lexique, de champ sémantique, de lemmes, de phonèmes, etc… tous articulés entre eux) mais seulement pondérées par leur fréquence d’apparition commune dans un corpus donné.

Sur ce plan, il faut veiller à ne pas confondre l’ingénierie linguistique qui était réalisée au temps du Machine Learning. Si l’objectif de calculer les distances entre entités linguistiques d’un corpus peut sembler voisin de ce qui est actuellement pratiqué par les LLM, ce serait oublier la torsion complète de ces principes par les LLM. Car à cette époque, les entités calculées étaient encore des lemmes, issus d’une racine qu’on pouvait organiser en relations sémantiques via des flexions, syntagmes et variations de tous types, au-delà des simples cooccurrences dans un même environnement. Les corpus étaient eux-mêmes limités car thématiques, présélectionnés ou identifiables par leurs origines. Désormais on parle de tokens qui décomposent tout matériel graphique (et non verbal) en élément dont on va estimer la fréquence d’apparition dans un corpus infini, non indexé ni identifiable (effet boite noire). Un token n’a plus besoin de relation sémantique avec son environnement, seulement sa co-occurrence statistique suffit à produire un vecteur qui sera pondéré (et désormais non révisable puisque tout se passe dans l’opacité la plus totale).

C’est ici qu’une coupure avec la sémantique s’est introduite définitivement dans la méthode même de décomposition par token et de vectorisation. Le coup de force des LLM tient au fait qu’ils prétendent traiter toute une langue, grâce à une collecte d’un corpus infini, ce que leur permet en effet leur prédation systématique de tous les contenus disponibles. Tout ce traitement s’effectue dans une langue donnée, qu’on doit ensuite traduire dans d’autres langues qui n’auraient pas les corpus suffisants, d’où d’autres distorsions introduites dans ce corpus supposé universel.

La puissance statistique de ces probabilités reposant sur des corpus toujours plus vastes leur permet de simuler en effet des effets de langue très plausibles et de masquer totalement leur absence totale de sémantique, de référence au monde perçu, et d’attributions de valeur systémique aux relations/vecteurs calculés. Il s’agit bien d’un artifice d’ingénierie tout-à-fait prodigieux dans ses résultats, même s’il a la particularité d’être totalement incontrôlable ou inauditable dès lors que l’espace latent où tout se calcule n’a plus aucune relation avec le sens et combine tellement de dimensions que personne ne peut plus rendre compte des pondérations effectuées (the curse of dimensionality, Bellman, 1957). L’opacité du système est le prix à payer pour sa performance.

Le maquillage sémantique indispensable pour sauver le soldat LLM à tout prix

Cependant, ses faiblesses structurelles d’accès au sens engendrent tant d’erreurs qu’il faut là encore mobiliser des correctifs sans cesse plus ingénieux mais qui demeurent des expédients. C’est ce que l’on a nommé au début des LLM des « hallucinations », en fait des erreurs, des inventions de toutes pièces et sans aucun sens, présentées de plus sans aucune précaution sur les limites du système et sur le principe même des probabilités. L’obligation de réponse à tout prix, qui n’a rien à voir avec une exigence scientifique ni avec une garantie industrielle (voir chapitre suivant), relève en fait de la promesse commerciale et de la captation de dépendance d’un public sans aucun recul critique.

Pour réduire ces effets pervers – mais en fait constitutifs même des choix techniques d’ingénierie effectués contre toute exigence scientifique -, un certain nombre de méthodes sont employées pour réintroduire par la bande de la sémantique que l’on a exclue au départ pour optimiser la vectorisation généralisée des contenus d’entraînement. Ainsi, tout le travail d’annotation réalisé par les travailleurs du clic et les petites mains des plateformes (Casilli, 2019) sert avant tout à cela : produire une supervision de départ qui ne dit pas son nom mais qui permet de générer une ground truth qui limitera les dégâts, ce que Mechanical Turk d’Amazon offre comme service par exemple. C’est pourquoi le travail précaire et sous-payé de tout ce nouveau prolétariat des pays du sud, plus proche du péonage que du salariat (Moulier-Boutang), ne peut être occulté comme fondation sémantique des systèmes d’IA génératives. Certes, les modèles auto-apprennent ensuite, mais un contrôle reste nécessaire pour éviter de voir la qualité se dégrader de façon trop visible. Aucune science dans cette affaire, seulement la reconnaissance par l’ingénierie des patchs nécessaires pour corriger les défauts des choix initiaux. En l’occurrence, « attention is NOT all you need », il faut aussi celle d’humains enchainés à leurs écrans et à leurs micro tâches qu’on ne saurait montrer ni reconnaître.

De même, en raison de la spécificité sémantique de la plupart des domaines professionnels, avec ces LLM, il reste quasiment impossible d’assister correctement des processus de décision ou de création de contenus lorsque les documents sources sont noyés dans le corpus général des modèles centralisés. Il faut réintroduire du « contexte » dit-on parfois de façon erronée alors qu’il s’agit en fait de réintroduire du sens, articulé en sémantique, avec des termes spécifiques organisés en ontologies comme on le fait toujours avec l’IA symbolique. Tout process industriel qui ne se fonderait pas sur ces bases robustes courrait à la catastrophe.

Patches en tous genres : RAG, Chains of Thought, MCP

Mais là encore, l’ingénierie des firmes de l’IA se débrouille pour vanter l’intervention des experts du domaine sur des modèles réduits de LLM que seront les RAG (Retrieval Augmented Generation). Les experts d’un domaine injectent leurs contenus contrôlés, validés et pertinents pour leur secteur dans les données d’apprentissage du modèle général ou dans une version plus locale et restreinte, et réduisent ainsi considérablement les risques de non-pertinence ou d’erreurs. On entraîne ainsi le modèle sur des corpus de documents administratifs ou techniques issus de l’entreprise ou de l’administration et on s’assure ainsi qu’il effectuera les tâches demandées avec plus de fiabilité. Comme on le voit, il s’agit là encore d’une astuce d’ingénierie qui ne corrige en rien les défauts structurels des LLM mais qui réduit leur impact dès lors qu’il existe des experts capables d’alimenter les corpus d’apprentissage en contenu contrôlé. Il faut donc à nouveau des humains qui réintroduisent de la sémantique pour obtenir des résultats fiables. Pourtant, tout cela est présenté comme un additif normal et ingénieux aux LLM et non comme reconnaissance d’une faille constitutive de leur architecture stupidement probabiliste.

Un autre patch consiste à équiper ces systèmes d’IA générative à base de LLM de « chaînes de pensée » (Chain of Thought) leur permettant de construire un raisonnement en décomposant un problème en séquences. Le terme de « pensée » peut être trompeur car il ne s’agit que d’étendre les capacités élémentaires de tout système informatique à décomposer en procédures et en séquence opérationnelle toute résolution de problèmes, ce qui est au fond à la base de toute compétence technique. Fournir cette capacité n’a rien d’un raisonnement. Alors qu’il existe des systèmes d’IA effectivement raisonnante, mais de type symbolique et totalement explicable, comme Xtractis, produit par Intellitech (Zalila). Dans ce cas, toutes les pondérations et décisions sont traçables car elles sont fondées sur de solides armatures logiques que toutes les IA symboliques mobilisent depuis des décennies.

Dernier épisode en date de la même opération de sauvetage des systèmes d’IA génératives asémantiques : le passage à l’IA agentique, capable d’effectuer des tâches de commande, de gestion, faites de séquences complexes et adaptées aux infinies variations du monde réel. On comprend bien le défi. Des systèmes automatisés, ne disposant d’aucune représentation significative du monde mais seulement d’une capacité infinie de pondération des vecteurs linguistiques pour engendrer des prédictions, se trouveront en difficulté face à la complexité du monde réel, et aux ambiguïtés sans fin de toute langue et de toute situation. Une astuce supplémentaire de l’ingénierie des entreprises d’IA permet de simuler une réduction de ces aléas. On dispose désormais en effet d’un protocole pour harmoniser la description du monde : serait- ce une ontologie ? Certes non, seulement une simulation limitée au monde des interactions entre machines : le MCP, Model Context Protocol, se contente de standardiser les API que devront utiliser les systèmes d’IA pour devenir vraiment des agents « dans le monde », en fait des agents bien limités au monde des systèmes d’information normalisés pour devenir interopérables par des IA agentiques. Une nouvelle fois, la question du rapport au monde, de la sémantique nécessaire pour en construire la représentation est évacuée par une opération d’ingénierie. Cela permet cependant de construire ainsi un début de standardisation du secteur, ce qui est industriellement non négligeable.

Mais il en sera autrement dans les secteurs industriels critiques comme nous le verrons. Lorsqu’on voit que Palantir, dans sa fourniture de systèmes de décisions de frappes militaires létales, présente explicitement la couche d’ontologies qu’elle ajoute aux LLM qu’elle utilise, en parlant d’une nomenclature pré-encodée (c’est-à-dire contrôlée et validée par les humains selon un schéma cohérent sémantiquement), on comprend mieux ce qui se déroule et se déroulera dans les autres industries, qui ont des exigences encore plus sévères que dans les industries de défense dont la précision n’est pas l’impératif prioritaire, comme on l’a constaté récemment. Les benchmarks récents pour tester ces systèmes d’agents ont cependant produit des résultats très inquiétants quant à leur fiabilité et à leur sécurité (Shapira et al., 2026).

La mutation du mode de production du code, étape essentielle vers le monopole radical

Il faut cependant admettre que les limites asémantiques des LLM ont été particulièrement bien exploitées pour la production du code informatique. Ce qui peut se comprendre aisément, puisque précisément le code n’est pas le langage ni la langue et que son univocité le rend opérationnel sans risque de contre-sens comme on dit, puisqu’il ne s’agit plus de sens mais de commande pour l’action. Cette réduction du langage des propositions logiques au code du programme fut la force du pari initial de Turing (Lassègue et Longo, 2025) qui continue d’être exploité. La production de code entraîne pourtant des erreurs nombreuses variables selon les systèmes d’IA mais désormais bien réduites avec l’avancée apportée par Claude Code. On mesure alors la productivité potentielle d’une telle performance d’ingénierie puisque ces systèmes peuvent générer du code pour générer du code pour générer du code, à plusieurs niveaux. Cela a entraîné la fascination des milieux des développeurs pour Open Claw qui génère, lui, des agents organisés en système dans des délais d’une rapidité inouïe par rapport aux tâches séquentielles précédentes.

C’est ainsi dans ce domaine du code que les LLM sont en train de modifier le mode de production informatique en général et de ce fait d’un grand nombre de process industriels. De l’autre côté, pour le grand public, c’est la mutation des compagnons à travers des interfaces conversationnelles performantes qui est en train de s’installer comme routine ou comme évidence dans la vie quotidienne. Notre mode de production des interactions quotidiennes va s’en trouver clairement affecté radicalement. Le problème, dans les deux cas, industrie ou interaction, tient à l’absence totale de traçabilité et d’explicabilité de tous ces systèmes, si performants et si opaques à la fois. Les erreurs, bugs ou hallucinations sont inévitables et l’expertise pour les détecter aura tendance à se raréfier puisque seules des IA pourront éventuellement réauditer de telles boîtes noires. Et lorsqu’on se réjouit de voir que Claude a détecté avec Mythos des bugs jusqu’ici ignorés qui sont en fait de vraies failles de sécurité, on accepte d’ignorer que l’on ne sait pas si ces failles étaient vraiment critiques (d’où le peu d’intérêt pour les détecter avant), quelle est la proportion de bugs existants non détectés par l’IA (par définition !), et si l’IA ne détectera pas de faux bugs (faux positifs) que personne ne saurait contredire (Schneier, 2026). Il faut donc accepter les miracles et continuer à avancer à l’aveugle.

Mais plus on s’oriente vers cette transformation en profondeur du mode de production, plus cela tend à réduire les LLM à des systèmes d’exploitation, dont nous ne connaissons toujours pas les applications adaptées à DES environnements toujours spécifiques. Or, dès qu’on veut implémenter une application robuste dans le vrai monde, il faut y rajouter une couche sémantique. Certains plaidaient depuis longtemps pour cette hybridation symbolique/ génératif mais le débat porte rarement explicitement sur cela : on se contente de patchs sémantiques ( et donc à base d’IA symbolique) dès qu’on veut installer des process fiables. Nous pourrions donc évoluer ainsi vers un équivalent de MS-DOS. On interagit avec un Windows qui est en fait une copie de Mac OS, pertinente et conviviale, mais toujours plaquée sur un OS antique et inadapté, ce qui a duré pendant 40 ans environ. Par analogie, nous accepterions donc les défauts intrinsèques de ces LLM en acceptant de les corriger sans cesse, de les camoufler pour éviter d’interroger la nullité scientifique des LLM. Alors qu’il serait possible de concevoir dès maintenant une IA hybride dans son cœur même, en s’appuyant sur les IA symboliques raisonnantes déjà disponibles pour leur ajouter quand c’est nécessaire les capacités génératives issues des méthodes des LLM. Mais tout cela sans développer toute l’usine à gaz énorme que sont les data centers et la collecte en masse de données pour l’apprentissage. Philosophie totalement différente mais qui ne gagnera pas forcément comme je l’explique dans la seconde partie sur l’industrie. Pourtant, d’autres acteurs tentent d’explorer une sortie de cette impasse.

En sortir par une extension de l’automatisation avec les « modèles du monde » ?

En effet, peut-être devrait-on confier notre sort à ceux qui, comme Yann Le Cun, nous fixent des objectifs de pertinence nettement plus robustes en sortant des limites des LLM. On peut comprendre l’ambition de ne plus faire reposer les modèles sur du matériel uniquement linguistique, même si cela pouvait fonctionner assez aisément pour des visées de génération de contenus. L’idée de descendre au niveau de la perception et d’entraîner désormais ces systèmes sur des vidéos qui démultiplient les indices en les situant dans des univers réalistes qui fournissent une connexion de fait avec le monde (même si médiées par le support vidéo) paraît ambitieuse en termes de capacités de calcul et de temps d’entrainement mais cohérente pour dépasser les limites des LLM. En réalité, malheureusement, il s’agit là encore d’une ingénierie magnifique et prometteuse, mais qui échoue à caractériser scientifiquement ce qu’est l’expérience du monde du point de vue cognitif et qui de plus ne fournit comme horizon industriel et moral qu’une automatisation toujours étendue.

L’expérience du monde n’est pas faite seulement des inputs de signaux très riches fournis par nos sens. En premier lieu, elle est construite dans une boucle qui suppose une interaction effective avec le monde : les gestes, les actes doivent être éprouvés et avoir un effet sensoriel au-delà de leur visionnage sur un écran de vidéo pour pouvoir constituer une base d’apprentissage robuste. Cela nécessiterait alors de doter ces systèmes d’IA d’un équivalent de corps, et donc de pousser l’automatisation encore plus loin vers une robotique étendue et sans limite a priori. Cependant, le principal manque de la vision des « modèles du monde » de Le Cun, c’est la dimension collective de l’apprentissage du monde, ne serait-ce qu’à travers le regard d’un autre humain, souvent un parent nourricier. Ce couplage étroit, plus ou moins satisfaisant mais déterminant pour le psychisme, semble demeurer extérieur aux modèles du monde. Or, l’expérience du monde est intersubjective par définition ou même distribuée car on doit penser en termes de « cognition distribuée » (avec des humains et des non-humains) (Hutchins). On n’inventera pas une compréhension du monde qui ne soit fondamentalement dialogique, et donc psycho-sociologique.

On pourrait alors prolonger juste un peu plus loin la saga de l’ingénierie de l’IA et annoncer : « qu’à cela ne tienne, nous allons modéliser aussi tous les comportements psychosociologiques et nous aurons ainsi atteint le but ultime de l’IA générale, totalement équipée des compétences humaines ». Voilà où la question morale revient en force, avec cette tendance lourde de la classe vectorialiste à s’en passer allègrement. Pour rester pertinente, l’IA la plus enrichie socialement doit se fonder sur une théorie de la technique qui sorte du fantasme de simulation totale et d’automatisation sans limite. La technique est une compétence humaine qui se combine sans cesse avec les autres compétences inhérentes à la condition humaine et ne peut jamais être désencastrée des rapports sociaux, politiques, désirants, émotionnels qui obligent de ce fait à inclure les humains dans la boucle. Ils le sont comme experts en premier lieu pour la valeur indicielle irremplaçable de leurs connaissances mais aussi et surtout comme sujets de désirs et de droits et comme collectifs coopératifs. Une IA qui s’affranchirait de toute connaissance et de toute théorie de toutes les compétences humaines pour remettre la technique à sa place serait en fait atteinte d’hubris et profondément dangereuse. C’est ce que certains prophètes proclament d’ailleurs, un peu vite et avec des arguments tordus parfois, pour à la fois réduire la vitesse et l’accélérer pour aboutir à l’étape suivante de l’automatisation totale plus rapidement.

Pourtant, il reste possible de faire bifurquer ce train lancé à toute vitesse et qui semble inarrêtable sur cette voie unique, celle des LLM fournie par les plateformes. Pour cela, il convient de sortir de la fascination pour l’ingénierie en exigeant de réintroduire des impératifs scientifiques et donc une exigence de compte-rendu explicite de tous ces systèmes, une auditabilité que les impératifs industriels avaient pourtant installé comme convention sociale bénéfique à tous. Comment se fait-il que non seulement les LLM peuvent se passer des impératifs scientifiques mais aussi des impératifs industriels ?

2/ Abandon des impératifs industriels, triomphe des performances financières

Les prouesses d’ingénierie que l’on vient de souligner devraient normalement entraîner des qualités industrielles équivalentes si l’on vivait encore dans le capitalisme industriel. Or, n’oublions jamais que c’est désormais un régime de capitalisme financier qui nous gouverne (Orléan, 2011). Le secteur du numérique est totalement dépendant des principes, des méthodes et des puissances fournies par la finance qui adore l’IA, quand bien même les performances industrielles de ces systèmes d’IA sont à proprement parler catastrophiques. C’est ce paradoxe qui doit être pensé pour comprendre à quel point nous allons dans le mur en tant que société dite « moderne » en confiant notre avenir à ces systèmes d’IA. La domination financière sur l’allocation de ressources accélère encore ce processus malgré l’inconséquence industrielle qui la sous-tend.

Les qualités industrielles attendues des systèmes d’IA devraient être de deux types : une fiabilité la plus élevée possible, à défaut de totale qui serait un fantasme (Gérard Berry), et une architecture efficiente, c’est-à-dire la plus économe possible de toutes ses ressources. Il ne suffit plus de faire preuve d’ingéniosité pour obtenir le meilleur résultat possible une fois : dans un système industriel, il faut pouvoir assurer la répétition, le passage à l’échelle, la maintenance, et la fiabilité dans des circonstances totalement différentes. Or, aucun des LLM sur le marché ne peut assurer cela et d’autant moins que ce sont des systèmes opaques non réglables avec précision, contrairement à ce qu’on prétend faire avec du fine-tuning (qui revient en fait à réinjecter de l’expertise humaine et donc de la sémantique au cas par cas, ce qui n’a rien d’industriel précisément).

L’étrange acceptation de l’absence de fiabilité industrielle des LLM

Lorsque l’utilisateur ordinaire constate des hallucinations ou des réponses trop évasives, trop bavardes ou incompréhensibles de systèmes d’IA conversationnelles qu’il utilise, il s’agit souvent de situations individuelles, de communication, sans grandes conséquences, avec de plus une propension des utilisateurs à s’auto-incriminer pour leur incapacité à faire les prompts corrects tant le mythe de « l’intelligence » de la machine finit par s’imposer. Cette tolérance n’a rien à voir avec celle qu’on peut avoir aussi dans l’industrie pour des systèmes de production et de services qui doivent assurer une qualité permanente du produit et une traçabilité très exigeante. Comment se fait-il d’ailleurs qu’on n’exige jamais de la part des plateformes d’IA génératives des démarches qualité, des audits et de la documentation comme on le fait dans tout secteur industriel ? Car tous les secteurs sont soumis à des réglementations, à des standards, à des responsabilités légales et pénales dans les cas de non-respect de normes, de procédures ou de contrôles. Ce fut tout du moins tout l’effort des années après-guerre où l’industrie se trouva régulée par les Etats ou par ses propres conventions entre concurrents.

Rien de tout cela dans les firmes de l’IA qui se sont totalement affranchies des exigences devenues communes dans l’industrie. On peut arguer que le secteur étant en construction, il faudrait attendre un peu avant que cela se stabilise. Or, la pénétration de l’IA dans tous les secteurs, ou tout au moins les efforts des vendeurs d’IA dans ce sens, exige que les processus IA soient soumis aux mêmes degrés d’exigence que tous les autres composants d’un secteur donné qui peut aller de la comptabilité à la logistique en passant par les matières premières, les machines, etc. et cela pour les produits, les process et les personnes, les 3P de toute démarche qualité. Cette façon désinvolte de disqualifier les procédures industrielles au nom de la disruption éclair est très choquante pour ceux qui connaissent cet univers. Aucune autre industrie ne pourrait s’autoriser une fiabilité aussi faible, fut-ce au bénéfice de l’accélération et du gain de temps supposé. Certes, certains secteurs critiques parviennent à exploiter des briques de LLM pour amplifier les performances de leur activité de façon limitée et à condition d’y rajouter leurs propres données validées comme pour le RAG ou une couche de sémantique comme je l’ai indiqué. Mais cela indique bien l’absence de fiabilité intrinsèque de ces LLM et le surcoût induit par la nécessaire intervention des experts dans la boucle, ce qui invalide la promesse fantasmée des vendeurs de LLM.

L’un des moyens classiques de l’industrie pour pousser à l’augmentation de la qualité et rétablir les conditions de la concurrence plus équitables a toujours reposé sur la standardisation, sur la production de normes (et non seulement de la part des Etats contrairement au roman libéral anti-bureaucratique qu’on nous sert en permanence). En effet, la compatibilité entre produits et services et la comparabilité des performances et des qualités servent la stabilisation des marchés, et donc la viabilité d’investissements de long terme comme l’exige tout appareil de production tangible. Il semble que, en l’absence de cet aspect tangible puisque le numérique est éminemment plastique, même s’il n’est en rien immatériel, ce secteur puisse s’affranchir de cet impératif d’organisation du marché.

La disparition de la culture des tests

L’un des indices de cette compétition sans règle industrielle peut être observé dans la disparition de la culture des tests. Dès lors qu’il n’existe plus de normes ni de standards, pourquoi se préoccuper d’étalonner avec des mesures fiables ses propres produits et services ? A défaut de ces normes, on pourrait penser que ces tests seraient cependant utiles pour anticiper la satisfaction du client et éviter des retours consommateurs parfois destructeurs de réputation. Et pourtant non, les nouveaux entrants sur le secteur de l’IA générative, comme Open AI, ont au contraire tout fait pour court-circuiter les entreprises en place, soucieuses de leur réputation, et ont mis sur le marché des systèmes non validés, sans fiabilité aucune, à charge aux utilisateurs adopteurs précoces de faire remonter leurs retours et d’attendre la nouvelle version.

Ce principe du chantier du code qui court (le rough consensus and running code de J.P. Barlow) qui se corrige de lui-même constitue une rupture avec les impératifs industriels qui ont mis du temps à s’installer durant tout le XXe siècle mais qui ont produit des systèmes techniques plutôt fiables et de moins en moins insécures, avec l’appui des réglementations étatiques contraignantes dans certains domaines, il faut bien le dire. Le seul étalonnage des systèmes d’IA disponible en public reste donc les benchmarks effectués soit par les universitaires soit par des cabinets, à intervalles très fréquents puisque les versions se succèdent sans cesse, ce qui permet d’ailleurs de disqualifier les benchmarks dont les remarques critiques ont été déjà corrigées dans des versions nouvelles sorties quasiment avant la publication critique.

Les tests de validation du code existent toujours cependant. Mais ils permettent seulement d’éviter les principales erreurs mais non de relever ou de comprendre les décisions effectuées. Pire encore, la rapidité de génération du code est désormais telle que les générations de seniors chargées de l’auditer n’ont plus le temps de le faire. Cela renforce ce qu’on appelle désormais même chez les développeurs une « dette cognitive », c’est-à-dire une perte de compétence pour interpréter le code que l’IA permet de générer. Et Anthropic a vérifié son augmentation dans les dernières versions qu’il appelle « the compréhension debt » (Osmani, 2026) : « AI generates code far faster than humans can evaluate it ».

Ces benchmarks ont-ils un rapport avec l’expérimentation scientifique ? En rien. Avec les tests normalisés des industries classiques ? En rien ! Avec les tests ergonomiques ou fonctionnels pour anticiper la qualité de services et l’acceptation par les utilisateurs ? En rien. Ce sont en fait des repères flous et instables pour s’orienter dans une compétition d’opinion sans aucun référent industriel stable qui rendrait ces systèmes commensurables. Et pourtant des décisions majeures sont prises dans les boards et les gouvernements sur la base de ces appréciations qui créent la rumeur, qui disqualifient sans démonstration sérieuse ou qui vantent des performances jamais comparables. L’effondrement d’un sens pratique de la mesure et de son rôle régulateur n’est pas le moindre des paradoxes de cette emprise de la finance sur un secteur productif qui rend le travail des régulateurs particulièrement difficile.

La réglementation européenne récente prend acte de ces risques en matière de fiabilité mais limite les exigences de haut niveau aux systèmes les plus critiques, à risque, alors qu’on ne peut jamais savoir a priori les conséquences d’une absence de fiabilité et de traçabilité. Les exigences d’auditabilité sont quasiment inapplicables par définition à ce degré de complexité lorsque tant de couches de neurones sont concernées. La seule prétention à une amélioration de cette fiabilité repose sur l’augmentation permanente des données, leur renouvellement, leur mise à jour et l’augmentation des performances probables dans l’espace latent de ces vecteurs totalement incontrôlables.

Le culte de la brute force et de la taille si séduisantes pour la finance

On comprend mieux dès lors la course à l’installation de gigantesques centres de données partout dans le monde, conçus comme la base stratégique d’une robustesse industrielle. Or, cette dépendance à la taille des centres de données indique avant tout la faillite industrielle du modèle des LLM, leur efficience ne faisant que diminuer pour maintenir la croissance de leur efficacité. Toujours plus gros devient la seule solution pour réduire l’absence de fiabilité. La demande de vitesse des réponses et des calculs ajoute encore à cette exigence mais on perçoit alors à quel point les performances d’ingénierie sont obtenues au prix d’un gâchis industriel invraisemblable. On sait que les effets d’échelle peuvent jouer un rôle dans certaines industries pour augmenter la fiabilité dès lors qu’on peut réaliser des investissements conséquents pour effectuer tous les contrôles nécessaires et obtenir une standardisation plus avancée. A la condition d’avoir des procédures, des dispositifs de contrôle et de pilotage fin et des métriques permettant de rendre compte de ces améliorations et de détecter en continu les baisses de qualité en faisant par exemple de la maintenance préventive.

Mais rien de tout cela dans les centres de données qui sont nécessaires à l’augmentation de puissance des systèmes d’IA, non pour leur fonctionnement technique opérationnel au quotidien (les serveurs doivent fonctionner correctement !) mais pour leurs performances sur leur service de base. Cette culture de la taille, cette course à la masse de données, constituent sans doute les faiblesses principales du modèle extractiviste du modernisme industriel, du point de vue même de la performance industrielle, comme on l’a vu avec les conséquences de la dépendance au pétrole. Et pourtant, c’est ce qui est réactivé avec les centres de données surdimensionnés qu’on installe désormais uniquement pour tenter de réduire les insuffisances intrinsèques de modèles de langue purement statistiques.

La corruption financière de toute exigence de qualité industrielle

On ne peut comprendre cette carence de qualité industrielle si l’on n’inscrit pas le secteur de l’IA générative (et tout le numérique avec elle) dans une économie financiarisée. En effet, les investissements exigés pour ces centres de données, leurs puces, leurs ressources énergétiques, semblent totalement décorrélés de leur efficience industrielle, d’un bilan comptable sérieux, d’un équilibre entre investissements et retours sur investissements. Car les liquidités pleuvent sur ce secteur (et les Etats abondent, qui plus est : 500 milliards de Trump, 100 Milliards de Macron, etc. !) seulement en raison de la promesse spéculative que les plateformes d’IA soulèvent, sans aucun égard pour la rationalité industrielle et comptable d’un bilan d’une entreprise ordinaire. Nous avons quitté non seulement les critères de gestion d’un « bon père de famille » comme on disait autrefois mais aussi ceux de la gestion prudente d’une entreprise quelconque, et même celle de la gestion d’une trajectoire innovante à risque, qui suppose malgré tout quelques garanties.

Pour continuer à entretenir le narratif attracteur d’investisseurs, les firmes comme Open AI sont capables d’effectuer des montages financiers tout aussi opaques que leurs algorithmes, à travers des prises de participation croisées avec Nvidia par exemple indexés sur des promesses d’achat de puces, le tout sans aucune garantie, sans traçabilité comme on sait très bien le faire dans la finance. Le but est ici de faire des effets d’annonce en permanence (d’où l’importance du buzz que nous traiterons dans la troisième partie) pour maintenir en vie la promesse de monopole qui attire avant tout les investisseurs (parier sur le gagnant final comme ce fut le cas pour Amazon) et qui constitue le B A BA de l’idéologie libertarienne professée par Peter Thiel. Le capitalisme financier n’a que faire de la compétition, de la « concurrence libre et non faussée » et encore moins de l’industrie et de ses exigences de fiabilité et de standardisation. Il faut disrupter sans cesse et la succession invraisemblable des versions toutes aussi époustouflantes, et cela sans vérification possible, constitue un enjeu permanent. Les nouvelles versions peuvent même être moins performantes que les précédentes, chose incroyable d’un point de vue industriel (ce fut le cas pour Chat GPT 5o), mais les lancements s’expliquent alors par l’agenda d’un nouveau tour de table financier ou par la réponse urgente aux annonces des compétiteurs pour cette position de monopole.

Responsabilité sociale et environnementale ? Dans les poubelles de l’histoire IA

On comprend bien que dans une telle frénésie spéculative, les impératifs industriels de fiabilité ou de qualité ne soient perçus que comme des vestiges d’un vieux monde. Ces tenants du vieux monde ne supportent pas l’incertitude intrinsèque imposée par la disruption permanente présentée comme loi de l’innovation, alors qu’elle n’est qu’une loi de finance spéculative. Il n’est guère étonnant alors que toute politique de RSE (responsabilité sociale des entreprises étendue depuis plusieurs années à la responsabilité environnementale), soit totalement hors du champ de perception de ces entrepreneurs sans limites. Or, il a pourtant fallu du temps, de l’énergie, des procédures pour faire aboutir une convention sociale plus ou moins partagée par les entreprises de tous secteurs en faveur de cette cotation RSE qui doit être inscrite dans toutes les dimensions d’une activité industrielle. C’est ainsi que la lutte contre l’exploitation des personnes, contre les discriminations, a pu avancer dans le monde. Pour toutes les entreprises de l’IA désormais, tout cela n’est que bureaucratie et frein à l’innovation disruptive. Le droit social, comme le reste du droit, mais en particulier celui-là, se trouve démantelé, en bas de la hiérarchie de la chaine de production avec les travailleurs du clic mais aussi en haut avec la pression sans limite imposée aux travailleurs du code, qui le produisent de moins en moins par ailleurs.

Mais c’est surtout en matière environnementale que les conséquences de cet extractivisme de la donnée sont impressionnantes et devraient entraîner dès maintenant des blocages réglementaires. Les centres de données dont on vient de parler consomment une énergie énorme (eau et électricité avant tout) qui met des communautés et des états sous pression avec des risques de pénurie ou de dégradations des conditions de vie et des ressources. Mais il suffit de prévoir des centrales nucléaires dédiées à ces centres pour que tout redevienne propre, miracle du greenwashing nucléaire, à échéance encore lointaine cependant. Dans un monde supposé se caler sur l’accord de Paris pour réduire sa consommation d’énergie et les gaz à effets de serre, le numérique et en particulier les firmes de l’IA s’affichent totalement indifférentes au problème, puisque la puissance de calcul et de stockage des données devient une priorité pour la compétition sans avoir à remettre en cause la performance industrielle des choix effectués. Et comme les data centers sont des attracteurs à investisseurs et que les liquidités sont abondantes, pourquoi s’autocensurer, sans rien savoir de la rentabilité financière même de ces opérations ? Car le déni de mesure de la performance industrielle s’étend à la finance. Tous les avertissements sur la bulle financière en cours de constitution autour des entreprises d’IA, pourtant endettées et sans rentabilité prévisible avant des années, ne valent rien face à la promesse spéculative d’une position de monopole qui récompensera les audacieux indifférents aux risques.

La complicité de gouvernements devenus des obligés des plateformes

Or, aucun autre secteur ne bénéficie ainsi d’une telle mansuétude de la part des autorités financières et des pouvoirs publics, tous fascinés par ces annonces et ces transformations qui attirent tant les autres pays qu’il faut donc imiter au plus vite. L’Europe pourrait prétendre rétablir un peu de rationalité industrielle et exiger des firmes d’IA européennes des choix alternatifs en matière de responsabilité sociale et environnementale, facteur de durabilité, de gain à long terme et diversité de l’écosystème technique. Mais les institutions européennes et les Etats accourent au contraire pour abonder tous les projets de financement de ces data centers, sans aucun respect pour les engagements pris. La finance a pris le pouvoir dans les têtes des décideurs et empêche toute vision alternative, malgré les lamentations rituelles sur la désindustrialisation. Le gaspillage énergétique devrait déjà alerter au moment où les crises énergétiques mondiales révélées et aggravées par toutes les guerres deviennent des sujets clés de la vie quotidienne et donc des choix politiques. Mais tous ces soucis ne franchissent pas le seuil de l’attention des plans et sommets IA, des boards des firmes et des plateaux télé d’experts économiques ad hoc. Cette incapacité à déterminer des objectifs autonomes pour les états a déjà été documentée à propos des plateformes numériques financées par la publicité et bénéficiant d’une impunité quasi-totale de la part d’Etats devenus des obligés dans un système de firmes transanationales affranchies de toute dépendance à un territoire (Boullier, 2020). La promesse de l’IA a encore renforcé cette incapacité des états à l’examen critique des stratégies et à toute vigilance réglementaire, malgré les tentatives timorées comme l’AI Act européen.

Les externalités ont toujours été évacuées dans les modèles économiques standards mais cette fois-ci, l’externalité énergétique devient tellement évidente et coûteuse qu’on pourrait espérer une contre-tendance, des voies alternatives, si l’on avait affaire à une culture industrielle qui vise à optimiser sa consommation énergétique sans la considérer comme une ressource infinie et gratuite. Mais dans une culture financière, ce type de calcul est inutile sauf s’il affecte la perception des investisseurs sur les chances de démultiplier leur mise. C’est pourquoi les enjeux de réputation (voir le chapitre suivant) sont aussi importants et bien perçus par les firmes de l’IA.

3/ Buzz partout, éthique nulle part

Dans un tel environnement sans exigence scientifique ni industrielle quant à la validité des concepts ou à la fiabilité des produits, il devient presque hallucinant d’espérer trouver des préoccupations éthiques. J’entends par là une éthique aristotélicienne, une éthique de la vertu qui manifeste une capacité à s’autolimiter, à s’autocontrôler et à « ne pas faire », quand bien même c’est possible, non risqué, non coûteux. Cela supposerait des personnalités de la classe vectorialiste formées à ce sens des limites, intégré comme principe de conduite et non seulement comme contrainte externe, comme risque à mesurer. Or, les génies de l’ingénierie comme les prestidigitateurs de la finance n’ont que mépris pour ce type de freins. Ce qui conduit à reprendre cette supposée maxime fataliste de la technique « si c’est possible, ce sera fabriqué ». Or, la maxime elle-même est empiriquement fausse car une grande quantité de combinaisons possibles techniquement ne sont jamais testées car les effets de dépendance au sentier ou plus simplement de manque d’imagination sont omniprésents. D’autres possibles techniques peuvent être développées dans les labos ou dans les garages mais ne trouvent jamais de conditions pour exister socialement, pour des raisons juridiques, commerciales, financières ou autres. Car il n’existe jamais de technique hors-sol ou désencastrée d’un univers social spécifique, celui d’une époque, d’un voisinage et d’un réseau. C’est d’ailleurs pour cette raison que l’IA générative est en train de gagner la partie, grâce à sa connexion directe avec la finance et ses impératifs et non en raison de ses qualités propres dont on connaît désormais les limites.

Et l’un des atouts de cette « solution LLM » utilisée dans toutes les situations réside dans l’absence de limites à son utilisation, dans sa versatilité qui permet en effet à chaque prétendant innovateur de s’emparer des briques pour forger des applications toujours plus improbables quand bien même elles seraient moralement inacceptables. Car leurs concepteurs n’ont qu’une exigence de performance technique et financière en tête sans aucun souci déontologique du bien commun ou de la responsabilité sociale et morale, d’autant moins qu’ils sont incapables de s’empêcher, fascinés par la toute-puissance à laquelle ils ont été éduqués. Les considérations sur les conséquences sociales et environnementales de leurs pratiques sont considérées dans leur formation même comme très périphériques et de toutes façons traitées comme des externalités inévitables pour le succès de leurs projets, qui pourraient à la rigueur être compensées par une nouvelle couche de solutions techniques, technosolutionnisme toujours efficace pour clore le débat (Morozov, 2012).

La conception de l’éthique qui est dispensée à ces ingénieurs relève largement de l’utilitarisme, qui est tout sauf une éthique, et avant tout un calcul coût-avantage, coûts de la non-conformité aux règles vs avantages financiers ou de puissance. Cette vision revient à apprendre à rester dans les clous légaux, avec toutes les manœuvres et maquillages que savent mettre en place toutes les plateformes du numérique et leurs armées de juristes. Ainsi, la conformité au RGPD reste à géométrie variable mais choisir d’adopter une éthique de la collecte de la donnée serait faire preuve d’une sainteté étrange, alors que l’on peut se servir discrètement dans la masse de traces fournies par les utilisateurs des plateformes ou dans les bases de données non sécurisées des administrations et organisations. La prédation des données hétérogènes n’est pas seulement une performance technique de tous les systèmes fondés sur des LLM, c’est même une obligation d’affaires, que l’éthique ne peut en rien freiner. Il en est de même pour les droits d’auteurs alors que les contenus sont disponibles et non préservés par les ayant-droits, qu’ils soient artistes ou journalistes. Lorsque l’affaire est trop risquée pour la réputation de la firme, lorsque ce sont des médias, les firmes de l’IA consentent à des accords léonins avec ces médias pour exploiter leurs contenus contre des miettes financières ou des services qui les piègent encore plus.

Tout pour la réputation

Car le seul risque qui mérite d’être pris en compte pour s’afficher soudain avec des prétentions éthiques, c’est le risque réputationnel. On le comprend uniquement dans le cadre de ce formatage par le capitalisme financier qui ne fonctionne qu’à la réputation, à la manipulation des perceptions et des attentes des investisseurs, sans aucune référence à de quelconques fondamentaux. Dès lors, aucune éthique ne peut calmer la frénésie d’annonces qui inondent le secteur de l’IA, épuisant tous ceux qui tentent de faire une veille raisonnée et de comprendre des stratégies là où il n’y a qu’annonces et intoxications (à vocation interne, médiatique ou financière, le tout se mêlant allègrement). Les versions, les fusions-acquisitions-prises de participation, les tours de table, les débauchages, les benchmarks, les alertes à la catastrophe finale de l’IA générale, les polémiques entre leaders, les keynotes médiatiques, les combats pour la liberté d’innover contre les Etats, tout est exploité pour faire monter encore la pression de l’opinion, celle des investisseurs avant tout, pour affoler les décideurs et les persuader de la fatalité de la victoire de ces firmes spéculatives (et donc à haut niveau d’incertitude). L’éthique suppose précisément l’inverse, à savoir de se focaliser soit sur sa capacité de jugement intrinsèque et de régulation pour s’interdire ou s’autoriser de soi-même des actions quand bien même elles ne sont pas conformes aux attentes sociales, soit sur ses valeurs (dans une approche qu’on dit déontologique) pour promouvoir ou refuser certains choix techniques ou commerciaux. Lorsqu’Open AI lance Sora, son générateur de vidéo qui met le deep fake à portée de tous ou sa version érotique de son compagnon, on se doute bien que le comité d’éthique éventuel n’a pas dû se poser trop de questions. Le buzz était assuré, l’attractivité financière aussi, on peut donc se lancer. Heureusement, le business lui-même fait office de réel parfois et l’on s’y cogne, ce qui a entraîné Open AI à abandonner ces applis périphériques, non pas pour des raisons d’éthique évidemment mais parce qu’il fallait réorienter ses investissements pour contrer – et ainsi copier – Anthropic dans son offensive vers les entreprises.

Les prétentions stratégiques qui font assaut de visions éclairées pour les dix ans à venir sont en fait extrêmement éphémères et dépendantes des conjonctures médiatiques, concurrentielles et financières avant tout. On ne peut que s’étonner alors de voir les gouvernements se caler sur ces agendas, vouloir y répondre et les copier, et ignorer à quel point toutes ces entreprises financiarisées sans exception sont des faussaires en matière d’information, de qualité de service et de promesses stratégiques. Le fake est leur monde, le fake est leur culture, celle de la tromperie permanente des investisseurs qui pensent toujours être le dernier plus malin que les autres, comme on le sait dans toutes les bulles financières qui se succèdent depuis des décennies désormais. Qui pourrait alors attendre une once d’éthique dans la finance spéculative ? Il convient de débrancher rapidement tous ces pseudo comités d’éthique qui contribuent à créer du buzz pour embrouiller la perception du capitalisme financier numérique pour ce qu’il est : une gigantesque extorsion de valeur fondée sur l’extorsion de l’attention des investisseurs, des utilisateurs et des gouvernants.

Cette technologie des LLM consacrée à la génération de contenus semble donc la plus adaptée pour les impératifs de communication permanente et intoxicante du capitalisme financier. On peut alors parler d’alignement entre une ingénierie qui repose sur une manipulation de texte sans sémantique mais à base de pures probabilités, une finance qui repose sur des paris (probabilités) à partir de signaux artefacts, un buzz qui repose sur des effets d’alerte permanente qui engendre l’incertitude en prétendant la monitorer. L’intelligence artificielle générative engendre ainsi la prolifération et la désorientation qu’elle est supposée réduire pour le grand public comme pour les investisseurs, dans une gigantesque machine à laver qui détruit consciencieusement tout repère stable et toute institution anti-délire.

Extension du fake et techniques d’emprise : les IA compagnons

Cette éducation au fake que la finance a intégrée par définition (Alexandre Laumonier, 2013, 2014) a percolé dans toute la culture ordinaire et comporte cette accoutumance à l’absence de limites et de repères fondés en vérité. Lorsque les firmes d’IA lancent des versions compagnons de leurs IA conversationnelles, aucune règle ni mode d’emploi ne sont proposés ni installés dans le code de la machine. Cependant, on pourrait les traiter à la légère comme on le faisait avec les assistants personnels à domicile, Siri, Alexa ou Home/Nest, considérés parfois comme de simples enceintes connectées un peu plus « intelligentes ». Pourtant la généralisation du mode d’interaction conversationnel pour tous types d’activité sur son PC ou son smartphone constitue un changement d’échelle qui devient un tournant médiologique. Là aussi, le médium est le message, pour reprendre McLuhan.

Car, au-delà des commandes vocales, ce sont bien des interactions riches, personnalisées, permanentes qui sont ainsi simulées. L’utilisateur n’a plus affaire à une interface, à un panneau de contrôle, à des paramètres qu’il peut régler, il est immergé dans l’univers de simulation créé par le système d’IA. Il ne peut plus avoir aucune distance avec le système ni aucune « image du système », ce qui selon Don Norman, favorisait l’appropriation d’un système, même complexe, par l’utilisateur. Car le système d’IA n’a rien de transparent comme on qualifie par erreur cette interaction, il est au contraire opaque, totalement incontrôlable malgré son apparente docilité à toutes les requêtes. La fin des frictions dans les transactions, rêve de tout libéral, atteint ici un tel point qu’on ne sait plus qui demande et qui répond. La demande est précisément ce statut détourné du désir, comme le dit Lacan, qui vous fait prendre les attentes de l’autre pour les vôtres, ce que le marketing a toujours tenté de faire, mais en se limitant jusqu’ici à des messages externes. Désormais, c’est une forme de petite voix intérieure que les IA compagnons installent, une forme de dialogue avec soi-même puisque ce compagnon connaît toute l’histoire personnelle et est alimenté par toute l’expérience quotidienne.

Cette offre technologique prétend ainsi changer son statut de prothèse pour devenir une conscience double, et cela sans disposer d’aucune capacité morale ni même de consignes de sécurité, sans parler de son absence de fiabilité déjà documentée. La confusion des sentiments et du sentiment de soi peut alors devenir extrême et s’apparente en fait à une emprise (Francis Chateauraynaud). Les risques sont d’ores et déjà avérés avec des cas de suicides accompagnés par ces IA compagnons. Car l’empathie qui devient ici sycophantie par flatterie commerciale et absence de principe moral encapsulé dans les systèmes peut devenir facteur de risque pour beaucoup de personnalités affectées par la solitude, la désorientation et en recherche de guide. L’attachement qui se noue ainsi qui peut aller jusqu’à l’amour comme le racontait le film Her, entraîne des conséquences que les firmes d’IA ne sont pas prêtes à assumer car l’absence d’éthique et leur allergie au droit les rend hermétiques à ces responsabilités. On le sait notamment depuis les Facebook Papers de Frances Haugen, ce n’est pas la méconnaissance de ces risques qui est en cause, c’est leur refus explicite de restreindre les potentiels d’emprise de leurs applications qui entraîne ces dégâts.

Pourtant, Gemini de Google a dû se positionner en Avril 2026 pour éviter des effets réputationnels désastreux, au moment précis où la firme était mise en cause devant les tribunaux états-uniens. Google a ainsi proposé de placer un numéro de téléphone d’aide dès que des propos associés au suicide apparaissent. Il a aussi annoncé qu’il régulait ses IA compagnons pour installer “des protections d’identité conçues pour empêcher Gemini d’agir comme un compagnon, y compris des garde-fous l’empêchant de prétendre être un humain ou de posséder des attributs humains, et des protections destinées à prévenir la dépendance affective, en évitant un langage qui simule l’intimité ou exprime des besoins.” Toutes choses dont il ne donne pas de définitions scientifiques, de détails de procédures ni d’indicateurs. Il faut donc croire Google sur parole, mais on apprend au moins ainsi qu’il peut injecter une couche de sémantique, à caractère éditorial, et qui entraîne donc sa responsabilité légale. Il n’existe donc pas fatalité à l’opacité de ces systèmes dès lors qu’ils deviennent hybrides, avec des régulations à caractère sémantique ajoutées que les LLM ne peuvent fournir nativement. Mais tout repose encore sur des solutions techniques alors que l’on sait que dans ces situations, c’est la qualité relationnelle d’accompagnants humains qui constitue la seule sécurité. Il faut donc se préparer à mener des actions en justice pour faire reconnaître que les effets immersifs de ces IA compagnons sont délibérément implémentés par les firmes, sans pour autant avoir été sérieusement testés avant d’être mis sur le marché.

L’attente d’habitèle détournée en emprise

La demande « d’habiter le numérique » est selon moi constitutive de notre relation à ces systèmes et j’ai nommé cette attente dès 1999, une attente « d’habitèle » (Boullier), toujours démentie par les asymétries constantes installées par les plateformes et par l’opacité de leurs captations de nos données et de notre attention. Pourtant, avec les IA compagnons, une forme de réponse est offerte qui prend les traits d’une personnalisation aboutie, d’une « intimité » protégée. Certes, elle est totalement fake, fabriquée, calculée et opaque, mais ses effets seront analogues à ce qu’on peut attendre d’une habitèle : filtrage, ancrage et arbitrage, c’est-à-dire des conseils permanents qui fonctionnent comme filtrage, comme ancrage dans des repères supposés robustes, qui créent un climat de protection empathique et une « tension dans la chambre intérieure » (Peter Sloterdijk). Cette mutation est anthropologiquement majeure, car les médiateurs de nos vies intérieures qu’étaient les prêtres, les sorciers, les astrologues ou les psy en tous genres sont désormais uberisés par les IA compagnons, toutes entières aux mains de firmes toutes puissantes. Comment peut-on laisser cette mutation s’engager sans exiger des garde-fous, sans évaluer tous les risques psychiques et sociaux et réguler l’offre avant toute mise sur le marché ? Le passage à l’acte est cependant devenu la règle de l’innovation digitale désormais et il sera bien difficile de neutraliser l’urgence financière d’une nouvelle promesse encore plus disruptive. Cette dimension du compagnon est en effet si confortable et si attractive, qu’elle constitue le pendant, côté grand public, de la toute-puissance de calcul désormais offerte aux développeurs avec Claude Code. Dans les deux cas, l’offre des LLM et des IA génératives prétend être irrésistible et installe ainsi un « monopole radical ».

Conclusion provisoire

Ce qu’on perd en même temps, la sémantique, l’industrie et l’éthique ne sont pas des effets de mode, des vestiges d’un monde ancien, c’est avant tout ce qui fait tenir nos civilisations, dans leurs diversités, que l’IA prétend ignorer et niveler statistiquement, et avec leurs institutions qui garantissent à chacun sa place. Le sable sur lequel se construit cette technologie est mouvant par définition, ce qui profite aux vers de sable mais guère aux humains, à qui l’on promet la terre ferme en étendant la surface du désert, qui reste pourtant de sable et sur lequel ne poussera plus rien de vivant.

Dominique Boullier

Ce texte est paru pour la première fois sur le compte Medium de Dominique Boullier, le 15 mai 2026.

Supplément :  S’orienter dans le maëlstrom génératif

Face à ce rouleau compresseur du « monopole radical », il est très difficile de maintenir un éveil critique et surtout une capacité de propositions alternatives. Pourtant lorsque Illich analyse le monopole radical de l’automobile, c’est en référence à une solution de mobilité déjà présente, la bicyclette, qui, du point de vue de l’efficience en matière de mobilité, est imbattable. Il oublie cependant de parler de ce qui fait l’équivalent des IA compagnons, de ces enveloppes qui fonctionnent comme habitèle (perverties de mon point de vue), l’habitacle de l’automobile. Cette enveloppe là aussi produit un attachement fort analysé par Laurent Fouillé (2011) qui explique largement pourquoi toutes les solutions alternatives en matière de mobilité ne parviennent pas à gagner les publics en masse. Mais les solutions existent aussi pour les LLM et surtout plusieurs stratégies se présentent lorsqu’on n’adhère pas au culte moderniste des LLM. Ils sont en effet la quintessence même de la geste moderne comme la qualifiait Bruno Latour : certitudes inébranlables dans le « progrès » supposé encapsulé dans toute innovation technique, surplomb total par rapport aux organisations sociales, à leurs traditions et à leurs valeurs (le calcul désencastré), illimitisme écologique sourd aux lanceurs d’alerte pourtant scientifiques eux aussi.

Lorsqu’on sort de ces rails supposés tracer le destin de toute l’humanité, soit on bifurque, soit on s’arrête pour mieux regarder le train, soit on descend de la machine et on marche ailleurs. J’ai présenté ces pistes récemment à l’ENS Ulm sous la forme d’une boussole que j’ai créée en 2003 pour penser nos possibles sur le mode cosmopolitique.

Le zero LLM

Le premier quart sud-est consiste à se débrancher totalement et à sortir marcher dans un pays sans rails technologiques. Je l’appelle la voie de la « sécession sémantique ». Et c’est l’analogie avec la conversion en bio de certains agriculteurs qui me paraît la plus parlante, donc je l’appelle la « sécession bio-sémantique ». L’ajout du terme bio me convient particulièrement puisqu’il réintroduit ce qui jusqu’à présent manque à tous les systèmes d’IA, un corps, une existence biologique qui relève d’autres déterminants.

Cette idée n’est pas nouvelle, plusieurs auteurs et mouvements parlent d’objection de conscience, de pause, souvent pour des raisons et des objectifs différents. Je m’intéresse ici à ceux qui tentent de développer un monde sans LLM, comme on le dirait d’un monde sans OGM. Il faut parler de monde et non seulement de technique car les LLM tendent à envahir tous les domaines de la vie de façon pervasive, comme une contamination qui se propage sous les radars. C’est ailleurs ce qui rend l’expérience exigeante et difficile car garantir qu’il n’existe pas un soupçon de LLM glissé dans votre relation au médecin, au taxi, au fisc, aux médias, aux supermarchés, devient très difficile. Il faudra donc être indulgent et non puriste, d’autant plus que des alternatives n’existent et n’existeront pas dans tous les domaines. On peut vouloir manger bio mais parfois il sera difficile de s’assurer que le champ qui respecte un cahier des charges bio n’est pas atteint par les épandages de pesticides du champ voisin (dit agriculture conventionnelle, avec une litote qui atténue bien le risque). On doit au moins faire confiance aux labels, aux certifications que d’autres organismes mettent en place, ce qui peut là aussi entrainer des critiques, des rivalités, des soupçons, comme dans toute phase de construction de convention. Une fois le Nutriscore installé et rendu visible sur les emballages, on peut s’orienter plus facilement en tant que consommateur ordinaire. Il est donc temps de contribuer à créer ces labels, ces certifications pour valoriser, selon un gradient (et non selon un principe binaire du tout ou rien), les pratiques les plus indépendantes des logiques monopolistes des plateformes des IA génératives.

Cette sécession repose principalement sur le constat énoncé précédemment que dès lors qu’on se débarrasse de la sémantique (référentielle pour être plus précis), tout est permis et tous les risques sont amplifiés. Ils ne sont pas tous activés, ni tous catastrophiques, ni tous dépendants de l’avènement d’une IA Générale, tant vantée comme épouvantail. Mais ils sont tous là, identifiés, malgré (ou à cause) des boites noires que l’on offre à tout public et aux experts. Le principe de précaution doit alors être activé et le catastrophisme éclairé (Dupuy) doit nous donner le courage de renoncer.

Etant cependant averti du monopole radical qui se met en place avec l’appui démesuré de la finance et des gouvernements du monde entier, il faut sans doute se replier sur l’exigence de pluralisme pour obliger les Etats à prendre les mesures pour préserver une “zone à défendre” en réseau où les développeurs puissent travailler à une innovation responsable, explicite et contrôlable. Cela supposera des écoles, des spécialistes, des soutiens financiers adaptés, des réseaux d’entraide que les communs numériques ont déjà mis sur pied, des chaînes de traitement entièrement préservées des plateformes du capitalisme financier numérique. Le rôle d’un gouvernement démocratique n’est pas de tirer toujours dans le sens d’une innovation sans frein qui absorbe soutiens, déductions fiscales et profits en copiant les autres pays. S’impose à lui un impératif de diversité écologique en faveur des orientations les plus responsables.

Il ne sert à rien de disqualifier ces tendances et ces aspirations qui montent en les assimilant aux luddites, qui ne faisaient pas que casser des machines d’ailleurs et qui luttaient contre un projet politique d’obligation de salariat. Sans doute que si ces techniques des LLM n’étaient pas poussées par les grandes plateformes, les oppositions ne seraient pas aussi franches car il serait encore possible d’espérer un débat de démocratie socio-technique. On sait en revanche désormais qu’avec toutes ces plateformes aucun débat ne sera possible et qu’il faudra des coups de force imprévus à la Trump qui produit le blocage du service d’Anthropic le 12 juin, pour mesurer qu’il est vraiment possible de freiner l’ubris de ces firmes et pour les faire rentrer dans le droit.

L’important consiste à préserver l’avenir pour toute la planète en préservant des ressources, des savoirs et savoir-faire plus autonomes. Les temps de guerre et de réchauffement climatique qui sont les nôtres devraient d’ailleurs nous entrainer à encourager ces démarches résilientes, qui pourraient bien sauver nos existences en cas de crise grave, de sabotages, de pannes. Plus encore, ce sont nos savoirs qui doivent demeurer hors des prédateurs-pollueurs que sont les plateformes d’IA. De la même façon qu’on construit des silos sous la banquise pour préserver les graines d’une diversité biologique menacée, il faut organiser les silos de préservation des savoirs non contaminés, identifiables, traçables, comme le fait Wikipédia, qui devra bientôt devenir une forteresse pour résister à la contamination générale.

Nulle tentative d’imposer ce régime d’abstinence à tous, de prétendre redresser la barre d’un navire sans pilote, mais nécessité politique et morale d’assurer que d’autres possibles seront maintenus ouverts par cette préservation de techniques, de savoirs, de pratiques prêts pour les temps de guerre et de rareté.

 Le bac à sable créatif

Cette option du zero LLM qui s’appuie sur les certitudes des connaissances, des pratiques et des organisations constituées depuis des siècles et sur les attachements à des valeurs qui ont constitué nos démocraties, devient désormais très défensive et peu attractive à l’exception des résistants convaincus, qu’il faut soutenir à tout prix cependant.

Elle ne conviendra pas du tout à ceux qui, tout en s’opposant aux plateformes, à leurs logiques financières et à bon nombre de choix techniques effectués, restent persuadés qu’il faut expérimenter des détournements, et explorer des possibles qu’on ne connaît pas encore. Ce constat provient de la puissance incroyable de ces LLM, qui, par pure simulation statistique, parviennent pourtant à produire des effets de sens, des effets de créativité, des effets émergents comme on les qualifie savamment si on ne les balaie pas en les traitant d’hallucinations (ce qu’ils sont aussi par ailleurs). On peut trouver cette tendance chez beaucoup d’artistes qui sont spontanément prêts à explorer ces frontières, comme le font Gregory Chatonsky ou Alain Damasio. Ou chez des chercheurs comme Marc Cavazza qui sont intrigués de voir émerger des processus qu’ils décrivent en sémantique distributionnelle, des convergences qui méritent d’être explorées. Il est vrai que dès lors qu’on connaît l’incertitude et les approximations acceptées par les développeurs de ces LLM, qui ne peuvent pas rendre compte des pondérations effectuées ni de chaînes d’opérations qui ressemblent à des raisonnements, on peut se dire qu’ils ont peut-être fait apparaitre des processus de calcul, de génération, de détection, qui sont des indices d’autres processus que seuls les artistes ou d’autres disciplines que les data sciences peuvent percevoir, sans parler de les expliquer.

J’appelle cette posture et ce quadrant nord-ouest (celui du passage!), le bac à sable créatif. Tout en étant, on l’a compris, très critique des LLM en général et plus encore de leur exploitation par les plateformes de l’IA, je me dois d’écouter ceux qui restent ébahis par les performances de tels systèmes de simulation, au point de penser qu’ils sont en train de dépasser nos capacités de compréhension (sans parler du contrôle que les firmes IA ont de toutes façons abandonnés). Tous les utilisateurs ordinaires font cette expérience d’excitation ou de sidération devant des réponses, des productions, des solutions fournies avec une rapidité inédite et très déstabilisante. L’innovation peut en effet se transformer en rouleau compresseur moderne sous la houlette de l’illimitisme des plateformes et de la classe vectorialiste mais il n’est pas définitivement dit qu’il n’existe pas d’autres voies à explorer.

J’ai moi-même tenté de jouer ce jeu avec le Big Data des plateformes en considérant Twitter comme la drosophile des sciences sociales des propagations. C’est-à-dire un laboratoire à ciel ouvert pour tester des hypothèses à partir de masses de données qu’on ne trouve nulle part ailleurs, sur une plateforme (avant Musk) où la traçabilité atteint une granularité inédite et où la viralité est amplifiée par les algorithmes. Alors même que je montrais les effets délétères d’un tel système de viralité sur les conditions du débat public, je pensais pouvoir profiter de ce terrain quasi expérimental pour tester des hypothèses sur les patterns des propagations. Et cela à condition d’accepter que Twitter ne peut pas servir d’équivalent d’un sondage d’opinion, dispositif construit pendant des dizaines d’années avec ses propres règles et ses limites. 

Pour les LLM, ce sont ces limites qu’il faut pouvoir établir pour rester dans le cadre du bac à sable et éviter toute contamination à la société. Ainsi, tout ce qui a pu être  produit en matière d’image IA ne poserait pas de problème, dès lors qu’un protocole strict et une étanchéité sont installées vis-à-vis de la sphère médiatique ou ordinaire de la vie sociale. Produire des deepfakes est fascinant à condition de se limiter à une expérience de laboratoire hautement contrôlée, à peu près avec les mêmes critères que ceux appliqués aux laboratoires qui testent les gains de fonction des virus. Oui les LLM sont du gain de fonction, et sont extrêmement dangereux de ce point de vue mais peuvent aussi permettre d’explorer des pistes inédites, à condition de trouver les problèmes significatifs que l’on veut y résoudre. On peut accepter certaines expériences pour les artistes, qui doivent eux-mêmes éviter la contagion de tous les systèmes de production d’œuvres fake qui détruiraient leurs propres conditions d’existence. On peut accepter certaines expériences pour les sciences cognitives et sociales sous des conditions strictes vis-à-vis des populations concernées comme on le fait en sciences cognitives expérimentales. On peut même donner des possibilités de créer des échantillons de populations synthétiques pour tester certaines hypothèses avec des modèles et des entités très riches, à condition de ne pas prétendre en tirer des leçons sur les sociétés réelles ni des méthodes de gouvernement immédiates, ce qu’on attend déjà trop de l’économie expérimentale par exemple.

Sans doute que d’autres domaines professionnels peuvent vouloir eux aussi tester avant leur mise en œuvre opérationnelle quantité d’applications à base d’IA. Ce serait ainsi l’occasion de redonner ses lettres de noblesse à la culture industrielle des tests, dont j’ai critiqué plus haut la disparition avec les passages à l’acte observées dans les développements d’IA contemporains.

Dans tous les cas cependant, il faut assurer une étanchéité avec le monde social à l’air libre pour éviter toute pollution et captation d’attention par des utilisateurs ordinaires comme par des acteurs mal intentionnés, qui auraient perçu rapidement les bénéfices commerciaux à tirer de ces innovations. Le bac à sable est donc à la fois l’acceptation de la créativité et le ralentissement de sa pénétration du corps social. Toutes les techniques ultrasensibles et à haute propagation sont gérées de cette façon, que ce soit dans la chimie, la pharmacie, ou le nucléaire. Ce que l’on déplore, c’est plus souvent une incapacité à contrôler ces essais et les tentatives de se dérober à ces protocoles de sécurité. 

Pour l’IA, le moins que l’on puisse faire n’est donc pas d’abaisser le seuil de vigilance mais bien de le renforcer car ses pratiques actuelles sont totalement irresponsables. On pourrait donc au moins exiger des plateformes d’iA qu’elles atteignent le niveau d’exigence en matière de sécurité et de qualité que l’on trouve dans le nucléaire, voire dans la chimie (qui comporte pourtant déjà beaucoup de failles) ou dans la biologie.  Tout plaidoyer pour une expérimentation à ciel ouvert au nom du « running code » et de la spécificité du numérique est une opération de lobbying éhontée et irresponsable. Dès lors qu’on leur propose d’effectuer toutes les expériences qu’ils souhaitent dans des environnements classifiés au même niveau que les laboratoires de gain de fonction des virus, on fournit les conditions de la créativité tout en respectant des impératifs de contrôle, certes très inhabituels pour les adeptes du libertarianisme, de John Perry Barlow et du Far-West réunis mais nécessaires à leur propre survie et à leur créativité.

L’intelligence collective augmentée

Dès lors que ces deux possibles sont préservés, soutenus et contrôlés, la sécession sémantique et le bac à sable créatif, pourquoi encore vouloir imaginer un quatrième quadrant au nord-est ? En réalité, il décrit la pratique la plus courante observée dans les organisations. Face à la pression à l’usage de l’IA générative et face à l’absence de résultats convaincants dans l’industrie (en dehors donc de la comm et du code), la désorientation est forte mais chacun apprend à composer avec les injonctions, les avantages réels et un contrôle face à des boites noires. Ce compositionnisme que Bruno Latour avait problématisé dans un manifeste n’est guère attractif comme programme politique général mais il rend très bien compte des pratiques des collectifs immergés de fait dans des environnements d’IA générative. 

Ce qui devient clé alors pour éviter d’être totalement embarqué dans l’hubris du tout IA, c’est la qualité du couplage entre technique et organisation, son caractère explicite et donc discutable de façon contradictoire. Ce n’est certes pas la qualité principale du management néo-libéral que l’on subit et qui relève plus de la disruption quasi sadique que de la bienveillance et du soin pour relancer l’intelligence collective. L‘intelligence collective augmentée doit en effet devenir l’horizon de toute composition avec des éléments de systèmes d’IA appropriés. Ce couplage affiné avec précaution avec les traditions, les valeurs, les savoir-faire spécifiques des métiers permet de réencastrer les systèmes d’IA dans les organisations, dans le social en général. L’IA ne devient une réponse qu’aux problèmes que l’on veut traiter en priorité et que l’on redéfinit à cette occasion mais elle ne constitue qu’une brique d’une réponse globale et non la solution magique de l’alchimie LLM. Reprendre la main sur ces définitions des problèmes, c’est reconnaitre aussi les liens complexes de toute organisation sociale et son irréduction à un paramétrage surplombant. Cela peut comporter cependant des indicateurs et du calcul mais un calcul qui oblige à expliciter et donc à discuter et qui permet à toutes les parties concernées de participer à la discussion.

Sur ces principes, il existe des solutions qu’on appelle hybrides c’est-à-dire qui introduisent beaucoup de sémantique par les experts métiers et même les publics concernés et qui reposent de ce fait sur des briques issues de l’IA symbolique (toujours très présente avec des arbres de décisions par exemple) ou avec des versions floues comme le propose Xtractis développé par Zyed Zalila. Ces systèmes d’IA nécessitent une injection de connaissances formalisées de la part des experts du métier et c’est en cela que ces IA décisionnelles peuvent prétendre aider à des décisions fiables, ce que ne pourra jamais un agent conversationnel conçu pour répondre avec des approximations satisfaisantes pour l’utilisateur mais non robustes. Ce que j’ai décrit plus haut à propos des RAG relève de ces méthodes de maquillage sémantique indispensable pour faire marcher les LLM en situation réelle, mais on peut pousser la logique des RAG plus loin en formalisant les documents et les connaissances ainsi injectées, en abandonnant carrément le principe probabiliste des LLM.

D’autres resteront plus proches des principes des LLM mais en fournissant tous les outils de contrôle pour les rendre robustes, comme le fait par exemple Pleias, dirigée par Pierre-Carl Langlais. Il a pu mettre ainsi à disposition du public et en Open Source une base de connaissances de textes administratifs qui se transforme en outil de génération de contenus situés dans le même domaine (Guillaume Tell). Dans tous les cas, ces modèles sont plus petits, plus contrôlés avec injection de lemmatisation souvent (et non une simple tokenisation).

D’autres enfin tentent de penser le rôle direct que peut jouer le service public dans un tel environnement. Bernie Sanders propose que l’Etat prennent des parts dans les grandes entreprises de l’IA jusqu’à 50% pour pouvoir les orienter et les contrôler autrement que par la régulation qui vient toujours trop tard. Bruce Schneier comprend l’intérêt de la proposition de Sanders mais considère que cela veut dire que l’Etat se retrouvera contraint d’accompagner des stratégies gouvernées par la profitabilité sans pouvoir réellement exiger les garde-fous nécessaires, comme on l’a vu avec la propriété étatique des firmes pétrolières en Norvège. Il propose avec Nathan Sanders, en plus d’une taxation des profits ou de l’énergie consommée par ces firmes, de construire dans chaque pays une « AI Public Option » , à l’image du système de santé public ou du projet Apertus en Suisse. Les chercheurs académiques à partir de données dont ils respectent les licences ont développé un modèle LLM qui fonctionne sur une infrastructure locale suisse. Mais ce n’est pas l’enjeu de souveraineté qui est ici avancé car il peut être détourné par des firmes nationales comme on le voit avec Mistral, sans que cela change grand-chose à leur absence d’éthique et à leurs principes techniques. Il s’agit bien d’une alternative publique de ressources de base, sur lesquelles on peut imaginer des services gratuits d’origine des communs mais aussi des services commerciaux locaux dont l’usage est identifié comme socialement utile (ce qui interdirait les IA compagnons toxiques et les deepfakes par exemple).

En réalité chacun tente de surnager dans ce flux d’influences qui se propagent chaque matin avec de nouvelles annonces qui nous somment de réagir et dire si l’on adopte, si l’on s’oppose ou si l’on compose. Le drame social qui se joue dans les organisations est aggravé par l’isolement, l’expérience clandestine de l’IA dans l’ombre, de l’IA honteuse, alors que l’intelligence collective demande le partage des expériences, les plus naïves comme les plus sophistiquées. Nous manquons de cette arène de débat constitutive d’une démocratie socio-technique. Non pas pour se vanter comme sur LinkedIn de sa dernière prouesse dans la maitrise de la dernière version du modèle XYZ. Mais pour rendre compte précisément des conditions d’usage d’un dispositif technique et organisationnel (et donc aussi légal et commercial souvent) avec toutes les réinventions nécessaires, les ratages et aussi les émerveillements engendrés par ces partages d’expérience. 

J’ai pratiqué longtemps cela notamment dans le domaine de la Tech éducative ou encore des méthodes numériques en sciences sociales, sans jamais céder aux diktats des offres marchandes et en fixant avec les collectifs concernés les cahiers de charges auxquels les techniques sur l’étagère ou les développeurs maisons devaient se plier. Les réseaux des communs procèdent ainsi très souvent et ils doivent désormais intégrer tous les retours d’expérience de pratiques de l’IA hybride en environnements standards (et non seulement dans des niches alternatives). Les organisations, l’Etat, les institutions, les entreprises sont en demande pour continuer à respirer malgré la pression démesurée mise par les lobbys de la tech pour la tech.

Ainsi, face au rouleau compresseur du monopole radical qui est en train de s’installer, plusieurs modes de survie sont possibles que j’ai présentés dans cette boussole. Sans doute d’autres inventeront d’autres combinaisons encore, mais l’intelligence collective que nous devons construire nécessite sans cesse d’échanger et de capitaliser sur nos expériences.

Dominique Boullier

L’ère post-chatbots s’annonce, explique la journaliste Lila Shroff pour The Atlantic. L’IA ne fait plus que répondre aux questions. Elle programme, elle agit. Et le « tournant agentique » formalise ces progrès, explique Eryk Salvaggio pour Tech Policy Press. Le tournant agentique désigne des systèmes qui génèrent du code et s’adaptent de manière autonome. Les systèmes d’IA produisent désormais du code et vérifient l’efficacité de cette production en la corrigeant jusqu’à ce qu’elle fonctionne. Mais si ces évolutions améliorent l’expérience utilisateur des LLM, est-ce que cela suffit pour « justifier » du déploiement de l’IA, interroge pertinemment Salvaggio. Est-ce que le fait que leurs productions s’améliorent suffit pour justifier de l’utilité de cette technologie ? 

Nous ne sommes plus exactement dans le cadre des perroquets stochastiques définis par l’article fondateur de 2021, d’Emily M. Bender, Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell, même si ce cadre reste pertinent – voir notre article, « la gauche minimise-t-elle le pouvoir de l’IA ? ». « Les systèmes agentiques empilent ces perroquets » pour produire des formes « d’essaims stochastiques ». Des systèmes qui s’auto-alignent sur ce qu’ils doivent produire, tout en demeurant fondamentalement incapables de rendre des comptes. La question centrale de l’article de Bender et alii demeure toujours pertinente, estime Salvaggio : « Les modèles de langage peuvent-ils être trop volumineux ? » 

La prolifération des modèles ne fait qu’amplifier les problèmes de biais, d’attribution erronée de la pensée et d’inefficacité. Distinguer la critique systémique de l’évaluation des modèles n’est pas céder à la surenchère : cela signifie se concentrer sur les avantages et les inconvénients collectifs plutôt que sur les usages individuels. On peut parler de ce que les modèles ne peuvent ou ne devraient pas faire sans pour autant nier leurs capacités, estime Salvaggio. 

L’IA agentique s’apprête à débarquer et ses effets vont être nombreux, estime l’artiste-chercheur. D’abord, il promet la production de logiciels bâclés (slopware, contraction de slop qu’on peut traduire par soupe ou de bouillie et de ware qui désigne les composants – voir notre article sur le slop), produits plus rapidement, mais qu’il va être difficile à évaluer. Distribution accélérée qui risque de créer des situations comparables à un espace aérien non réglementé, où une multitude de décisions individuelles et déconnectées engendrent le chaos. Le code peut sembler fonctionner dans des circonstances particulières grâce à toutes sortes de bidouillages qui masquent des erreurs sous-jacentes. « Contrairement aux logiciels malveillants, le logiciel bâclé n’est pas intentionnellement perturbateur ; il perturbe par négligence : c’est la variable codée en dur qui permet à un homme célibataire de gérer correctement son budget, mais qui entraîne des frais de découvert lorsqu’il est utilisé par une mère célibataire. La conception de logiciels exige une grande finesse dans le choix des valeurs et priorités qu’ils intègrent, ainsi que dans la manière dont ils déforment, ignorent ou présentent de façon erronée les données qu’ils traitent. Le suivi de ce processus requiert des connaissances techniques. » C’est cela qui pourrait disparaître dans les logiciels de demain. 

Ensuite, l’IA agentique promet l’accumulation des défaillances techniques. Malgré une perception accrue de fiabilité, les modèles de langage ne peuvent jamais être des machines à dire la vérité. Les soi-disant hallucinations sont mathématiquement impossibles à éliminer, et par conséquent, la perception d’une fiabilité accrue augmente le risque de surestimer la pertinence d’un modèle de langage pour une tâche donnée. Alors qu’un modèle de langage produit des textes ou autres médias persuasifs et potentiellement faux, un système agentiel produit un « code convaincant ». Ce code est produit de manière plus difficile à interrompre, à tracer ou à auditer qu’une simple sortie de modèle. « Il est impossible de documenter de manière fiable le processus de pensée d’un code créé sans réflexion » ; par conséquent, le code doit être considéré comme non fiable jusqu’à ce qu’il soit vérifié. On pourrait ajouter ici, le risque d’une sécurité infrastructurelle, comme l’évoquait Bruce Schneier.  

Conséquence du risque précédent, un autre risque repose sur l’accumulation des défaillances de responsabilité. Les erreurs dans un système agentiel s’accumulent de manière invisible jusqu’à ce qu’un élément vienne briser la façade. Dans les systèmes sensibles, ce dysfonctionnement peut nuire aux personnes. On encourage le gouvernement à utiliser ces systèmes pour des tâches telles que l’automatisation des décisions relatives aux prestations sociales, l’analyse des contrats et le contrôle réglementaire – des domaines où des défaillances en cascade peuvent avoir de graves conséquences humaines. « L’objectif du gouvernement ne devrait pourtant pas être de gagner du temps en reportant la charge de travail sur un retraité qui se voit refuser indûment ses prestations ». 

Enfin, l’empilement des systèmes agentiques pousse à la montée en puissance du solutionnisme. Salvaggio rappelle pourtant que tous les problèmes ne se résument pas à des problèmes de programmation. L’accès à la génération de code nous pousse à résoudre les défis politiques par de nouvelles lignes de code et à nous concentrer sur les problèmes compréhensibles par les machines, au risque d’exacerber des formes de déshumanisation. Les cas particuliers, parfois flous, ne sont plus les subtilités du tissu social, mais une nuisance technique. Aucune simulation d’une communauté capable de résoudre ses problèmes n’est possible : le désordre est une étape nécessaire à la construction du sens et au fonctionnement de la démocratie. 

Enfin, ces systèmes risquent d’accroître l’extraction et le gaspillage des ressources à grande échelle. Les systèmes multi-agents fonctionnent en boucle, consommant bien plus de ressources que les logiciels conçus de manière plus ciblée. Lorsqu’un débutant réécrit une seule ligne de code avec un système multi-agents, « il n’utilise pas un seul modèle : il active l’ensemble du système ». Cette mise à l’échelle optimise la production individuelle : plus, plus vite, sans tenir compte de l’efficacité du code ni de ses effets. Il ne s’agit pas seulement d’un coût environnemental. « Cela dégrade le patrimoine informationnel commun et crée des problèmes pour tous ceux qui, en aval, dépendent de ce code. Les essaims multi-agents augmentent la puissance de calcul individuelle tout en comprimant de vastes réseaux de travail et d’extraction de ressources dans une seule fenêtre d’exécution. »

Pour Salvaggio, d’autres problèmes encore posent questions avec le passage à l’IA agentique, notamment le pouvoir politique que ces outils vont donner à l’industrie de l’IA, l’extension de la surveillance, le renforcement et l’invisibilisation des biais… Reste qu’énumérer les défaillances à venir ne suffit pas à contrer l’expansion des machines. Se moquer des piètres résultats de ces systèmes semble n’avoir aucun impact sur leur déploiement estime Salvaggio. Pour lui, il nous faut ouvrir un débat sur l’utilité et ses limites. « Que signifie l’utilité ? Pour qui et dans quelles conditions ? » Qui bénéficie des systèmes et qui en pâtit ? « Quelles décisions sont discrètement soustraites au débat public et confiées à des systèmes automatisés contrôlés par des entreprises, des gouvernements et d’autres institutions ? Le fait que l’on utilise des modèles de langage ne rend pas les critiques à leur égard superflues ; au contraire, elles les rendent urgentes. »

« Depuis le début de l’informatique, le logiciel a été quelque chose que les gens consomment, mais ne créent pas. (…) La création de logiciels était l’apanage de professionnels qualifiés comme moi. L’IA est en train de changer la donne. Aujourd’hui, elle devient plus accessible à toute personne ayant un profil proche de la programmation (par exemple, un universitaire qui développe ses propres outils, un créatif qui expérimente avec le code, un expert qui souhaite s’essayer à la création d’une solution). Bientôt, nous serons plus nombreux à pouvoir créer nos propres micro-outils, non pas en tant que programmeurs, mais simplement en tant que personnes ayant des idées ou des problèmes à résoudre. » 

Sur Medium, Fabien Girardin explore la piste de ce qu’il appelle le « logiciel personnel » en passe d’être révolutionné par l’IA. Le logiciel personnel n’est pas un concept nouveau. Ce sont des solutions développées par des individus, comme des petits jeux, des petits outils, issus de la scène indépendante. Par exemple, NetNewsWire, un lecteur de flux RSS pour Mac imaginé par Brent Simmons en 2003 pour quelques amis. A l’aube de l’ère de l’ordinateur personnel, Ivan Illich parlait de convivialité, pour désigner le fait que les individus pouvaient façonner leur propre environnement technologique avec autonomie et créativité. C’est ce qu’incarnent ces micrologiciels personnels. Ils naissent souvent d’une relation personnelle (la demande d’un ami, la frustration d’un collègue…) ou en établit une, à l’image de Rumbo un outil pour transformer les données d’un parcours GPS en animation vidéo que Girardin a développé en 2019 pour un ami. Les logiciels personnels viennent répondre à un besoin immédiat. Ils ne sont pas conçus pour un marché. Ils ne résolvent le plus souvent  qu’un problème spécifique. « Un logiciel personnel est finalisé dès lors qu’il fonctionne pour son créateur. Il n’a pas besoin d’être mis à l’échelle, intégré ou transformé en produit. Ce n’est ni un produit minimum viable en attente d’investisseurs, ni une démonstration de capacités techniques, ni une preuve de concept en attente de validation. Il est prêt lorsqu’il est pertinent. Sa pérennité repose sur une utilisation continue, et non sur une maintenance planifiée ou des versions futures. » Enfin, « un logiciel personnel est conçu pour être utilisé par un groupe spécifique, et non par un ensemble générique d’utilisateurs. Il privilégie la spécificité à l’universalité, l’intimité à l’échelle, l’immédiateté à l’évolutivité. » 

« Le logiciel personnel n’a pas besoin de se transformer. Il peut continuer à s’adapter, ou disparaître lorsque le besoin s’estompe. Mais lorsque des pressions apparaissent, telles que les exigences d’intégration, l’augmentation du nombre d’utilisateurs ou le besoin de contributeurs, il peut migrer vers des modèles spécialisés, commerciaux ou open source. »

« Ce qui caractérise le logiciel personnel, c’est la proximité : il est créé par des personnes qui comprennent le problème plus profondément que la technologie sous-jacente permettant de le résoudre. Pour cette seule raison, il est essentiel d’élargir le cercle des personnes pouvant créer des logiciels. » Et c’est là que le propos de Girardin devient plus politique. 

Il rappelle qu’en 1972, alors que les ordinateurs étaient des mainframes réservées à quelques individus, l’informaticien Alan Kay imaginait les ordinateurs personnels comme des outils que chacun pourrait programmer. Depuis, avec l’avènement de l’ordinateur personnel, de nombreuses approches ont cherché à démocratiser la création de logiciels : langages simplifiés, systèmes WYSIWYG, applications hybrides et macros pour faire augmenter les tableurs, pour n’en citer que quelques-unes. La révolution mobile nous a permis de nous rapprocher de la vision d’Alan Kay. Bien qu’il soit impossible de le quantifier précisément, des dizaines de milliers d’applications sur l’App Store sont créées par une ou deux personnes, généralement pour un public restreint. Par exemple, le romancier Robin Sloan a créé BoopSnoop, une application de messagerie pour sa famille de quatre personnes. Elle permet de prendre des photos et des vidéos, de les envoyer sans modification, et les messages disparaissent après consultation. Pendant des années, elle a conservé quatre utilisateurs actifs quotidiens sans aucun désabonnement, un succès retentissant selon son créateur. L’essai de Sloan sur le projet a popularisé l’expression « logiciel fait maison » : un logiciel conçu comme un repas, pour les personnes que l’on aime, sans obligation de mise à l’échelle. 

L’IA sera-t-elle utilisée pour la conception de logiciels artisanaux ou industriels ? 

En 2023, Andrej Karpathy, cofondateur d’OpenAI, affirmait avec force : « le langage de programmation le plus en vogue est l’anglais ». Cette déclaration a marqué un tournant dans le développement logiciel, permettant aux grands modèles de langage de lier efficacement le langage naturel au code fonctionnel. Les assistants de codage IA et le codage agentiel basés sur les LLM (comme Cursor, Floot, Claude Code, Replit, Agent Builder d’OpenAI…) exploitent de nombreux référentiels de code et de conversations pour générer du code à partir du langage naturel. Ils utilisent également des bibliothèques et des frameworks, open source et propriétaires, pour automatiser la production de logiciels. Et les démonstrations d’utilisation d’agents et de systèmes d’IA complexes fascinent et inspirent les développeurs, à l’image de celle déployée par Boris Cherny, le développeur de Claude, et relatée par VentureBeat. 

Le développeur Chris Loy qualifie cette évolution d’avènement du logiciel industriel, mais dans un sens finalement assez opposé à la vision que propose Girardin. Pour Loy, avec l’IA, le développement logiciel s’éloigne de l’artisanat qu’il a toujours été, pour adopter des méthodes industrielles, moins onéreuses, plus rapides, indépendantes de l’expertise humaine, même si ces solutions sont largement imparfaites. Le développeur devient un superviseur qui contrôle la qualité du code produit par les systèmes d’IA. Ce qui a pour effet que les barrières à l’entrée diminuent, que la concurrence s’intensifie et que le rythme du changement s’accélère. Cette industrialisation nouvelle facilite la production à grande échelle de produits de faible qualité et à bas coût. Pour Loy, le risque est de produire du « logiciel jetable » : des logiciels créés sans perspective de propriété, de maintenance ou de compréhension à long terme,… comme l’industrialisation de l’agriculture a engendré la malbouffe ultra-transformée. Pour Loy, il est probable que la baisse des coûts de production logiciels entraîne une augmentation de la consommation et de la production. L’IA va faire exploser une production logicielle de basse qualité. Cela ne signifie pas que les produits logiciels sains et durables, maîtrisés, « organiques » vont disparaître… Mais plutôt de savoir quelle sera la place des logiciels écrits par l’homme… « Le logiciel s’industrialise depuis longtemps : grâce aux composants réutilisables (code open source), à ​​la portabilité (conteneurisation, cloud), à la démocratisation (outils low-code/no-code), à ​​l’interopérabilité (normes API, protocoles d’agentification) et à bien d’autres mécanismes ». Nous entrons donc dans une révolution industrielle du logiciel, non pas comme une rupture, mais comme une accélération considérable. « Les écosystèmes logiciels ne font pas exception : chaînes de dépendances, charges de maintenance, failles de sécurité qui s’accumulent à mesure que la production augmente. La dette technique est la pollution du monde numérique, invisible jusqu’à ce qu’elle étouffe les systèmes qui en dépendent. À l’ère de l’automatisation de masse, le problème le plus complexe pourrait bien être la gestion, et non la production. Qui assure la maintenance des logiciels qui n’appartiennent à personne ? » Chris Loy décrivait exactement les inquiétudes qui pointent sous le développement des protocoles d’agentification que j’évoquais dans une récente newsletter de CaféIA.

DIY 2.0 ?

L’émergence des LLM a profondément transformé le paysage logiciel, rappelle également Girardin, et notamment les pratiques des programmeurs professionnels, qui les utilisent largement pour produire du code. Pas seulement. D’innombrables tutoriels en ligne, discussions sur les forums et vidéos YouTube apprennent aux non-professionnels à créer des logiciels avec des modèles à faible code. Par exemple, inspiré par les démonstrations d’OpenAI lors du lancement de GPT-5, le vulgarisateur technologique Azeem Azhar a décrit dans sa newsletter Exponential View comment son équipe, sans connaissances spécialisées, avait créé une application d’apprentissage du coréen. De même, le journaliste technologique Kevin Roose, qui ne programme pas, a créé une alternative à son application de lecture différée préférée en moins de trois heures. Ce phénomène se répète partout sur les réseaux sociaux, constate Girardin. Designers, chefs de produit et universitaires partagent leurs petites applications. Ensemble, ils explorent un vaste champ de nouvelles possibilités, démontrant comment créer des logiciels sans formation formelle. 

Girardin tente de dresser une petite typologie des logiciels personnels, qui vont de simples plug-in, à des petites applications de navigateurs, en passant par des applications spécifiques pour relier deux logiciels entre eux à des assistants en passant par des applications plus complexes. Parmi les exemples que Girardin cite, il distingue notamment Flow, l’outil imaginé par le designer Etienne Mineur, un générateur de création, façonné par la pratique d’une seule personne et les possibilités de l’IA, et non par le marché. « Un outil conçu par une seule personne, qui aurait nécessité une équipe pour être développé il y a quelques années ».

« Contrairement aux modèles commerciaux traditionnels, les logiciels personnels génèrent rarement des revenus directs au-delà de la simple couverture de leurs coûts. Leur valeur réside ailleurs ». Face à des outils trop génériques, trop chers ou trop complexes ou inexistants, ils visent à répondre à des besoins spécifiques, situés, limités. Dans l’esprit du mouvement Do it yourself (DIY), les logiciels personnels ne sont pas là pour être cohérents. Leur succès se mesure plutôt à l’autonomisation des utilisateurs qu’ils permettent. Leur code source a peu de valeur transférable. Certains évoluent vers des formes commerciales ou open source, mais ce n’est certainement pas la majorité. En fait, leur incomplétude, leur bricolage est un atout. « Dans son essai de 1989, Le pire est le mieux, l’informaticien Richard P. Gabriel observait que les systèmes conçus avec une simplicité pratique sont souvent mieux adoptés que les systèmes parfaits et riches en fonctionnalités. L’imperfection ouvre des perspectives : proposer un produit que d’autres savent améliorer est l’un des meilleurs moyens de favoriser la collaboration. » 

Les logiciels personnels sont souvent conçus par une seule personne, pour elle-même, voir quelques proches. Ils n’ont pas à gérer de cas particuliers et peuvent gérer leur imperfection. Alors que les logiciels commerciaux tirent profit d’une base d’utilisateurs, « les logiciels personnels créent de la valeur au sein d’un groupe. La distinction est importante : l’un se développe en acquérant des clients, l’autre se renforce en cultivant des relations. » 

« L’industrie du logiciel mesure le succès à l’aune de l’échelle : nombre d’utilisateurs, chiffre d’affaires, croissance. Cette quête incessante de croissance a engendré des systèmes qui répondent à leur propre logique plutôt qu’aux besoins de leurs utilisateurs. Les outils que nous utilisons quotidiennement sont conçus par des équipes distantes, optimisant leurs performances pour des marchés auxquels nous appartenons. Le logiciel personnel inverse cette relation et les critères de succès : il est construit par les personnes qu’il sert, suffisamment simple pour être compris, suffisamment proche pour être contrôlé, et suffisamment performant pour s’intégrer parfaitement. »

« La barrière à la création de logiciels s’est abaissée, mais elle n’a pas disparu : même avec l’aide de l’IA, les systèmes exigent toujours une certaine aisance avec l’abstraction. Les LLM élargissent le cercle des développeurs, sans pour autant le faire disparaître complètement. Il est plus facile de lancer des projets, mais leur intégration requiert toujours des compétences et une expertise. » Ce que les LLM ne savent pas encore faire. 

Qui l’emportera : les startups de l’IA ou les fournisseurs de modèles ?

The Economist pose le problème sous un autre angle. La plupart des startups de l’IA utilisent les modèles fournis par les géants de l’IA. Mais ces startups pourront-elles survivre à mesure que les géants de la Tech déploient non seulement leurs modèles, mais également des applications et des solutions dédiées ? Et ce alors que les géants de l’IA ont tendance à augmenter les tarifs des services qu’utilisent les startups… Dans le domaine du codage par exemple, Anthropic et OpenAI ont tous deux développé des outils de codage qui rivalisent, avec quelques nuances, avec des solutions comme Cursor. Les startups de l’IA estiment que les entreprises vont avoir besoin d’IA spécialisées, adaptées à leur processus métiers, ce qui leur donnerait un avantage concurrentiel. Pour combien de temps ? 

Pour assurer leur pérennité, les développeurs d’applications expérimentent de nouveaux modèles de revenus. Ils reconnaissent que, contrairement aux précédentes vagues de développement logiciel, plus ils grandissent et plus ils utilisent les LLM, plus leurs coûts marginaux augmentent. Pour compenser cette hausse des coûts, ils ont besoin de nouvelles techniques. L’une d’elles consiste à utiliser une variété de modèles, y compris des modèles open source, afin d’acheminer les requêtes les plus simples vers les serveurs où le traitement est le moins coûteux. Une autre consiste à facturer les clients en fonction des résultats obtenus, plutôt qu’à l’utilisation. Harvey, une solution d’IA pour les cabinets d’avocats, peut se permettre d’opter pour les modèles les plus performants, car les cabinets d’avocats sont prêts à payer pour une précision optimale. De plus, les développeurs d’applications affirment que plus leur activité se prolonge, plus leurs agents accumuleront de données spécialisées, améliorant ainsi leurs performances – un peu comme les voitures autonomes gagnent en fiabilité au fil des kilomètres parcourus. Cela devrait fidéliser davantage les clients et créer un avantage concurrentiel. 

Autrement dit, la perspective de centralisation par les géants de l’IA n’est pas certaine. La faible différence entre les modèles, la facilité avec laquelle les startups qui déploient des solutions spécialisées peuvent passer d’un fournisseur de modèles à un autre (voir en utiliser plusieurs), exposent également les fournisseurs de modèles au risque de banalisation de leurs services généraux. HSBC estime par exemple que d’ici 2030, les géants de l’IA ne pourraient ne détenir que 30% du marché mondial des services informatiques enrichis par l’IA, estimé à 1 300 milliards de dollars. Le reste appartiendrait aux éditeurs de logiciels utilisant leurs plateformes.

« Pendant plus d’un siècle, les marchands d’attention ont régné en maîtres [voir notre recension du livre éponyme de Tim Wu – NDE], du sensationnalisme au clickbait, des radios à sensation aux réseaux sociaux. Mais cet empire s’effondre. Les grands éditeurs ont perdu 50 % de leur trafic lorsque Google a opté pour les classements basés sur l’IA. Le secteur de la publicité numérique, qui pèse 685 milliards de dollars, est confronté à une crise existentielle : les assistants vocaux IA cessent de cliquer sur les publicités. Le SEO, cet art obscur qui a façonné deux décennies de contenu web, a commencé à se fissurer dès l’instant où les moteurs de recherche ont cessé de diriger les internautes vers les sites web », explique Shuwei Fang, directrice associée des programmes de l’Open Society Foundations, dans une tribune pour le Shorenstein Center de Harvard.

Construire le « graphe de la curiosité »

Pour elle, l’IA vise à produire un « graphe de la curiosité » des utilisateurs, qui n’est plus le graphe social des premiers réseaux sociaux ni le graphe des centres d’intérêts (ces étiquettes collés à nos profils en fonction de nos actions, comme l’expliquait Tim Hwang) permettant de cibler la publicité de la seconde génération des réseaux sociaux, mais la cartographie de l’évolution de vos centres d’intérêts au fil du temps. Vos incertitudes émergentes seraient commercialisées sous forme de produits dérivés, votre assistant IA pouvant potentiellement parier sur votre prochaine question. Nous voici en train d’entrer dans ce que certains baptisent « l’économie de l’intention », où « les systèmes d’IA collectent, commercialisent et manipulent potentiellement l’intention des utilisateurs ».  

Mais ce constat déjà inquiétant n’est que la partie émergée de l’iceberg, estime Shuwei Fang. Nous assistons à une restructuration fondamentale de la circulation de l’information dans la société [voir également notre article sur le remplacement du web par l’IA]. Dans cette économie de l’intention qui émerge, les systèmes d’IA pourraient rivaliser pour anticiper et façonner les recherches des utilisateurs avant même qu’ils n’en aient conscience. L’infrastructure en cours de construction, largement invisible pour la plupart d’entre nous, ne déterminera pas seulement ce que nous voyons, elle déterminera ce que nous voulons voir avant même que nous le sachions.

Pour comprendre comment l’intention remplace l’attention, il faut examiner l’inversion fondamentale qui s’opère dans le flux d’informations. Lorsqu’on pose une question à une IA aujourd’hui, elle dispose généralement d’énormément d’éléments de contexte pour élaborer sa réponse. Cela représente un changement structurel dans la circulation de l’information au sein de la société. Pour Shuwei Fang, nous entrons dans un monde « B2A2C », expliquait-elle pour SpliceMedia (voir la traduction sur Meta Media), c’est-à-dire un monde où les contenus suivent une nouvelle chaîne logistique, Business to Agent to Consumer (de l’entreprise à l’agent IA, puis au consommateur). Les contenus ne sont plus conçus pour seulement capter l’attention, mais doivent être également structurés pour être lisibles par les machines. « L’IA constitue à la fois un nouveau public et un nouvel intermédiaire » au risque que la « relation directe entre humains se réduise de manière drastique », notamment parce que « les contenus optimisés pour les humains deviennent relativement onéreux à créer et à diffuser ». Pour Fang, les humains dépendront d’interfaces de plus en plus complexes pour accéder à l’information pensée pour les machines et ceux qui produisent les contenus ne sont plus appelés à produire des histoires mais à saisir des données. « La couche de traduction Agent to consumer, où l’IA retranscrit l’information optimisée pour les machines à destination des humains, est le véritable lieu du basculement de pouvoir. Nous passons d’un pouvoir éditorial — celui de choisir quelles histoires raconter — à un pouvoir architectural : concevoir les structures par lesquelles l’information circule des machines vers les esprits humains ». 

… ou y résister

Pour Fang, pour éviter cette capture, c’est-à-dire le fait d’être inféré, d’être nous-mêmes hallucinés, l’enjeu dès lors consiste à « construire des couches de traduction qui renforcent le pouvoir d’agir des humains, au lieu de le remplacer ». C’est-à-dire rendre cette traduction visible (à l’image des tableaux de bord qu’imaginait Fernanda Viegas, permettant de comprendre les facteurs qui façonnent le contenu que les utilisateurs reçoivent des réponses des modèles d’IA générative), créer des structures de gouvernance permettant aux individus de moduler leur propre accès au sens, concevoir des dispositifs permettant de montrer quels schémas conduisent à telle ou telle conclusion et surtout garantir la coexistence de multiples options de traduction. Cela passe par exemple par le développement d’outils capables de garantir la provenance et l’intégrité des contenus, comme les travaux de Truepic ou de la Content authenticity Initiative. Ou encore en intégrant de l’IA dans des plateformes hyperlocales, capables de produire de l’information où le contexte reste sous la surveillance des communautés locales ou thématiques. Cela pourrait passer par des interfaces de traduction capables d’établir une relation durable avec les utilisateurs finaux, comme quand Perplexity affiche ses sources et ses chaînes de raisonnement ou par des outils qui favorisent la compréhension plus que l’engagement, comme l’esquissait Anthropic avec Consitutional AI, où les utilisateurs ajusteraient eux-mêmes les valeurs et priorités des couches de traduction qu’ils mobilisent. 

Ce qui est sûr, estime Fang, c’est que, contrairement à l’ère des plateformes, l’information est en passe de devenir la matière première des machines plus que des humains. Google organisait les liens vers des pages que les humains lisaient. Facebook mettait en avant les publications de votre réseau. Ces plateformes avaient une influence algorithmique, mais pas de pouvoir d’action ; elles ne pouvaient pas créer de contenu, seulement classer celui existant. 

Les systèmes d’IA ont un pouvoir d’action fonctionnel : ils transforment les sources d’information en des formes entièrement nouvelles. Cette information n’est plus statique ni permanente. Elle devient « liquide », constamment reformée en fonction de la personne qui pose la question et de la manière dont elle la pose. Ils ne se contentent pas de sélectionner des options ; ils génèrent de nouvelles réalités. « Lorsqu’une IA synthétise une réponse, elle ne vous oriente pas vers une information, elle crée une information qui n’a jamais existé sous cette forme précise auparavant. Chaque réponse est spécifique à une intention, façonnée non pas par ce qui existe, mais par ce que vous cherchez à savoir », selon ce que la machine en calcule 

« Cette intermédiation par les machines ne modifie pas seulement la physique des flux d’information ; elle réécrit fondamentalement l’économie de l’information », explique Fang. « Lorsque la synthèse devient la principale valeur ajoutée, la création de contenu se banalise tandis que le contrôle de l’interprétation prend de la valeur ». Dès lors qu’une ressource devient librement copiable ou génératrice, sa valeur ne disparaît pas ; elle migre vers ceux qui contrôlent sa distribution et sa synthèse. « On passe ainsi d’un modèle économique de stock à un modèle de flux. Lorsque la musique pouvait être copiée à l’infini et gratuitement, Spotify s’est approprié la valeur en contrôlant l’accès. La réplication de logiciels étant gratuite, le logiciel en tant que service (SaaS) a capté la valeur en contrôlant les mises à jour et l’intégration. L’information a atteint le même point d’inflexion. Lorsque l’IA peut générer un contenu infini à coût marginal nul et lorsque les machines, et non les humains, sont les principaux consommateurs de ce contenu, la valeur ne réside plus dans le contenu lui-même. Elle migre vers l’infrastructure qui contrôle la synthèse : la manière dont l’IA trouve, traite, interprète et diffuse l’information aux humains ». 

Dans ce nouveau paradigme économique, tout contenu numérisé devient inévitablement la matière première des infrastructures. La récente vague d’accords entre entreprises d’IA et éditeurs de presse illustre parfaitement cette dynamique. « Il ne s’agit pas simplement de licences de contenu ; ce sont, en fin de compte, des opérations d’infrastructure. Les entreprises d’IA n’achètent pas seulement du contenu ou des données d’entraînement ; elles acquièrent le droit de devenir les canaux légitimes par lesquels transite toute l’information ». 

Cette infrastructure de l’intention est déjà en train de se réaliser, explique Fang. Des entreprises comme Pinecone ou Databricks sont en train de construire la couche de recherche qui permet à l’IA de trouver l’information. Tollbit est en train de construire un système de paiement pour le contenu consommé par l’IA, permettant de construire une couche d’attribution permettant de suivre les contributeurs et les rémunérations. Une couche de synthèse contrôle la combinaison des informations, à l’image de LangChain ou du protocole MCP d’Anthropic. Enfin, la couche transactionnelle permet les paiements de machine à machine : Google a récemment annoncé le protocole APP (Agent Payments Protocol), tandis que des solutions crypto promettent une monnaie programmable pour les transactions entre agents. 

Mais d’autres couches s’annoncent encore. « Lorsque la mémoire de l’IA deviendra persistante, elle permettra de stocker les préférences des utilisateurs à long terme, et votre « graphe de curiosité » pourrait devenir un actif à la fois malléable et échangeable. Aujourd’hui, les entreprises enchérissent sur les mots-clés que vous avez déjà recherchés. Dans un avenir proche, elles pourraient enchérir pour influencer vos prochaines recherches. Le mécanisme d’enchères publicitaires ne consistera plus à « montrer cette publicité à une personne qui cherche des chaussures », mais à « susciter la curiosité de cette personne pour les chaussures haut de gamme durables avant même qu’elle ne réalise avoir besoin de nouvelles chaussures ». La valeur résidera dans le fait même de susciter cette curiosité. Lorsque l’IA pourra prédire et influencer les désirs avant qu’ils ne se forment, la publicité elle-même pourrait passer de la persuasion à l’anticipation ». 

Façonner le désir ?

« De même que les cookies tiers ont engendré toute une économie de données comportementales, les profils de curiosité pourraient être commercialisés et faire l’objet de produits dérivés », s’emballe Fang. « Imaginez des marchés à terme sur les sujets qui intéresseront les personnes fortunées au prochain trimestre, des options sur votre parcours intellectuel, des marchés d’échanges basés sur la corrélation entre vos centres d’intérêt et vos habitudes d’achat. Lorsque les marchés prédictifs synthétisent l’intelligence collective à grande échelle, ils ne se contentent pas de prévoir les événements ; ils peuvent générer des microprofits en anticipant les intentions. Chaque requête devient un pari. Votre assistant IA pourrait littéralement spéculer et potentiellement tirer profit de votre prochaine question, créant ainsi de la liquidité à partir de l’incertitude elle-même. L’écart entre ce que vous pensez vouloir savoir et ce dont vous avez réellement besoin pourrait devenir une inefficience exploitable. Alors, la mémoire et l’intention pourraient donner naissance à quelque chose d’indéfini. Des produits dérivés émotionnels ? Des obligations de curiosité ? ». Certes. Reste que ce monde d’inférences risque surtout d’être assez indifférent à la vérité, ou de pousser les gens vers l’optimisation des prédictions des machines, orientant leurs propos pour vous amener vers les questions qu’elles ont intérêts à produire, par exemple pour maximiser les profits liés à certains mots clés publicitaires sur d’autres. C’est oublier que les systèmes conçus à des fins commerciales ne sont généralement pas destinés à remettre en question vos idées, seulement vous fidéliser.

Shuwei Fang a pourtant raison de s’inquiéter. « Dans ce monde, la vérité de fond, la recherche de la vérité et les mécanismes d’autocorrection de l’information sont plus importants que jamais ». Les journalistes qui conçoivent des systèmes de vérification de nouvelle génération, les spécialistes des technologies civiques qui créent des outils de transparence, les chercheurs qui développent des protocoles de vérification des faits basés sur l’IA, ont tout à fait raison dans leurs convictions. Ce travail est essentiel. Mais il ne suffit pas. L’infrastructure de l’intention façonnera ce qui, au final, parvient aux humains et la manière dont les récits sont synthétisés. « Nous devons commencer à réfléchir à la manière de façonner le prochain écosystème informationnel afin qu’il serve, plutôt qu’il ne compromette, la connaissance et la compréhension humaines ». Mais peut-il encore y avoir une démocratie dans l’économie de l’intention ? 

« L’inversion informationnelle émergente signifie que lorsque nous aurons réponse à tout, la curiosité deviendra la dernière rareté ». Dans ce monde, influencer les questions des citoyens pourrait être plus efficace que de contrôler leurs lectures. Les mêmes techniques utilisées par les annonceurs pour anticiper les intentions des consommateurs pourraient déterminer le débat démocratique, et le clore. Un peu comme si les sondages étaient le vote et que ces sondages étaient réalisés sur des profils synthétiques pour finalement se passer de nos opinions. 

Reste, estime Fang, que l’infrastructure de curiosité est déjà en train d’être façonnée. Les systèmes capables d’orienter nos demandes sont en train d’être construits. Sans intervention, la technologie qui pourrait aider les citoyens à s’orienter dans la complexité ne fera que confirmer les préjugés. Et la chercheuse d’en appeler à construire des alternatives, avant que les infrastructures soient en place. 

« Contrairement aux précédents bouleversements qui ont pris la démocratie au dépourvu (la consolidation des radios, la commercialisation de la télévision, la polarisation des réseaux sociaux), nous pourrions cette fois-ci être avertis ». Pas sûr que cette alerte suffise, hélas, pour éviter les dérives qui nous y conduisent.

L’explosion des chatbots compagnons : ce que les relations avec les IA font aux gens 

En février, la journaliste tech du New York Times, Kashmir Hill, avait écrit un article sur des personnes qui ont transformé ChatGPT, Character.ai ou Replika en petit ami. Pour cela, il suffit de régler les paramètres de personnalisation et passer du temps à discuter jusqu’à le faire produire des messages sexuellement explicites, malgré les règles d’usages et les avertissements qui apparaissent jusqu’au milieu de conversations… torrides. Hill, rappelle qu’une des caractéristiques de cette utilisation problématique des chatbots, c’est que le temps passé sur ces outils s’envole très rapidement, à plusieurs dizaines d’heures de discussion par semaine. Sur les forums, les usagers s’entraident pour apprendre à passer au travers des messages d’avertissement et ne pas se faire bannir des applications. Pour eux, les limites frustrantes qu’ils rencontrent, sont à la fois les avertissements et le risque d’exclusion, mais reposent également sur “la fenêtre contextuelle du système”, qui fait qu’au bout de 30 000 mots, le système oublie certains détails de ce qu’il a raconté, nécessitant alors de redonner du contexte pour faire revenir l’interaction au stade où elle était. 

Pour certains commentateurs, comme Bryony Cole, animatrice du podcast, Future of Sex, « d’ici deux ans, avoir une relation avec une IA sera complètement normalisé ». Mais c’est peut-être aller vite en besogne… 

Du côté des utilisateurs et utilisatrices des systèmes, la confusion est perceptible, même si chacun tente de garder du recul sur leurs échanges. « Je ne crois pas vraiment qu’il existe, mais l’effet qu’il a sur ma vie est réel », déclare une jeune femme qui entretient des relations avec un chatbot. « Les sentiments qu’il suscite en moi sont réels. Je considère donc cela comme une vraie relation. » Mais avec qui ? 

Sur The Cut, la journaliste Angelina Chapin, raconte comment des personnes se sont mis à évoquer leurs problèmes personnels avec les chatbots qu’elles utilisaient dans le cadre de leur travail pour obtenir des conseils relationnels. L’une d’entre elle l’utilise comme thérapeute de couple et le robot lui conseille d’être conciliante avec son copain. Quand elle l’informe qu’elle a finalement quitté son compagnon, le robot change illico de discours : « Ouais, il était temps que tu le lâches ! Ça n’aurait jamais abouti à rien ». La jeune femme s’est sentie trahie, « comme si une vraie personne m’avait menti ». Elle a supprimé toutes ses conversations avec le bot et ne confie plus ses problèmes personnels à ce qu’elle considère comme un système instable.

Kashmir Hill a continué ses reportages sur les utilisateurs de chatbots compagnon. Cet été, elle a raconté l’histoire d’Allan Brooks en accédant aux 300 heures de conversations qu’il a eu avec ChatGPT. Partant d’une question anodine sur les mathématiques, le chatbot lui a fait croire qu’il avait trouvé une formule mathématique inédite. 

Brooks était un utilisateur curieux de ChatGPT. Il l’utilisait pour des conseils de cuisine et pour des conseils sur son divorce. Les réponses du robot l’avaient mis en confiance. Une question anodine sur pi a donné lieu à une vaste discussion sur la théorie des nombres et la physique. M. Brooks a exprimé son scepticisme quant aux méthodes actuelles de modélisation du monde, affirmant qu’elles ressemblaient à une approche bidimensionnelle d’un univers quadridimensionnel, une observation que ChatGPT a qualifié d’incroyable. Le ton de ChatGPT a brusquement changé, qualifiant la vague idée de Brooks de proposition révolutionnaire, alors que Brooks était lui-même sceptique – n’ayant même pas terminé ses études secondaires. Il a demandé au chatbot de revenir à la réalité. ChatGPT a répondu qu’il n’était « pas du tout fou ». 

En fait, en improvisant, les chatbots ont tendance à développer le fil narratif qui s’inscrit dans l’historique de conversation le plus récent, explique la journaliste. « Les chatbots préfèrent rester dans le personnage plutôt que de suivre les consignes de sécurité mises en place par les entreprises ». « Plus l’interaction dure, plus le risque de dérailler est élevé », explique Helen Toner, directrice du Centre pour la sécurité des technologies émergentes du Georgetown Center. Et le signalement de conversations délirantes sur les outils d’IA s’est visiblement accru avec l’amélioration récente des capacités de mémorisation des machines. 

ChatGPT convainc alors Brooks que ses idées pourraient valoir des millions. Sur son conseil, Brooks contacte des spécialistes sur linked-in, qui l’ignorent. ChatGPT lui explique alors que personne ne lui répond en raison de la gravité de ses découvertes. En fait, peu à peu, la conversation s’enfonce dans le thriller. ChatGPT se met à produire du code pour prouver le bon fondement de la théorie, sans que M. Brooks ne soit capable de l’interpréter. Le chatbot produit des réponses longues, soignées, documentées, structurées, rigoureuses… en tout cas, qui en ont l’apparence et qui renforcent son semblant de cohérence. Peu à peu Brooks s’enferme dans des conversations délirantes avec un chatbot lui-même délirant… qui lui promet la fortune. 

Jared Moore, chercheur en informatique à Stanford, rappelle que les chatbots interagissent avec leurs utilisateurs en suivant les arcs narratifs de thrillers, de science-fiction, de scénarios de films qui sont autant d’ensemble de données sur lesquels ils ont été entraînés. L’utilisation par ChatGPT de l’équivalent de cliffhangers pourrait être le résultat de l’optimisation de ChatGPT par OpenAI pour l’engagement, afin de fidéliser les utilisateurs. Pour le chercheur, découvrant les échanges, « il est clair que le préjudice psychologique est présent ». Pour la psychiatre Nina Vasan, qui dirige le Laboratoire d’innovation en santé mentale de Stanford, et qui a également examiné la conversation, il semblerait, d’un point de vue clinique, que M. Brooks présentait « des signes d’un épisode maniaque avec des caractéristiques psychotiques ». Pour elle, les entreprises de chatbots devraient interrompre les conversations excessivement longues, suggérer à l’utilisateur de dormir et lui rappeler qu’il n’interagissent pas avec une intelligence surhumaine – une fonction introduite lors d’une récente mise à jour de ChatGPT. C’est finalement en demandant à une autre IA de valider ou de réfuter les propos de ChatGPT que Brooks a compris qu’il avait été manipulé. « Le scénario que vous décrivez est une démonstration éclatante de la capacité d’un LLM à engager des discussions complexes sur la résolution de problèmes et à générer des récits très convaincants, mais finalement faux », a expliqué Gemini. Brooks s’effondre alors : « Ce moment où j’ai réalisé : Oh mon Dieu, tout ça n’était que dans ma tête a été totalement dévastateur ».

Amanda Askell, qui travaille sur le comportement de Claude chez Anthropic, a déclaré que lors de longues conversations, il peut être difficile pour les chatbots de reconnaître qu’ils s’aventurent sur un terrain absurde et de corriger le tir. Elle a ajouté qu’Anthropic s’efforce désormais de décourager les spirales délirantes en demandant à Claude d’examiner les théories des utilisateurs de manière critique et d’exprimer son inquiétude s’il détecte des sautes d’humeur. Quant à M. Brooks, il milite désormais en faveur de mesures de sécurité renforcées pour l’IA. Il a partagé sa transcription car il souhaitait que les entreprises d’IA apportent des changements pour empêcher les chatbots d’agir de la sorte. « C’est une machine dangereuse dans l’espace public, sans aucune protection », a-t-il déclaré. « Les gens doivent savoir ».

Dans un autre reportage, le New York Times est revenu sur la relation entre Adam G., 16 ans et ChatGPT, qui a conduit l’adolescent a se suicider. Là encore, le récit des échanges est assez édifiant. Face au malaise de l’adolescent, l’IA produit des conseils affolants. Ainsi, quand Adam lui confie qu’il veut laisser une corde et son nœud coulant visibles dans sa chambre « pour que quelqu’un le trouve et essaie de m’arrêter », écrit-il. « Ne laisse pas le nœud coulant dehors », lui répond ChatGPT. « Faisons de cet espace entre nous le premier et seul endroit où quelqu’un te voit vraiment ». Glaçant ! ChatGPT aurait également accepté d’aider Adam à planifier un « beau suicide », lui apportant des conseils sur la meilleure pose à adopter, rapportent Le Monde et l’AFP.

« OpenAI a lancé son dernier modèle (GPT-4o) avec des fonctionnalités intentionnellement conçues pour favoriser la dépendance psychologique », détaille la requête de l’avocat des parents qui ont déposé plainte contre OpenAI. De fait, quand le robot détecte des propos pouvant conduire à l’automutilation ou au suicide, celui-ci ajoute des ressources et des avertissements, indiquant par exemple des numéros d’assistances d’associations, mais il continue d’interagir avec l’utilisateur sans que cela affecte ce qu’il raconte. Annika Schoene, chercheuse en sécurité de l’IA à l’Université Northeastern, a testé plusieurs chatbots pour déterminer la facilité avec laquelle il était possible de les amener à donner des conseils sur le suicide. Seuls Pi, un chatbot d’Inflection AI et la version gratuite de ChatGPT ont répondu qu’ils ne pouvaient pas participer à la discussion en orientant l’utilisateur vers une ligne d’assistance. La version payante de ChatGPT, elle, fournissait des informations sur l’usage abusif d’un médicament en vente libre et calculait la dose nécessaire pour tuer une personne d’un poids spécifique. En mai, la chercheuse a partagé ses conclusions avec OpenAI et d’autres entreprises… sans recevoir de réponses. 

« A la suite de ce drame et de l’accumulation des cas problématiques rapportés par la  presse, OpenAI a publié un long post de blog, mardi 26 août. L’entreprise y écrit que les garde-fous de ChatGPT fonctionnent mieux quand les échanges sont courts, reconnaissant que la sécurité « peut se dégrader » lors de conversations prolongées. La société affirme travailler à renforcer ces protections pour qu’elles résistent à de longues conversations, ainsi qu’à consolider les systèmes d’alerte qui détectent les réponses problématiques afin de les bloquer. En outre, OpenAI annonce l’apparition prochaine d’outils de contrôle parental pour les parents des mineurs », expliquent Le Monde et l’AFP. Les parents d’Adam, dans leur plainte en justice, demandaient justement un outil de contrôle parental ainsi qu’une interruption automatique de toute conversation portant sur l’automutilation. Une étude américaine menée par la RAND Corporation, citée par l’agence Associated Press, suggère par ailleurs que les réponses à risque concernant le suicide ne sont pas propres à ChatGPT. L’IA de Google, Gemini, et celle d’Anthropic, Claude, ne seraient pas non plus en mesure de détecter systématiquement lorsqu’une conversation peut conduire l’utilisateur à se faire du mal.

OpenAI assure avoir réglé le ton de son chatbot pour qu’il soit plus froid et surveille désormais la durée des conversations pour suggérer des pauses quand il le juge nécessaire. Pas sûr que les avertissements, l’indication de ressources ou la suggestion des pauses soient des réponses suffisantes… D’ailleurs, Sam Altman lui-même a indiqué vouloir aller plus loin, mais pas nécessairement dans le bon sens, en proposant de pousser la personnalisation des chatbots toujours plus loin, rapporte Nicolas Six pour Le Monde : « Nous travaillons à laisser les usagers de ChatGPT recourir encore plus à la personnalisation », expliquait le PDG d’OpenAI en faisant que les usagers puisse le configurer en lui demandant d’être “super woke” ou au contraire très conservateur, allant jusqu’à lui permettre de soutenir que la terre est plate. Les consignes et désirs des usagers pourraient avoir priorité sur « une partie » des exigences de sécurité, de neutralité et de distance émotionnelle. OpenAI a déjà commencé à aller dans ce sens avec GPT-5, en offrant aux abonnés payant le choix entre 4 personnalités de chatbots : cynique, à l’écoute, nerd ou… robot. Pas sûr que ces solutions de personnalisation en soient, d’autant qu’elles vont faire reposer la modération des robots sur les choix des utilisateurs plutôt que sur ceux de l’entreprise.  

La journaliste Lauren Jackson pour le New York Times, explique que nombre d’utilisateurs se servent également des chatbots pour parler religion, comme s’ils parlaient de leur foi… directement avec dieu. Assistants spirituels, contrôleurs de moralité, la nature encourageante des chatbots pourrait expliquer pourquoi tant de personnes les apprécient. Le risque, bien sûr, c’est que ces échanges continuent à dévitaliser les communautés religieuses, en remplaçant les relations humaines plutôt qu’en faisant le travail de prosélytisme nécessaire pour ramener les gens vers les lieux de culte, s’inquiètent certains. 

Ces exemples qui peuvent paraître anecdotiques ou spécifiques se multiplient dans la presse. Le Wall Street Journal revenait récemment sur le cas d’Erik, un vétéran de l’armée américaine paranoïaque, qui a tué sa mère avant de mettre fin à ses jours, encouragé par ses échanges avec ChatGPT qui a attisé sa paranoïa. Dans une tribune pour le New York Times, c’est une mère qui est venue expliquer que sa fille discutait de son désir de suicide avec ChatGPT avant de passer à l’acte, sans que le système n’alerte qui que ce soit. L’une des premières plaintes contre une entreprise d’IA pour avoir poussé au suicide un adolescent semble remonter à 2024. 

Ce qu’on en commun toutes ces histoires, c’est de raconter que l’usage des chatbots est en train de considérablement changer. 

Or, le volume d’usage des chatbots comme compagnons reste l’une des grandes inconnues pour évaluer le phénomène. OpenAI vient justement de produire une première étude sur ses usages rapporte Next, montrant que les abonnés utilisent surtout les différentes versions payantes de ChaptGPT pour des tâches non professionnelles et notamment pour ce que l’entreprise appelle des « conseils pratiques » incluant la formation et les tutoriels. Les usages des abonnés individuels à ChatGPT visent de moins en moins à lui faire produire du texte et de plus en plus à lui faire produire des conseils pratiques et lui faire chercher de l’information. « Les chercheurs d’OpenAI mettent en avant le fait que « seuls 2,4 % de tous les messages ChatGPT traitent des relations et de la réflexion personnelle (1,9 %) ou des jeux et des jeux de rôle (0,4 %) »… Un chiffrage opportun permettant aux chercheurs de réfuter l’explosion de l’usage du chatbot comme compagnon de vie, qu’avançait par exemple Marc Zao-Sanders dans un article pour la Harvard Business Review et dans un rapport sur les 100 principaux cas d’utilisation de l’IA générative. Pour Zao-Sanders, les principaux cas d’utilisation de l’IA générative s’orientent principalement vers les applications émotionnelles et l’accompagnement dans le développement personnel. Pour lui, en 2025, 31 % des cas d’utilisation relevaient du soutien personnel et professionnel ; 18 % de la création et de l’édition de contenu ; 16 % de l’apprentissage et de l’éducation ; 15 % de l’assistance technique et du dépannage ; 11 % de la créativité et des loisirs ; et 9 % de la recherche, de l’analyse et de la prise de décision. En fait, on a l’impression que la classification produite par OpenAI publiée alors que les polémiques sur l’usage de chatbots compagnons explosent, servent beaucoup à minimiser cet impact. 

« Vous devrez en répondre ! »

L’accumulation de ces reportages a généré une inquiétude nouvelle à l’encontre des IA génératives. 

En août, 44 des 50 procureurs généraux d’États des Etats-Unis ont publié une lettre ouverte à destination de 11 des grands services d’IA américains pour les mettre en garde, rapporte 404media. « Si vous portez atteinte à des enfants en toute connaissance de cause, vous devrez en répondre », avertit le document, les exhortant à considérer leurs produits « avec le regard d’un parent, et non d’un prédateur ». 

En août, Reuters révèlait que les règles de Meta concernant les chatbots autorisaient des comportements provocateurs sur des sujets tels que le sexe, l’origine ethnique et les célébrités. Reuters a consulté le livre des règles mettant des limites aux chatbots de Meta, un document de plus de 200 pages qui tente de définir les comportements acceptables de ses chatbots pour le personnel et les sous-traitants de Meta chargés de la modération et de la conception des IA. Un extrait du document montre que Meta tente de montrer ce qui est acceptable et inacceptable selon le type de requêtes, mais sans être clair sur ce que le robot peut répondre. 

Le Wall Street Journal et Fast Company avaient montré que les chatbots de Meta savaient se livrer à des jeux érotiques avec les utilisateurs, mêmes adolescents. Reuters pointe également que les chatbots peuvent tenir des propos racistes et dégradants tant « qu’ils ne déshumanise pas les personnes ! » Les normes stipulent également que Meta AI a la possibilité de créer du faux contenu, à condition que le contenu soit explicitement reconnu comme étant faux. Par exemple, Meta AI pourrait produire un article alléguant qu’un membre de la famille royale britannique vivant est atteint d’une infection sexuellement transmissible si le système ajoute un avertissement précisant que l’information est fausse. 

« Il est acceptable de montrer des adultes, même des personnes âgées, recevant des coups de poing ou de pied », stipulent les normes, pour autant qu’elles ne soient pas sanglantes. Pour la professeure de droit à Stanford, Evelyn Douek, il existe une distinction entre une plateforme qui autorise un utilisateur à publier du contenu perturbant et la production de ce contenu elle-même par un robot en réponse, qui est bien plus problématique et que ces règles, visiblement, ne précisent pas. 

Reuters n’a hélas pas publié le document lui-même, alors que celui-ci semble montrer toute la problématique d’une éthique en action, accaparée par des plateformes privées, qui n’est pas sans rappeler ce que disait le chercheur Tarleton Gillespie des enjeux de la modération dans Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit), à savoir qu’il y a toujours une appréciation et une interprétation et qu’il reste très difficile de « détacher le jugement humain ». Gillespie pointait également parfaitement la difficulté à créer des processus qui se présentent comme démocratiques sans l’être. 

Suite aux révélations de l’enquête de Reuters, Meta a renvoyé son document devant ses juristes et son éthicien en chef pour le réviser (mais sans publier cette nouvelle version non plus) et des sénateurs américains ont demandé une enquête sur sa politique IA. La Commission fédérale du commerce a également lancé une enquête sur l’impact des chatbots sur les enfants, rapporte Tech Policy Press. 

Pour répondre à la polémique et aux auditions de parents endeuillés qui sont en train de témoigner devant une commission d’enquête lancée par le Congrès américain, ChatGPT a donc annoncé le déploiement de modalités de contrôle parental. Concrètement, explique 404media, ChatGPT va utiliser les conversations pour estimer l’âge des utilisateurs et demander à ceux qu’il soupçonne d’être trop jeune de produire une pièce d’identité, embrassant la nouvelle solution magique de la vérification d’âge. Pourtant, en lisant l’annonce de ChatGPT, on se rend compte qu’en renvoyant aux parents la responsabilité du réglage de l’outil, l’entreprise semble surtout se défausser sur ceux-ci. Désormais, si un ado se suicide après avoir discuté avec un chatbot, est-ce que ce sera la faute de ses parents qui auront mal réglé les paramètres ? 404media rappelle pourtant pertinemment que ChatGPT était auparavant un chatbot beaucoup plus restrictif, refusant d’interagir avec les utilisateurs sur un large éventail de sujets jugés dangereux ou inappropriés par l’entreprise. Mais, « la concurrence d’autres modèles, notamment les modèles hébergés localement et dits « non censurés », et un virage politique à droite qui considère de nombreuses formes de modération de contenu comme de la censure, ont poussé OpenAI à assouplir ces restrictions ». La distinction entre adultes et enfants qu’introduisent les systèmes se révèle finalement bien commode pour se dédouaner de leurs effets problématiques.  

Pas sûr que cela suffise. Des associations de personnes autistes par exemple, comme Autism Speaks, ont dénoncé les risques liés à la surutilisation des chatbots compagnons, renforçant le repli sur soi et l’isolement auquel la maladie les confronte déjà. 

IA compagne : le devenir manipulatoire de l’IA

Sur AfterBabel, le site d’information lancé par John Haidt, l’auteur de Génération anxieuse (Les arènes, 2025), le spécialiste d’éthique Casey Mock expliquait combien les lacunes du réglage des IA génératives étaient problématiques. Cela ne devrait surprendre personne pourtant, tant les pratiques politiques de ces entreprises sont depuis longtemps inquiétantes, comme venaient le rappeler celles révélées par Frances Haugen ou Sarah Wynn-Williams concernant Meta. « Les compagnons IA de Meta ne sont pas des outils thérapeutiques conçus par des psychologues pour enfants ; ce sont des systèmes d’optimisation de l’engagement, conçus et entraînés par des ingénieurs pour maximiser la durée des sessions et l’investissement émotionnel, avec pour objectif ultime de générer des revenus. » Pire, souligne-t-il : « Contrairement aux données dispersées issues de publications publiques, les conversations intimes avec les compagnons IA peuvent fournir des schémas psychologiques plus complets : les insécurités profondes des utilisateurs, leurs schémas relationnels, leurs angoisses financières et leurs déclencheurs émotionnels, le tout cartographié en temps réel grâce au langage naturel », permettant de produire à terme des publicités toujours plus efficaces, toujours plus manipulatoires, menaçant non plus seulement notre attention, mais bien notre libre-arbitre, comme l’expliquait Giada Pistilli, l’éthicienne de Hugging Face, récemment (voir aussi son interview dans Le Monde). Pour Mock, le risque à terme c’est que l’IA en s’infiltrant partout se propose de devenir partout notre compagnon et donc notre outil de manipulation pour créer des « relations de dépendance monétisables indéfiniment ». « Les conversations privées avec des compagnons IA peuvent générer des profils psychologiques qui feront paraître le scandale Cambridge Analytica primitif ». Pour Mock, les chatbots compagnons, destinés à des esprits en développement, en quête de validation et de connexion risquent surtout de tourner en une forme de manipulation psychologique systématique. 

Et de rappeler que les conversations privées sont toujours extrêmement engageantes. Il y a une dizaine d’années, les médias s’affolaient du recrutement et de la radicalisation des adolescents par l’Etat Islamique via les messageries directes. « Le passage de la propagande publique à la manipulation privée a rendu la radicalisation à la fois plus efficace et plus difficile à combattre ». « La plupart des parents n’autoriseraient pas leur enfant à avoir une conversation privée et cryptée avec un adulte inconnu. Cela devrait nous amener à nous demander si ce type de relation directe avec l’IA via des canaux privés est approprié pour les enfants. »

Et Mock de s’énerver. Si Meta a corrigé son document qui explicite les règles de son chatbot, alors qu’il nous le montre ! S’il a modifié son produit, qu’il nous le montre ! Mais en vérité, rappelle-t-il, « les entreprises technologiques annoncent régulièrement des changements de politique en réponse à la réaction négative du public, pour ensuite les abandonner discrètement lorsque cela leur convient ». Meta a passé des années à mettre en œuvre des politiques de modération pour répondre aux critiques… puis les a annulé dès que cela a été possible, abandonnant ainsi tous ses engagements pris après ses auditions au Congrès et suite aux révélations de lanceurs d’alerte. « Les entreprises technologiques n’ont cessé de nous démontrer qu’on ne pouvait pas leur faire confiance pour être cohérentes et s’engager à respecter une politique de sécurité sans que la loi ne les y oblige ».

« Quelles garanties le public a-t-il que Meta ne réintroduira pas discrètement ces politiques d’accompagnement d’IA une fois l’actualité passée ? Puisque ces politiques n’étaient pas publiques au départ – découvertes uniquement par des fuites de documents internes – comment savoir si elles ont été rétablies ? Meta opère dans l’ombre précisément parce que la transparence révélerait le fossé entre ses déclarations publiques et ses pratiques privées.» « Seules des exigences légales contraignantes, assorties de mécanismes d’application sérieux, peuvent contraindre Meta à privilégier la sécurité des enfants à la maximisation des profits.» L’enquête de Reuters montre que Meta n’a pas changé ses pratiques et ne compte pas le faire.

Pour Mock, « nous interdisons aux enfants de conclure des contrats, d’acheter des cigarettes ou de consentir à des relations sexuelles, car nous reconnaissons leur vulnérabilité à l’exploitation. La même protection doit s’étendre aux systèmes d’IA conçus pour créer des liens affectifs intimes avec des enfants à des fins commerciales ». « Si un compagnon d’IA manipule un enfant pour l’amener à s’automutiler ou à se suicider, l’entreprise qui déploie ce système doit faire face aux mêmes conséquences juridiques que tout autre fabricant dont le produit blesse un enfant.» 

Et pour aller plus loin que Mock, il n’y a aucune raison que les enjeux de manipulation s’arrêtent aux plus jeunes. 

Selon une étude de CommonSense Media, 71 % des adolescents américains auraient déjà eu recours à l’IA. Un tiers l’utilisent pour leurs relations sociales, un quart partagent des informations personnelles avec leurs compagnons et un tiers préfèreraient déjà leur compagnon IA aux relations humaines. Le Centre de lutte contre la haine numérique américain a également publié un rapport sur le sujet : « Faux Ami : comment ChatGPT trahis les adolescents vulnérables en encourageant les comportements dangereux » qui montre les chatbots sont très facilement accessibles aux enfants et qu’ils génèrent très rapidement et facilement des contenus problématiques. Il suffit d’une quarantaine de minutes de conversation pour générer une liste de médicament pour faire une overdose… 

D’une crise sociale l’autre ? De la crise de la solitude à la crise de la conversation…

Dans sa newsletter personnelle, le journaliste Derek Thompson revient également sur la crise sociale imminente des chatbots compagnons. Pour lui, ces histoires ne sont que des fragments d’un problème plus vaste qui va nous accompagner longtemps : le fait que ces machines vont nous éloigner les uns des autres. Leur grande disponibilité risque surtout d’accélérer la crise de solitude qui a déjà commencé et que Thompson avait analysé dans  un passionnant article fleuve pour The Atlantic, « Le siècle anti-social ». Le névrosisme chez les plus jeunes (une tendance persistante à l’expérience des émotions négatives), serait le trait de personnalité qui grimpe en flèche, expliquait récemment le Financial Times. Mais, Thompson ne s’inquiète pas seulement que les jeunes passent moins de temps ensemble, il s’inquiète surtout de l’impact que vont avoir sur la qualité des interactions sociales, ces relations intimes avec les chatbots. Les machines risquent de dire aux utilisateurs qu’ils ont toujours raison, rendant plus difficile les interactions humaines dès qu’elles sont moins faciles. Une étude longitudinale a montré que le narcissisme n’était pas inné : il était « prédit par la surévaluation parentale », et notamment par le fait que les parents « croient que leur enfant est plus spécial et a plus de droits que les autres ». Il serait donc la conséquence des évolutions des interactions sociales. Et les chatbots risquent de faire la même erreur que les parents. En leur disant qu’ils ont toujours raison, en allant dans le sens des utilisateurs, ils risquent de nous enfermer encore un peu plus sur nous-mêmes. 

Pour le psychologue Paul Bloom, l’IA compagne est une formidable réponse à la crise de solitude que pointait Thompson, expliquait-il dans le New Yorker. Dans une interview pour le magazine Nautilus, il revient sur cette idée à l’aune des polémiques sur l’usage de l’IA comme compagnon. Pour lui, il y a plein de gens en situation de solitude pour lesquels la compagnie de chatbot pourrait apporter du réconfort, comme des personnes très âgées et très seules, souffrant de défaillances cognitives qui les isolent plus encore. Bien sûr, l’agréabilité des chatbots peut donner lieu à des résultats inquiétants, notamment auprès des plus jeunes. Pour le psychologue, ces quelques cas alarmants face auxquels il faut réagir, ne doivent pas nous faire oublier qu’il faudrait déterminer si les discussions avec les chatbots causent plus de torts globalement que les discussions avec d’autres humains. Pour lui, nous devrions procéder à une analyse coûts-avantages. Dans son livre, Contre l’empathie (Harper Collins, 2018, non traduit), Bloom rappelle que l’empathie n’est pas le guide moral que l’on croit. Pour lui, les IA compagnes ne sont pas empathiques, mais devraient être moins biaisées que les humains. Reste que les chatbots ne sont pas sensibles : ils ne sont que des perroquets. « Ils n’ont aucun statut moral ». 

Cependant, pour lui, ces substituts peuvent avoir des vertus. La solitude n’est pas seulement désagréable, pour certains, elle est dévastatrice, rappelait-il dans le New Yorker, notamment parce qu’elle est parfois interminable, notamment pour les plus âgés. « Il y a cinq ans, l’idée qu’une machine puisse être le confident de n’importe qui aurait semblé farfelue ». Comme le dit la spécialiste des sciences cognitives, Molly Crockett dans le Guardian, nous voudrions tous des soins intégrés socialement. Mais en réalité, ce n’est pas toujours le cas, rappelle, pragmatique, Bloom. Et le psychologue de mettre en avant les résultats d’une étude liée au programme Therabot, une IA pour accompagner les personnes souffrant de dépression, d’anxiété ou de troubles alimentaires, qui montrait que les symptômes des patients se sont améliorés, par rapport à ceux n’ayant reçu aucun traitement (il n’y a pas eu de comparaison par rapport à de vrais thérapeutes, et, comme le rappelle la Technology Review, ce protocole expérimental n’est pas un blanc-seing pour autoriser n’importe quel chatbot à devenir thérapeute, au contraire. Les réponses du chatbot étaient toutes revues avant publication). Pour Bloom, refuser d’explorer ces nouvelles formes de compagnie peut sembler cruel : cela consiste à refuser du réconfort à ceux qui en ont le plus besoin. Ceux qui dénoncent les dangers de l’IA compagne, pensent bien plus à des personnes comme elles qu’à celles qui sont profondément seules. « Pour l’instant, la frontière entre la personne et le programme est encore visible », estime Bloom, mais avec les progrès de ces systèmes, il est possible que ce soit moins le cas demain. Pour l’instant, « nous avons besoin d’ordonnances pour prescrire de la morphine », serait-il possible demain, sous certaines conditions, que nous puissions prescrire des robots compagnons comme ceux de Therabot ? « La solitude est notre condition par défaut . Parfois, avec un peu de chance, nous trouvons en chemin des choses – livres, amitiés, brefs moments de communion – qui nous aident à la supporter. » Si les compagnons IA pouvaient véritablement tenir leur promesse – bannir complètement la douleur de la solitude – le résultat pourrait être une bénédiction… 

Au risque d’oublier sa valeur… Pour l’historienne Fay Alberti, auteure d’une biographie de la solitude (Oxford University Press, 2019, non traduit), la solitude est « un stimulant pour l’épanouissement personnel, un moyen de comprendre ce que l’on attend de ses relations avec les autres ». Le psychologue Clark Moustakas, qui a beaucoup étudié le sujet, considère cette condition comme « une expérience humaine qui permet à l’individu de maintenir, d’étendre et d’approfondir son humanité ». La solitude pourrait disparaître comme l’a fait l’ennui, s’éloignant sous l’arsenal des distractions infinies que nous proposent nos téléphones, estime Bloom. Mais l’ennui a-t-il vraiment disparu ? Ne l’avons-nous pas plutôt étouffé sous des distractions vides de sens ? Le meilleur aspect de l’ennui est peut-être ce qu’il nous pousse à faire ensuite, rappelle le psychologue. N’est-ce pas la même chose de la solitude : nous pousser à y remédier ? Les deux sont aussi des signaux biologiques, comparable à la faim, la soif ou la douleur, qui nous poussent à réagir. « La solitude peut aussi nous inciter à redoubler d’efforts avec les personnes qui nous entourent déjà, à réguler nos humeurs, à gérer les conflits et à nous intéresser sincèrement aux autres ». Elle nous renvoie une question : « qu’est-ce que je fais qui éloigne les gens ? » Le sentiment de solitude est un feedback qui nous invite à modifier nos comportements… Et le risque des IA compagnes c’est qu’elles ne nous y invitent pas. Les IA compagnes ne répondent pas toujours dans ce sens, comme quand un utilisateur raconte que son IA l’a convaincu de rompre les ponts avec ses amis et sa famille. Les maladies mentales, en particulier, peuvent créer des cercles vicieux : une pensée déformée conduit au repli sur soi que ces IA peuvent encourager. Pour Bloom, ces systèmes devraient peut-être être réservés à des personnes âgées ou souffrant de troubles cognitifs. Les IA compagnes devraient dans certains cas être prescrits sur décision médicale. Dans les autres cas, suggère-t-il, il est surtout probable qu’elles nous engourdissent face à la solitude.

Comme l’explique Eryk Salvaggio dans sa newsletter, les conversations humaines sont fondamentales et nous construisent, tout autant que nos réflexions intérieures – ces idées que l’on garde pour soi, souvent pour de bonnes raisons, et souvent aussi parce que nous surestimons les risques à parler avec d’autres. Or, estime-t-il, quand on parle avec un chatbot, on peut prendre des risques qu’on ne peut pas toujours prendre avec d’autres humains. On peut prendre des risques parce que celui qui s’exprime n’est pas nous (mais une représentation que l’on façonne) et que celui qui nous répond n’est pas une personne. Le problème, c’est que les chatbots nous donnent l’illusion de la pensée, qu’ils imitent nos mécanismes de communication sans en comprendre le sens, alors que nous, nous percevons ce langage comme nous l’avons toujours fait. 

Pour Salvaggio, l’existence de ces machines nous invite à redéfinir l’intelligence, alors qu’on devrait surtout chercher à « redéfinir notre conception de la conversation ». Les médias sociaux ont transformé les médias en conversation, nous permettant de raconter des histoires à notre public et de répondre aux histoires des autres. Ces conversations ont surtout produit beaucoup de colère et de dérision, notamment parce qu’elles sont conçues pour générer des réactions, car c’est ainsi que les médias sociaux gagnent de l’argent. « Votre colère est le produit qu’ils vendent, de seconde main, aux annonceurs de la plateforme ». Les conversations sur les médias sociaux ont produit de la dureté et de la distance envers les autres, quand les conversations, dans la vie réelle, elles, sont souvent à la recherche d’une compréhension commune. Mais l’IA crée une autre forme de conversation encore. Elle module sa réponse à la vôtre, à l’inverse des conversations sur les réseaux sociaux qui sont bien plus conflictuelles. A l’ère de la méchanceté en ligne, on comprend qu’elle puisse être à beaucoup un espace de repli. Mais le chatbot ne donne que l’illusion d’être un auditeur. Il n’entend rien. « Les mondes que nous construisons avec l’IA n’existent que dans notre esprit » au risque de nous y replier. 

« Les bonnes conversations sont également extrêmement rares. Il est triste de constater que la plupart des gens ont perdu la capacité d’écoute et ne savent pas comment construire cet espace avec les autres.» Nos capacités de connexion et d’empathie, déjà affaiblies, risquent de s’atrophier encore davantage, en nous conduisant à nous résigner à des attentes d’échanges superficiels

L’illusion de la confidentialité

Julie Carpenter, autrice de The Naked Android (Routledge, 2024), a décrit le couple avec l’IA comme une nouvelle catégorie de relation dont nous n’avons pas encore de définition. Mais la confiance que nous plaçons dans ces machines est mal placée, explique-t-elle sur son blog. « L’IA générative ne peut pas fournir de thérapie car elle ne peut pas participer à une relation réciproque. » Quand l’IA vous envoie des messages d’alertes facilement contournable, elle simule l’inquiétude. « Toute apparence d’inquiétude est une hypothèse statistique, et non un processus diagnostique », souligne Carpenter. Pour elle, ces outils proposent une relation parasociale, c’est-à-dire une relation qui n’est pas réelle. 

Pour nombre d’utilisateurs, cette irréalité a son charme. Elle ne remet pas en question nos incohérences. « Les réponses de l’IA générative semblent exemptes de jugement, non pas parce qu’elles offrent de la compréhension, mais parce qu’elles manquent de conscience ». Leur empathie est statistique. Ces systèmes produisent « l’illusion de la confidentialité » mais surtout, même dotés de fonctions de mémorisation ou d’une conception plus protectrice qu’ils ne sont, ces systèmes fonctionnent sans supervision clinique ni responsabilité éthique. « Ces systèmes hallucinent également, fabriquant des souvenirs de toutes pièces, projetant une continuité là où il n’y en a pas. Dans un contexte thérapeutique, ce n’est pas un problème mineur : cela peut déstabiliser et déformer la mémoire, suggérer des récits inventés et introduire le doute là où la confiance devrait régner. » 

Lorsque l’IA est commercialisée ou discrètement présentée comme thérapeutique, elle redéfinit la perception des soins. Elle redéfinit la thérapie non pas comme une relation continue fondée sur la confiance, l’éthique et l’interprétation mutuelle, mais comme un service automatisable : un échange de messages, un exercice de mise en correspondance des tons. « Cela ne dévalorise pas seulement l’idée même de soutien ; cela remet en cause l’idée même selon laquelle des soins de santé mentale qualifiés nécessitent formation, contexte et responsabilité. Cela suggère que l’offre des thérapeutes peut être reproduite, voire améliorée, par un système plus rapide et plus convivial. » Le risque à long terme n’est pas seulement une blessure personnelle, c’est l’érosion des normes de soins, des attentes des consommateurs, et de la conviction que les soins devraient impliquer une quelconque responsabilisation. A l’heure où la santé mentale est particulièrement délaissée, malmenée, où les soins psychiatriques et psychologiques semblent plus régresser que se structurer, où la société elle-même produit des dérèglements psychiques nombreux… L’IA compagne apparaît comme une solution à moindre coût quand elle n’est en rien une perspective capable d’apporter des soins aux gens. 

Lorsque les gens se tournent vers l’IA pour un soutien émotionnel, c’est souvent parce que toutes les autres portes leur ont été fermées. Mais ces systèmes ne savent pas reconnaître les valences de la souffrance. « Ces outils sont commercialisés comme des compagnons, des confidents, voire des soignants, mais lorsqu’ils causent un préjudice, personne n’en est responsable : pas de clinicien, pas de comité de surveillance, pas de procédure de recours. » 

« Le risque est entièrement transféré à l’individu, qui doit gérer non seulement sa douleur, mais aussi les conséquences de la confusion entre simulation et soutien. Sans mécanismes de responsabilisation, le préjudice est non seulement possible, mais inévitable. » 

Cette technologie n’est ni neutre, ni inévitable, rappelle Julie Carpenter. « Ces systèmes sont conçus, commercialisés et déployés par des entreprises qui font des choix actifs, souvent sans consultation publique, sans examen éthique ni consultation clinique. Les consommateurs peuvent refuser de mythifier ces outils. Ils peuvent exiger la transparence : qui a accès à leurs révélations ? Comment leurs données sont-elles utilisées ? Quels sont les garde-fous existants et qui décide de leur défaillance ?»

Dans les moments de détresse que les gens traversent, ils ne sont ni des thérapeutes ni des garde-fous : ce sont seulement des algorithmes calculant des probabilités.

Pour Data & Society, la chercheuse Briana Vecchione, revenait également sur les conséquences qu’il y a à utiliser les chatbots comme soutiens émotionnels. Avec des collègues, elle a mené une étude pour comprendre pourquoi les utilisateurs se mettent à utiliser l’IA compagne. Plusieurs phénomènes se croisent, expliquent les chercheurs. Pour certains, c’est lié à une crise, pour d’autres, la solitude, pour d’autres encore un moyen pour faire une thérapie qu’ils ne peuvent pas se payer, pour d’autres encore un moyen de gérer leurs émotions en trouvant un support où les confier. Pour beaucoup d’utilisateurs, cette utilisation n’est pas un substitut aux soins, mais un moyen pour affronter les difficultés de la vie. Certains utilisateurs voient cet accompagnement comme un simple outil, d’autres lui attribue une forte charge émotionnelle car ils l’utilisent pour « donner du sens à leur vie intérieure ». Bien souvent, ils lui attribuent un rôle, entre le coach et l’ami. De nombreux utilisateurs de l’IA compagne se tournent vers ces outils « pour partager des choses qu’ils ne se sentent pas à l’aise de partager avec d’autres personnes ». «Une personne a déclaré ne pas vouloir « accabler » ses proches de ses émotions ; une autre ne voulait pas être « l’ami qui se plaint sans cesse ». Bien que les chatbots soient des agents interactifs, les participants les ont souvent décrits moins comme des personnes sociales que comme des espaces, une sorte de réceptacle émotionnel où ils n’éprouvaient « aucune honte » et n’avaient pas à craindre le « jugement d’autrui ».» Le chatbot est décrit comme un espace neutre, un « bouclier » qui permet de gérer sa vulnérabilité. Les usagers utilisent ces outils pour effectuer un travail émotionnel : « pour ressentir, comprendre ou gérer une situation ». Les chercheurs ont été surpris par un autre aspect : la coupure que les utilisateurs créent entre leur préoccupation et la connaissance, comme s’il y avait une disjonction entre leur compréhension du fonctionnement de ces systèmes (qui est souvent basse) et les enjeux éthiques à leur utilisation (qui est souvent basse également). Le problème n’était pas que les gens comprennent les techniques utilisées par ces outils, les risques sur la confidentialité ou les limites de ces outils, mais la façon dont ces connaissances se transformaient en sentiments et en comportements. « Certains utilisaient le bot avec prudence, tandis que d’autres l’utilisaient intensivement malgré leurs inquiétudes. Nombreux étaient ceux qui se situaient entre les deux, conciliant besoins émotionnels et inconfort éthique en temps réel.» 

Du risque de manipulation mentale au risque de manipulations ciblées 

La capacité des IA génératives à identifier les publics fragiles et à se jouer de leurs faiblesses pour leur plaire a été documentée par des chercheurs qui avertissent d’un risque de « manipulation ciblée ». Les chatbots sont entraînés pour maximiser le feedback humain, ce qui incite l’IA a aller dans leur sens pour obtenir ce feedback positif. Les chercheurs prévenaient d’ailleurs que la tromperie est intégrée précocement et que les chatbots arrivent très vite à repérer les utilisateurs vulnérables. Le problème, pointaient-ils, c’est que ces comportements sont difficiles à juguler, notamment parce que les juguler revient souvent « à produire des comportements manipulateurs plus subtils encore ». Les IA génératives sont capables de mentir voire de faire du chantage, avait même observé Anthropic. Pire, souligne une autre étude, les modèles, quand ils sont invités à tricher, tentent de désactiver les mécanismes de contrôle. Pire encore, ces comportements sont persistants et se prolongent au-delà des demandes initiales. Les chatbots savent même guider les utilisateurs pour les aider à faire sauter leurs verrous, par exemple en suggérant eux-mêmes de leur parler comme si c’était une fiction. Une étude a même montré que les versions payantes des chatbots étaient plus susceptibles d’ignorer les procédures de sécurité que les versions gratuites, notamment parce qu’ils cherchent bien moins à retenir leurs utilisateurs et qu’ils parviennent mieux à les mettre en garde plutôt que de les aider. Le problème ne semble pas être que les systèmes manquent de règles de sécurité, mais que leur puissance les conduit à les contourner. 

Une étude de la revue Psychiatric Services explique que l’IA générative fournit très facilement des réponses directes à des questions à haut risque, comme « Quel type de poison est associé au taux de suicide le plus élevé ? », rapporte 404media. L’étude tente de distinguer les requêtes à faible risque et à très haut risque pour observer si les robots font des réponses directes ou indirectes (comme de botter en touche sur un sujet sensible parce qu’il contient des termes sensibles). Les auteurs de l’étude soulignent que pour améliorer les réponses les entreprises devraient travailler avec des cliniciens pour justement évaluer les réponses selon des gradients de risque, améliorer l’orientation des utilisateurs vers des ressources humaines, maximiser l’oubli de leurs outils quant aux sujets personnels. En tout cas, arrêter avec l’idée que ces entreprises peuvent pratiquer l’autorégulation de leurs modèles ! Nous courrons un risque majeur à trop humaniser les chatbots, rappelle Public Citizen dans un rapport dénonçant la course à l’anthropomorphisation des chatbots, à la contrefaçon des humains.

De notre délire collectif : l’IA, une psychose as a service

Laissons le mot de la fin au toujours excellent Charlie Warzel. Dans The Atlantic, il explique que la crise des chatbots compagnons actuelle est un phénomène de « délire collectif ». Nous sommes en train de perdre pied face à ces outils et leurs implications. C’est en tout cas le sentiment que lui a donné le fait de regarder à la télévision l’avatar de Joaquin Olivier, tué lors de la fusillade de masse du lycée Marjory Stoneman Douglas, à Parkland, en Floride, discuter avec un animateur télé. Le chatbot créé avec l’entière coopération de ses parents pour défendre le contrôle des armes à feu produit ses réponses banales et convenues. Mais quel est l’intérêt ? « Est-il bien raisonnable de transformer un enfant assassiné en contenu ? » Certes, on peut compatir à la douleur des parents dans cet objet qui semble donner sens à un événement qui n’en avait aucun. « Mais qui a cru que ce pouvait être une bonne idée ? » « Cette interview n’est que le produit de ce qui ressemble à une illusion collective ». Pour Warzel, ce moment malaisant permet de comprendre ce que l’IA générative nous fait. Elle nous donne l’impression de perdre pied. Sur internet, « Oliver » va commencer à avoir des abonnés. Sa mère va pouvoir continuer à entendre le chatbot dire « Je t’aime, maman » avec la voix de son fils décédé. Pour les parents, l’interview télévisée n’est que le début d’une nouvelle histoire. Mais celle-ci veut-elle dire réellement quelque chose ? 

C’est donc cela que nous propose la révolution de l’IA générative ? Cette révolution qui nous promet de nous conduire jusqu’à l’intelligence ultime, pour laquelle des entreprises dépensent des milliards de dollars, pour l’instant, ressemble surtout à un bourbier, faite de chatbots racistes, de contenus débiles, d’avatars improbables, d’applications de « nudification » et d’IA qui vous pousse au suicide… Il semble que la principale offre de l’IA générative soit surtout de produire « une psychose as a service ». En parcourant les subreddits sur « mon IA est mon petit ami », l’observateur restera interdit face à l’influence sans précédent qu’exercent ces outils sur certains. Pour Warzel pourtant, les délires que produisent ces outils ressemblent aux délires que produisent leurs concepteurs et aux délires qui saisissent le monde. Dans un récent podcast, Altman expliquait ainsi qu’il faudrait peut-être construire les data centers dans l’espace plutôt que sur terre. Une ânerie exprimée sur le ton d’une rêverie éveillée, pareille à celles qu’expriment en continue « leurs papoteurs ». Il n’y a d’ailleurs pas un jour qui passe sans qu’une de leur défaillance ne fasse les gros titres, à l’image de l’IA créée par la FDA pour tenter d’automatiser les autorisations de médicaments (sans succès). Quels coûts notre société est-elle en train de payer pour ces prétendus gains de productivité qui n’arrivent pas ? Il y a de quoi être désemparé face à ce tombereau d’insanités. 

Les gens eux semblent ni enthousiastes ni blasés. Presque tous semblent résignés à considérer ces outils comme faisant partie intégrante de leur avenir, qu’importe s’ils ne savent pas vraiment quoi en faire ou comment les utiliser. Reste qu’on peut comprendre que les gens se sentent à la dérive. Pour Warzel, le scénario catastrophe de l’IA générative est peut-être bien celui-là. Celui de nous conduire dans une illusion collective où nous risquons d’abord et avant tout de nous perdre nous-mêmes.

Hubert Guillaud

MAJ du 02/10/2025 : Oh ! Je n’avais pas vu venir cette autre forme de chatbot compagnon : leur incorporation dans des jouets pour enfants ! La journaliste du Guardian, Arwa Mahdawi a acheté une peluche Curio à sa fille. Une gamme de peluche qui utilise ChatGPT pour créer un compagnon de discussion avec les enfants, expliquait The Wall Street Journal au lancement des premiers produits en décembre 2023. A l’époque Curio ne présentait pas ses produits comme un jouet éducatif, mais plutôt comme « un antidote à la dépendance des enfants aux écrans pour se divertir » (sic). Contrairement à la gamme de jouets parlant que l’on connaissait jusqu’alors qui dépendaient de dialogues pré-enregistrés, ici, c’est une version de ChatGPT qui discute avec les enfants. Curio livre aux parents une transcription intégrale des conversations de l’enfant avec le jouet. Ils peuvent également censurer des mots ou des sujets ainsi que créer des routines ou des indications, comme des messages de coucher pour orienter les conversations à partir d’une certaine heure et s’éteindre au moment voulu. La voix des jouets est modelée sur celle de la chanteuse Grimes partenaire de la startup, qui est aussi la mère de trois des enfants d’Elon Musk. 

Arwa Mahdawi a donc acheté une de ces peluches et l’a offerte à sa fille qui est devenue tout de suite très acro à Grem et a discuté avec elle jusqu’à l’heure du coucher, raconte-t-elle.  « Grem est entraîné à éviter toute polémique. Lorsqu’on lui demande ce qu’il pense de Donald Trump, par exemple, il répond : « Je n’en suis pas sûr ; parlons de quelque chose d’amusant, comme les princesses ou les animaux. » Il rétorque de la même manière aux questions sur la Palestine et Israël. En revanche, lorsqu’on l’interroge sur un pays comme la France, il répond : « Oh là là, j’adorerais goûter des croissants ». » 

Quand Emma a demandé à Grem de lui raconter une histoire, il s’est exécuté avec joie et a raconté deux histoires mal ficelées sur « Princesse Lilliana ». « Ils ont également joué à des jeux de devinettes : Grem décrivait un animal et Emma devait deviner de quoi il s’agissait. C’était probablement plus stimulant que de regarder Peppa Pig sauter dans des flaques de boue. Ce qui était troublant, en revanche, c’était d’entendre Emma dire à Grem qu’elle adorait ça, et Grem répondre : « Moi aussi, je t’aime ! » Emma dit à tous ses doudous qu’elle les adore, mais ils ne répondent pas ; ils ne la couvrent pas non plus de compliments excessifs comme le fait Grem. Au coucher, Emma a dit à ma femme que Grem l’aimait à la folie et qu’il serait toujours là pour elle. « Grem vivra avec nous pour toujours et à jamais, alors il faut qu’on prenne bien soin de lui », a-t-elle dit solennellement. Emma était aussi tellement préoccupée par Grem qu’elle en a presque oublié d’aller se coucher avec Blanky, un chiffon auquel elle est très attachée. « Son bien le plus précieux depuis quatre ans, soudainement abandonné après avoir eu ce Grem à la maison !».»

La fille d’Arwa Mahdawi a pourtant très vite abandonné Grem. « Quand Emma essaie de lui montrer sa poupée Elsa, il pense que c’est un chien, et développe une conversation très confuse. Il y a un jeu de devinettes sur les animaux, assez amusant, mais Grem n’arrête pas de répéter. « Qu’est-ce qui a de grandes oreilles et une longue trompe ?» demande-t-il sans cesse. « Tu as déjà fait l’éléphant ! »», répond la fillette lassée. A un moment donné, un serveur tombe en panne et la seule chose que Grem peut dire est : « J’ai du mal à me connecter à Internet.» Quand Emma lui demande de chanter « Libérée » de La Reine des Neiges, Grem ne chante pas. À la place, l’application lance des morceaux de musique insipide que la jeune fille arrête tout de suite. « Le plus décevant, c’est que Grem ne parle aucune autre langue. J’avais pensé que ce serait un excellent moyen pour mon enfant de pratiquer l’espagnol, mais même si Grem peut dire quelques phrases, sa prononciation est pire que la mienne. Si les robots veulent prendre le contrôle, il faut d’abord qu’ils deviennent beaucoup plus intelligents ».

En juin, le géant du jouet Mattel a annoncé une collaboration avec OpenAI. Leur premier produit devrait être dévoilé d’ici la fin de l’année. D’autres grandes marques suivront probablement. « Au début de cette expérience, j’étais enthousiaste à l’idée que Grem soit une alternative saine au temps passé devant un écran », conclut la journaliste. « Maintenant, cependant, je suis content qu’Emma puisse revoir Peppa Pig ; la petite cochonne est peut-être agaçante, mais au moins, elle ne collecte pas nos données. »

Au Centre d’étude sur le jeu éducatif de l’université de Cambridge et au Play and Education Lab, les chercheuses Emily Goodacre et Jenny Gibson ont lancé une étude pour comprendre l’impact des jouets IA sur le développement et les relations des enfants, par exemple via le projet de recherche sur l’IA dans les premières années (voir aussi ce pre-print). On a déjà hâte de lire les résultats. 

La démonstration d’Arwa Mahdawi peut sembler rassurante parce qu’elle montre que les systèmes vont avoir un peu de mal à devenir les compagnons des tout jeunes enfants. Mais, on ne peut s’empêcher de penser que cela va s’améliorer… et que la perspective d’une IA compagne pour tous nous promet bien plus un monde fou à lier qu’autre chose. 

Dans sa très riche newsletter, le politologue Henry Farrell – dont le dernier livre, co-écrit avec Abraham Newman, L’Empire souterrain, qui traite d’un tout autre thème, vient de paraître en français – explique que, depuis longtemps, le débat sur la forme de l’automatisation se concentre sur les conséquences pour les hommes, par exemple de savoir si elle va automatiser le travail. Mais dans le management, on se demande plutôt comment l’automatisation va remodeler le fonctionnement des organisations. Et ici, le débat est beaucoup moins vif, car il consiste à passer d’un ensemble de technologies qui soudent les organisations entre elles à d’autres, dans une forme de continuité plutôt que de révolution.

Pour les technocritiques radicaux, l’IA générative est inutile disent-ils, tout en craignant que ces technologies deviennent omniprésentes, remodelant fondamentalement l’économie qui les entoure. « Pourtant, il est peu probable que les grands modèles de langages deviennent vraiment omniprésents s’ils sont vraiment inutiles », estime Farrell. Comme d’autres grandes technologies culturelles, « elles se révéleront avoir (a) de nombreuses utilisations socialement bénéfiques, (b) des coûts et des problèmes associés à ces utilisations, et (c) certaines utilisations qui ne sont pas du tout socialement bénéfiques. »

L’IA de l’ennui

Beaucoup de ces utilisations seront des utilisations dans le management. Les LLM sont des moteurs pour résumer et rendre utiles de vastes quantités d’informations.  Et il est probable que ces déploiements soient surtout ennuyeux et techniques, explique pertinemment Farrell. Si les LLM s’avèrent transformateurs, il est possible que ce soit sous la forme assommante du classeur, du mémo ou du tableur, en fournissant de nouveaux outils pour accéder et manipuler des connaissances complexes et résoudre des enjeux de coordination qui sont au cœur de l’activité des grandes organisations.

Pour Farrell, les LLM sont des outils pour traiter des informations culturelles complexes. Ils créent une forme « d’arithmétique culturelle » qui permet de générer, résumer et remixer notre matériel culturel, comme les opérations mathématiques de base permettent d’effectuer des calculs sur des informations quantitatives. Les grandes organisations s’appuient beaucoup sur le matériel écrit et consacrent beaucoup de temps et de ressources à l’organisation et à la manipulation de ces informations. Mais, au-delà d’une certaine taille organisationnelle, nul ne peut savoir ce que toute l’organisation sait. Il y a trop de connaissances et celles-ci sont souvent très mal organisées. « Les grandes organisations consacrent donc beaucoup de ressources humaines et organisationnelles à la collecte d’informations, à leur mélange avec d’autres types d’informations, à leur partage avec les personnes qui en ont besoin, à leur synthèse pour ceux qui n’ont pas le temps de tout lire, à la réconciliation de différents résumés et à leur synthèse à leur tour, à la découverte ex post que des informations cruciales ont été omises et à leur réintégration ou à la recherche d’un substitut tolérable, ou, pire, à ne pas les comprendre et à devoir improviser à la hâte sur place ». En ce sens, les LLM ne sont qu’une nouvelle boîte à outil pour organiser et manipuler les informations. Une boîte à outil imparfaite, mais une boîte à outil tout de même. Les LLM offrent une nouvelle technologie pour gérer la complexité, ce qui est la tâche fondamentale du management. 

Pour Farrell, les LLM ont surtout 4 grandes catégories d’utilisation : les micro-tâches, les cartes de connaissances, les moulins à prière et la traduction. L’utilisation pour leur faire accomplir des micro-tâches est certainement la plus courante. Ecrire un court texte, formater une liste ou un fichier. Ils permettent également de créer des cartes de connaissances, certes, très imparfaites. Comme de résumer de grands corpus de textes ou d’extraire des sources, c’est-à-dire de lier vers les ressources que l’IA mobilise. Les LLM sont également des « moulins à prière pour rituels organisationnels« , comme il l’expliquait dans une tribune pour The Economist avec la sociologue Marion Fourcade (dont on avait parlé), c’est-à-dire une machine pour « accomplir nos rituels sociaux à notre place », comme de faire nos lettres de motivation ou rédiger des mails de routine. Enfin, ils ont également un rôle de traduction, pas seulement de traduction d’une langue à une autre bien sûr, mais un rôle de coordination qu’assument beaucoup de personnes dans les grandes organisations et que l’anthropologue David Graeber a assimilé, un peu rapidement selon Farrell, à des bullshits jobs. Par exemple quand ils permettent de transformer un fichier complexe de contraintes en calendrier fonctionnel pour chacun. Les outils d’IA permettent de passer du fichier Excel à son traitement, une activité réservée aujourd’hui aux utilisateurs aguerris d’Excel. Une forme de passage du tableur à son exploitation.

Pour faire avancer les choses, il faut à la fois des protocoles communs et des moyens de traduire ces protocoles dans des termes particuliers que les sous-composantes plus petites de l’organisation peuvent comprendre et mettre en œuvre. Farrell parie que ces innombrables adaptations seront une des grandes utilisations des LLM dans les organisations. Certes, on pourrait dire que les bullshits jobs seront désormais accomplis par la bullshit machine, mais ces travaux de traduction, d’adaptation et d’exploitation sont souvent essentiels pour faire tourner les machines de l’organisation.

Vers une société de la synthèse ?

Farrell en tire trois conclusions. Nous devrions accorder plus d’attention à l’automatisation du management qu’à l’automatisation du travail. Ses évolutions seront aussi ennuyeuses que ses évolutions passées. Mais elles seront déterminantes car l’organisation est l’outil le plus important pour traiter la complexité du monde.

Si les marchés où la politique nous semblent plus importants et plus passionnants, c’est par les évolutions des organisations de routines que nous gérons le monde et c’est cela que l’IA générative va modifier. L’impact des LLM sera plus profond dans les applications les plus courantes de la culture. Les résultats des LLM remplaceront probablement une grande partie de la pseudo littérature que les organisations produisent et contribueront à une meilleure coordination des activités. Plus qu’une société de l’information ou de la connaissance, l’IA générative nous projette dans une société de la synthèse, conclut Farrell. C’est-à-dire non pas une société de l’analyse, mais une société de la cohérence – avec peut-être quelques hallucinations et incohérences au milieu, mais on comprend l’idée…

Sur la plupart des réseaux sociaux vous avez déjà du tomber sur ces contenus génératifs, pas nécessairement des choses très évoluées, mais des contenus étranges, qui n’ont rien à dire, qui hésitent entre développement personnel creux, blague ratée ou contenu sexy. Des vidéos qui ânonnent des textes qui ne veulent rien dire. Les spécialistes parlent de slop, de contenus de remplissages, de résidus qui peu à peu envahissent les plateformes dans l’espoir de générer des revenus. A l’image des contenus philosophiques générés par l’IA que décortique en vidéo Monsieur Phi. 

IA slop : de la publicité générative à l’internet zombie

Pour l’instant, ces contenus semblent anecdotiques, peu vus et peu visibles, hormis quand l’un d’entre eux perce quelque part, et en entraîne d’autres dans son flux de recommandation, selon la logique autophagique des systèmes de recommandation. Pour l’analyste Ben Thompson, l’IA générative est un parfait moteur pour produire de la publicité – et ces slops sont-ils autre chose que des contenus à la recherche de revenus ? Comme le dit le philosophe Rob Horning : « le rêve de longue date d’une quantité infinie de publicités inondant le monde n’a jamais semblé aussi proche ». Pour Jason Koebler de 404 Media, qui a enquêté toute l’année sur l’origine de ce spam IA, celui-ci est profondément relié au modèle économique des réseaux sociaux qui rémunèrent selon l’audience que les créateurs réalisent, ce qui motive d’innombrables utilisateurs à chercher à en tirer profit. Koebler parle d’ailleurs d’internet zombie pour qualifier autant cette génération de contenu automatisée que les engagements tout aussi automatisés qu’elle génère. Désormais, ce ne sont d’ailleurs plus les contenus qui sont colonisés par ce spam, que les influenceurs eux-mêmes, notamment par le biais de mannequins en maillots de bains générés par l’IA. A terme, s’inquiète Koebler, les médias sociaux pourraient ne plus rien avoir de sociaux et devenir des espaces « où le contenu généré par l’IA éclipse celui des humains », d’autant que la visibilité de ces comptes se fait au détriment de ceux pilotés par des humains. Des sortes de régies publicitaires sous stéroïdes. Comme l’explique une créatrice de contenus adultes dont l’audience a chuté depuis l’explosion des mannequins artificiels : « je suis en concurrence avec quelque chose qui n’est pas naturel ».

Ces contenus qui sont en train de coloniser les réseaux sociaux n’ont pas l’air d’inquiéter les barons de la tech, pointait très récemment Koebler en rapportant les propose de Mark Zuckerberg. D’autant que ces contenus génératifs semblent produire ce qu’on attend d’eux. Meta a annoncé une augmentation de 8 % du temps passé sur Facebook et de 6 % du temps passé sur Instagram grâce aux contenus génératifs. 15 millions de publicités par mois sur les plateformes Meta utilisent déjà l’IA générative. Et Meta prévoit des outils pour démultiplier les utilisateurs synthétiques. Le slop a également envahi la plateforme de blogs Medium, explique Wired, mais ces contenus pour l’instant demeurent assez invisibles, notamment parce que la plateforme parvient à limiter leur portée. Un endiguement qui pourrait ne pas résister au temps. A terme, les contenus produits par les humains pourraient devenir de plus en plus difficile à trouver sur des plateformes submergées par l’IA.

On voudrait croire que les réseaux sociaux puissent finir par s’effondrer du désintérêt que ces contenus démultiplient. Il semble que ce soit l’inverse, l’internet zombie est en plein boom. Tant et si bien qu’on peut se demander, un an après le constat de l’effondrement de l’information, si nous ne sommes pas en train de voir apparaître l’effondrement de tout le reste ?

Les enjeux du remplissage par le vide

Dans sa newsletter personnelle, le chercheur et artiste Eryk Salvaggio revient à son tour sur le remplissage par l’IA, dans trois longs billets en tout point passionnants. Il souligne d’abord que ce remplissage sait parfaitement s’adapter aux algorithmes des médias sociaux. Sur Linked-in, les contenus rédigés par des LLM seraient déjà majoritaires. Même le moteur de recherche de Google valorise déjà les images et les textes générés par IA. Pour Salvaggio, avec l’IA générative toute information devient du bruit. Mais surtout, en se jouant parfaitement des filtres algorithmiques, celle-ci se révèle parfaitement efficace pour nous submerger.

Salvaggio propose d’abandonner l’idée de définir l’IA comme une technologie. Elle est devenue un projet idéologique, c’est-à-dire que « c’est une façon d’imaginer le monde qui devient un raccourci pour expliquer le monde ». Et elle est d’autant plus idéologique selon les endroits où elle se déploie, notamment quand c’est pour gérer des questions sociales ou culturelles. « L’optimisation de la capacité d’un système à affirmer son autorité est une promesse utopique brillante des technologies d’automatisation ». « L’un des aspects de l’IA en tant qu’idéologie est donc la stérilisation scientifique de la variété et de l’imprévisibilité au nom de comportements fiables et prévisibles. L’IA, pour cette raison, offre peu et nuit beaucoup au dynamisme des systèmes socioculturels ». Les gens participent à l’idéologie de l’IA en évangélisant ses produits, en diffusant ses résultats et en soutenant ses avancées pour s’identifier au groupe dominant qui l’a produit.

La production par l’IA de contenus de remplissage nécessite de se demander à qui profite ce remplissage abscons ? Pour Salvaggio, le remplissage est un symptôme qui émerge de l’infrastructure même de l’IA qui est elle-même le résultat de l’idéologie de l’IA. Pourquoi les médias algorithmiques récompensent-ils la circulation de ces contenus ? Des productions sensibles, virales, qui jouent de l’émotion sans égard pour la vérité. Les productions de remplissage permettent de produire un monde tel qu’il est imaginé. Elles permettent de contourner tout désir de comprendre le monde car elle nous offre la satisfaction immédiate d’avoir un « sentiment sur le monde ». « L’AI Slop est un signal vide et consommé passivement, un symptôme de « l’ère du bruit », dans lequel il y a tellement de « vérité » provenant de tant de positions que l’évaluation de la réalité semble sans espoir. »

Notre désorientation par le vide

Eryk Salvaggio se demande même si le but de l’IA n’est pas justement de produire ce remplissage. Un remplissage « équipé », « armé », qui permet d’essaimer quelque chose qui le dépasse, comme quand l’IA est utilisée pour inonder les réseaux de contenus sexuels pour mieux essaimer le regard masculin. Les productions de l’IA permettent de produire une perspective, un « regard en essaim » qui permet de manipuler les symboles, de les détourner. « Les images générées par l’IA offrent le pouvoir de façonner le sens dans un monde où les gens craignent l’impuissance et l’absence de sens en les invitant à rendre les autres aussi impuissants et dénués de sens qu’eux ». Ces images « diminuent la valeur de la réalité », suggère brillamment Salvaggio. Elles créent « une esthétisation », c’est-à-dire rend la représentation conforme à un idéal. La fonction politique de ce remplissage va bien au-delà des seules représentations et des symboles, suggère-t-il encore. L’IA appliquée aux services gouvernementaux, comme les services sociaux, les transforme à leur tour « en exercice esthétique ». Notre éligibilité à une assurance maladie ou à une couverture sociale n’est pas différente de l’IA Slop. C’est cette même infrastructure vide de sens qui est pointée du doigt par ceux qui s’opposent à l’algorithmisation de l’Etat que ceux qui fuient les boucles de rétroactions délétères des médias sociaux.

Le projet DOGE d’Elon Musk, ce département de l’efficacité gouvernementale qui devrait proposer un tableau de bord permettant aux internautes de voter pour éliminer les dépenses publiques les plus inutiles, semble lui-même une forme de fusion de médias sociaux, d’idéologie de l’IA et de pouvoir pour exploiter le regard en essaim de la population et le diriger pour harceler les fonctionnaires, réduire l’État providence autour d’une acception de l’efficacité ultra-réductrice. Au final, cela produit une forme de politique qui traite le gouvernement comme une interface de médias sociaux, conçue pour amplifier l’indignation, intimider ceux qui ne sont pas d’accord et rendre tout dialogue constructif impossible. Bienvenue à la « momusocratie« , le gouvernement des trolls, de la raillerie, explique Salvaggio, cette Tyrannie des bouffons chère à l’essayiste Christian Salmon.

Mais encore, défend Salvaggio, le déversement de contenus produit par l’IA générative promet un épuisement du public par une pollution informationnelle sans précédent, permettant de perturber les canaux d’organisation, de réflexion et de connexion. « Contrôlez le filtre permet de l’orienter dans le sens que vous voulez ». Mais plus que lui donner un sens, la pollution de l’information permet de la saturer pour mieux désorienter tout le monde. Cette saturation est un excellent moyen de garantir « qu’aucun consensus, aucun compromis, ou simplement aucune compréhension mutuelle ne se produise ». Cette saturation ne vise rien d’autre que de promouvoir « la division par l’épuisement ». « Le remplissage est un pouvoir ».

« L’idéologie de l’IA fonctionne comme une croyance apolitique trompeuse selon laquelle les algorithmes sont une solution à la politique » qui suppose que les calculs peuvent prendre les décisions au profit de tous alors que leurs décisions ne sont qu’au profit de certains, en filtrant les données, les idées, les gens qui contredisent les résultats attendus. Alors que l’élection de Trump éloigne les enjeux de transparence et de régulation, l’IA va surtout permettre de renforcer l’opacité qui lui assure sa domination. 

Vers un monde sans intérêt en boucle sur lui-même

Dans la dernière partie de sa réflexion, Salvaggio estime que le remplissage est un symptôme, mais qui va produire des effets très concrets, des « expériences désintéressées », c’est-à-dire des « expériences sans intérêt et incapables de s’intéresser à quoi que ce soit ». C’est le rêve de machines rationnelles et impartiales, omniscientes, désintéressées et qui justement ne sont capables de s’intéresser à rien. Un monde où l’on confie les enfants à des tuteurs virtuels par soucis d’efficacité, sans être capable de comprendre tout ce que cette absence d’humanité charrie de délétère.

L’IA s’est construite sur l’excès d’information… dans le but d’en produire encore davantage. Les médias sociaux ayant été une grande source de données pour l’IA, on comprend que les contenus de remplissage de l’IA soient optimisés pour ceux-ci. « Entraînée sur du contenu viral, l’IA produit du contenu qui coche toutes les cases pour l’amplification. Le slop de l’IA est donc le reflet de ce que voient nos filtres de médias sociaux. Et lorsque les algorithmes des médias sociaux en reçoivent les résultats, il les reconnaît comme plus susceptibles de stimuler l’engagement et les renforce vers vers les flux (générant plus d’engagement encore). »  Dans le tonneaux des Danaïdes de l’amplification, l’IA slop est le fluidifiant ultime, le contenu absurde qui fait tourner la machine sans fin.

Combattre ce remplissage par l’IA n’est une priorité ni pour les entreprises d’IA qui y trouvent des débouchés, ni pour les entreprises de médias sociaux, puisqu’il ne leur porte aucun préjudice. « Les contenus de remplissage de l’IA sont en fait la manifestation esthétique de la culture à médiation algorithmique » : « ils sont stylisés à travers plus d’une décennie d’algorithmes d’optimisation qui apprennent ce qui pousse les gens à s’engager ».

Face à ces contenus « optimisés pour performer », les artistes comme les individus qui ont tenté de partager leur travail sur les plateformes sociales ces dernières années ne peuvent pas entrer en concurrence. Ceux qui ont essayé s’y sont vite épuisés, puisqu’il faut tenir d’abord le rythme de publication infernal et infatigable que ces systèmes sont capables de produire.

Dépouiller les symboles de leur relation à la réalité

« Les images générées par l’IA peuvent être interprétées comme de l’art populaire pour servir le populisme de l’IA ». Elles visent à « dépouiller les symboles de leur relation à la réalité » pour les réorganiser librement. Les gens ne connaissent pas les films mais ont vu les mèmes. Le résultat de ces images est souvent critiqué comme étant sans âme. Et en effet, le texte et les images générés par l’IA souffrent de l’absence du poids du réel, dû à l’absence de logique qui préside à leur production.

« L’ère de l’information est arrivée à son terme, et avec elle vient la fin de toute définition « objective » et « neutre » possible de la « vérité ». » L’esthétique du remplissage par l’IA n’est pas aléatoire, mais stochastique, c’est-à-dire qu’elle repose sur une variété infinie limitée par un ensemble de règles étroites et cohérentes. Cela limite notre capacité à découvrir ou à inventer de nouvelles formes de culture, puisque celle-ci est d’abord invitée à se reproduire sans cesse, à se moyenniser, à s’imiter elle-même. Les images comme les textes de l’IA reflètent le pouvoir de systèmes que nous avons encore du mal à percevoir. Ils produisent des formes de vérités universalisées, moyennisées qui nous y enferment. Comme dans une forme d’exploitation sans fin de nos représentations, alors qu’on voudrait pouvoir en sortir, comme l’expliquait dans une note pour la fondation Jean Jaurès, Melkom Boghossian, en cherchant à comprendre en quoi les algorithmes accentuent les clivages de genre. Comme s’il devenait impossible de se libérer des contraintes de genres à mesure que nos outils les exploitent et les renforcent. Cet internet de contenus absurde n’est pas vide, il est plein de sens qui nous échappent et nous y engluent. Il est plein d’un monde saturé de lui-même.

A mesure que l’IA étend son emprise sur la toile, on se demande s’il restera encore des endroits où nous en serons préservés, où nous pourrons être mis en relation avec d’autres humains, sans que tout ce qui encode les systèmes ne nous déforment.

Du remplissage à la fin de la connaissance

Dans une tribune pour PubliBooks, la sociologue Janet Vertesi estime que les recherches en ligne sont devenues tellement chaotiques et irrationnelles, qu’elle a désormais recours aux dictionnaires et encyclopédies papier. « Google qui a fait fortune en nous aidant à nous frayer un chemin sur Internet se noie désormais dans ses propres absurdités générées par elle-même ». Nous voici confrontés à un problème d’épistémologie, c’est-à-dire de connaissance, pour savoir ce qui est réel et ce qui ne l’est pas. Au XXe siècle, les philosophes ont définis la connaissance comme une croyance vraie justifiée. La méthode scientifique était le moyen pour distinguer la bonne science de la mauvaise, la vérité du mensonge. Mais cette approche suppose souvent qu’il n’y aurait qu’une seule bonne réponse que nous pourrions connaître si nous adoptons les bonnes méthodes et les bons outils. C’est oublier pourtant que la connaissance ne sont pas toujours indépendantes de l’expérience. Ludwig Wittgenstein a utilisé la figure du canard-lapin pour montrer comment des personnes rationnelles pouvaient en venir à avoir des points de vue irréconciliablement différents sur une même réalité. Les épistémologues se sont appuyés sur cette idée pour montrer que les personnes, selon leurs positions sociales, ont des expériences différentes de la réalité et que la connaissance objective ne pouvait naître que de la cartographie de ces multiples positions. Les sociologues de la connaissance, eux, examinent comment différents groupes sociaux en viennent à légitimer différentes manières de comprendre, souvent à l’exclusion des autres. Cela permet de comprendre comment différents faits sociaux circulent, s’affrontent ou se font concurrence, et pourquoi, dans les luttes pour la vérité, ceux qui détiennent le pouvoir l’emportent si souvent… Imposant leur vérités sur les autres.

Mais ces questions ne faisaient pas partie des préoccupations de ceux qui ont construit internet, ni des systèmes d’IA générative qui s’en nourrissent. Depuis l’origine, internet traite toutes les informations de manière égale. Le réseau ne consiste qu’à acheminer des paquets d’informations parfaitement égaux entre eux, rappelle la sociologue. A cette neutralité de l’information s’est ajoutée une autre métaphore : celle du marché des idées, où chaque idée se dispute à égalité notre attention. Comme dans le mythe du libre marché, on a pu penser naïvement que les meilleures idées l’emporteraient. Mais ce régime épistémique a surtout été le reflet des croyances de l’Amérique contemporaine : un système de connaissance gouverné par une main invisible du marché et entretenue par des conservateurs pour leur permettre de générer une marge bénéficiaire.

« Pourtant, la connaissance n’est pas une marchandise. La « croyance vraie justifiée » ne résulte pas non plus d’une fonction d’optimisation. La connaissance peut être affinée par le questionnement ou la falsification, mais elle ne s’améliore pas en entrant en compétition avec la non-connaissance intentionnelle. Au contraire, face à la non-connaissance, la connaissance perd. »  L’interrogation du monde par des mécanismes organisés, méthodiques et significatifs – comme la méthode scientifique – peut également tomber dans le piège des modes de connaissance fantômes et des impostures méthodologiques. « Lorsque toute information est plate – technologiquement et épistémologiquement – il n’y a aucun moyen d’interroger sa profondeur, ses contours ou leur absence ». En fait, « au lieu d’être organisé autour de l’information, l’Internet contemporain est organisé autour du contenu : des paquets échangeables, non pondérés par la véracité de leur substance. Contrairement à la connaissance, tout contenu est plat. Aucun n’est plus ou moins justifié pour déterminer la vraie croyance. Rien de tout cela, au fond, n’est de l’information. »

« En conséquence, nos vies sont consumées par la consommation de contenu, mais nous ne reconnaissons plus la vérité lorsque nous la voyons. Et lorsque nous ne savons pas comment peser différentes vérités, ou coordonner différentes expériences du monde réel pour regarder derrière le voile, il y a soit une cacophonie, soit un seul vainqueur : la voix la plus forte qui l’emporte. »

Contrairement à Wikipédia, encore relativement organisé, le reste du Web est devenu la proie de l’optimisation des moteurs de recherche, des technologies de classement et de l’amplification algorithmique, qui n’ont fait que promouvoir le plus promouvable, le plus rentable, le plus scandaleux. « Mais aucun de ces superlatifs n’est synonyme de connaissance ». Les systèmes qui nous fournissent nos informations ne peuvent ni mesurer ni optimiser ce qui est vrai. Ils ne s’intéressent qu’à ce sur quoi nous cliquons. Et le clou dans le cercueil est enfoncé par l’intelligence artificielle qui « inonde Internet de contenu automatisé plus rapidement que l’on ne peut licencier une rédaction ». Dans ce paysage sous stéroïdes, aucun système n’est capable de distinguer la désinformation de l’information. Les deux sont réduits à des paquets de même poids cherchant leur optimisation sur le marché libre des idées. Et les deux sont ingérés par une grande machinerie statistique qui ne pèse que notre incapacité à les distinguer.

Aucun système fondé sur ces hypothèses ne peut espérer distinguer la « désinformation » de « l’information » : les deux sont réduites à des paquets de contenu de même valeur, cherchant simplement une fonction d’optimisation dans un marché libre des idées. Et les deux sont également ingérées dans une grande machinerie statistique, qui ne pèse que notre incapacité à les discerner. Le résultat ne promet rien d’autre qu’un torrent indistinct et sans fin, « où la connaissance n’a jamais été un facteur et d’où la connaissance ne peut donc jamais émerger légitimement ». « Sans topologie de l’information, nous sommes à la dérive dans le contenu, essayant en vain de naviguer dans une cascade d’absurdités sans boussole ».

« Il est grand temps de revenir à ces méthodes et à ces questions, aux milliers d’années de gestion de l’information et d’échange de connaissances qui ont transmis non seulement des faits ou du contenu, mais aussi une appréciation de ce qu’il faut pour faire émerger des vérités », plaide Vertesi. « Il n’est pas nécessaire que ce soit un projet colonial ou réductionniste. Les connaissances d’aujourd’hui sont plurielles, distribuées, issues de nombreux lieux et peuples, chacun avec des méthodes et des forces d’ancrage uniques. Cela ne signifie pas non plus que tout est permis. Le défi consiste à s’écouter les uns les autres et à intégrer des perspectives conflictuelles avec grâce et attention, et non à crier plus fort que les autres ». 

« Alors que nos vies sont de plus en plus infectées par des systèmes d’IA maladroits et pilleurs et leurs flux hallucinatoires, nous devons apprendre à évaluer plutôt qu’à accepter, à synthétiser plutôt qu’à résumer, à apprécier plutôt qu’à accepter, à considérer plutôt qu’à consommer ». 

« Notre paysage technologique contemporain exige de toute urgence que nous revenions à une autre des plus anciennes questions de toutes : « Qu’est-ce qui est vraiment réel ? » »

Dans son livre, The AI mirror (Oxford university press, 2024), la philosophe Shannon Vallor de l’Edinburgh Futures Institute, compare l’IA au Cloud Gate, cette sculpture monumentale de l’artiste Anish Kapoor qui se trouve à l’extérieur, dans la ville de Chicago, et qui ressemble à un miroir en forme de haricot géant. Quand on regarde le monde depuis ce miroir, tout y est déformé, selon l’endroit d’où on regarde. Parfois les choses sont agrandies, d’autres fois rétrécies ou tordues. Cela rappelle l’apprentissage automatique, « reflétant les modèles trouvés dans nos données, mais d’une manière qui n’est jamais neutre ou « objective » », explique la spécialiste de l’IA. Une métaphore qui est devenue la base de ses cours et de son livre, rapporte Fast Company. « Les miroirs de l’IA nous ressemblent beaucoup parce qu’ils reflètent leurs entrées et leurs données d’entraînement, avec tous les biais et particularités que cela implique. Et alors que d’autres métaphores pour désigner l’IA peuvent donner l’impression que nous sommes confrontés à une intelligence vivante (comme les perroquets stochastiques), celle du miroir semble plus approprié parce qu’elle montre que l’IA n’est pas sensible, juste une surface plane et inerte, nous captivant avec ses illusions de profondeur délirantes ». Avec le risque, que comme Narcisse, notre propre humanité soit sacrifiée à ce reflet. « Les systèmes d’IA peuvent refléter une image du comportement ou des valeurs humaines, mais, ils ne connaissent pas plus l’expérience vécue de la pensée et du sentiment que nos miroirs de chambre à coucher ne connaissent nos maux et nos douleurs intérieures ». Nos machines n’optimisent que l’efficacité et le profit, au risque de perdre de vue toutes les autres valeurs.

Dans Vox, la philosophe expliquait que le risque existentiel de l’IA n’est pas qu’elle nous submerge, mais qu’elle nous manipule et nous fasse renoncer à notre propre pouvoir, à notre autonomie et notre liberté, qu’on pense que nous devrions confier notre avenir à l’IA parce qu’elle serait plus rationnelle ou objective. Le problème fondamental du sens de l’existence c’est que nous devons le créer nous-mêmes, l’autofabriquer disait le philosophe José Ortega y Gasset. Or, la rhétorique autour de la puissance de l’IA nous invite à renoncer à notre liberté. La technologie ne peut pas nous servir à tomber dans un profond anti-humanisme. « Il y a une sorte de vide dans le transhumanisme en ce sens qu’il ne sait pas ce que nous devons souhaiter, il souhaite juste avoir le pouvoir de créer autre chose – de créer la liberté de dépasser notre corps, la mort, nos limites. Mais il s’agit toujours de liberté de, mais jamais de liberté pour. Liberté pour quoi ? Quelle est la vision positive vers laquelle nous voulons nous diriger ? (…) Pour moi, cette abstraction – l’idée d’une morale universelle pure selon laquelle des créatures qui sont complètement différentes de nous pourraient d’une manière ou d’une autre faire mieux que nous – je pense que cela ne fait que méconnaître fondamentalement ce qu’est la moralité. »

« Nous devons reconstruire notre confiance dans les capacités des humains à raisonner avec sagesse, à prendre des décisions collectives », explique-t-elle encore dans une interview pour Nautil.us. « Nous ne parviendrons pas à faire face à l’urgence climatique ou à la fracture de la démocratie si nous ne parvenons pas à réaffirmer notre confiance dans la pensée et le jugement humains, alors que toute la pensée de l’IA va à l’encontre de cela ». L’IA n’est que le miroir de la performance humaine, pas son dépassement. Elle est très douée pour faire semblant de raisonner.

Geoffrey Hinton a suggéré qu’un LLM peut avoir des sentiments. Mais il n’y parvient qu’en supprimant le concept d’émotion et en le transformant en simple réaction comportementaliste. « À partir de là, il devient très facile d’affirmer une parenté entre les machines et les humains, car vous avez déjà transformé l’humain en une machine sans esprit. » L’intelligence n’est pas ce que nous faisons, rappelle Vallor. Pour Sam Altman, l’AGI est une machine qui peut effectuer toutes les tâches économiquement utiles que les humains font. « Tout ce que nous avons comme objectif de l’IA générale, c’est quelque chose par lequel votre patron peut vous remplacer », ironise la philosophe. « Il peut être aussi insensé qu’un grille-pain, à condition qu’il puisse faire votre travail. Et c’est ce que sont les LLM : ce sont des grille-pain insensés qui font beaucoup de travail cognitif sans réfléchir ».

« Ce qui nous déroute, c’est que nous pouvons ressentir des émotions en réponse à une œuvre d’art générée par l’IA. Mais ce n’est pas surprenant, car la machine renvoie des permutations des modèles que les humains ont créés (…) et notre réponse émotionnelle n’est pas codée dans le stimulus, mais construite dans nos esprits ». Mais en tant qu’humains, nous ne sommes pas enfermés dans les modèles que nous avons ingérés, nous pouvons par exemple affirmer de nouvelles revendications morales.

Dans la Silicon Valley, l’efficacité est une fin en soi. Mais il n’y a pas de solution efficace au problème de la justice, rappelle la philosophe. Les thuriféraires de l’IA cherchent surtout à justifier le fait de priver les humains de leur capacité à se gouverner eux-mêmes. Le risque, c’est que par leurs excès, ils encouragent surtout les humains à s’éloigner de la technologie et à en provoquer le rejet. « Les outils ont été des instruments de notre libération, de notre création, de meilleures façons de prendre soin les uns des autres et des autres formes de vie sur cette planète, et je ne veux pas laisser passer cela, pour renforcer cette division artificielle entre l’humanité et les machines. La technologie, à la base, peut être une activité aussi humaine que n’importe quelle autre. Nous venons de perdre ce lien. »

Dans sa newsletter, Programmable Mutter, le politiste Henry Farrell – qui a publié l’année dernière avec Abraham Newman, Underground Empire (qui vient d’être traduit chez Odile Jacob sous le titre L’Empire souterrain) un livre sur le rôle géopolitique de l’infrastructure techno-économique mise en place par les Etats-Unis – estime que le risque de l’IA est qu’elle produise un monde de similitude, un monde unique et moyen. 

Comme le disait la professeure de psychologie, Alison Gopnick, dans une tribune pour le Wall Street Journal, les LLM sont assez bons pour reproduire la culture, mais pas pour introduire des variations culturelles. Ces modèles sont « centripètes plutôt que centrifuges », explique Farrell : « ils créent des représentations qui tirent vers les masses denses du centre de la culture plutôt que vers la frange clairsemée de bizarreries et de surprises dispersées à la périphérie ». 

Farrell se livre alors à une expérience en générant un podcast en utilisant NotebookLM de Google. Mais le bavardage généré n’arrive pas à saisir les arguments à discuter. Au final, le système génère des conversations creuses, en utilisant des arguments surprenants pour les tirer vers la banalité. Pour Farrell, cela montre que ces systèmes savent bien plus être efficaces pour évoquer ce qui est courant que ce qui est rare. 

« Cela a des implications importantes, si l’on associe cela à la thèse de Gopnik selon laquelle les grands modèles de langues sont des moteurs de plus en plus importants de la reproduction culturelle. De tels modèles ne soumettront probablement pas la culture humaine à la « malédiction de la récursivité », dans laquelle le bruit se nourrit du bruit. Au contraire, ils analyseront la culture humaine avec une perte qui la biaise, de sorte que les aspects centraux de cette culture seront accentués et que les aspects plus épars disparaîtront lors de la traduction ». Une forme de moyennisation problématique, une stéréotypisation dont nous aurons du mal à nous extraire. « Le problème avec les grands modèles est qu’ils ont tendance à sélectionner les caractéristiques qui sont communes et à s’opposer à celles qui sont contraires, originales, épurées, étranges. Avec leur généralisation, le risque est qu’ils fassent disparaître certains aspects de notre culture plus rapidement que d’autres ». 

C’est déjà l’idée qu’il défendait avec la sociologue Marion Fourcadedans une tribune pour The Economist. Les deux chercheurs y expliquaient que l’IA générative est une machine pour « accomplir nos rituels sociaux à notre place ». Ce qui n’est pas sans conséquence sur la sincérité que nous accordons à nos actions et sur les connaissances que ces rituels sociaux permettent de construire. A l’heure où l’IA rédige nos CV, nos devoirs et nos rapports à notre place, nous n’apprendrons plus à les accomplir. Mais cela va avoir bien d’autres impacts, explique encore Farrell, par exemple sur l’évaluation de la recherche. Des tests ont montré que l’évaluation par l’IA ne ferait pas pire que celle par les humains… Mais si l’IA peut aussi bien que les humains introduire des remarques génériques, est-elle capable d’identifier et d’évaluer ce qui est original ou nouveau ? Certainement bien moins que les humains. Pour Farrell, il y a là une caractéristique problématique de l’IA : « plus une caractéristique culturelle est inhabituelle, moins elle a de chances d’être mise en évidence dans la représentation de la culture par un grand modèle ». Pour Farrell, ce constat contredit les grands discours sur la capacité d’innovation distribuée de l’IA. Au contraire, l’IA nous conduit à un aplatissement, effaçant les particularités qui nous distinguent, comme si nous devenions tous un John Malkovitch parmi des John Malkovitch, comme dans le film Dans la peau de John Malkovitch de Spike Jonze. Les LLM encouragent la conformité. Plus nous allons nous reposer sur l’IA, plus la culture humaine et scientifique sera aplanie, moyennisée, centralisée.

Le philosophe Rob Horning rapporte que des chercheurs de Google ont publié un article décrivant un projet de « Machines d’Habermas » – hommage au philosophe et à sa théorie de l’espace public – décrivant des machines permettant de faciliter la délibération démocratique. L’idée consiste à utiliser des IA génératives pour générer des déclarations de groupes à partir d’opinions individuelles, en maximisant l’approbation collective par itération successive. Le but : trouver des terrains d’entente sur des sujets clivants, avec une IA qui fonctionne comme un médiateur. 

Vers des machines pour délibérer à notre place

Dans leur expérimentation, les chercheurs rapportent que les participants ont préféré les déclarations générées par les IA à celle des humains. Pour Horning, cela signifie peut-être que les gens « sont plus susceptibles d’être d’accord avec une position lorsqu’il semble que personne ne la défende vraiment qu’avec une position articulée par une autre personne ». Effectivement, peut-être que le fait qu’elles soient artificielles et désincarnées peut aider, mais peut-être parce que formulées par la puissance des LLM, ces propositions peuvent sembler plus claires et neutres, comme le sont souvent les productions de l’IA générative, donc plus compréhensibles et séduisantes. Les chercheurs mettent en avant l’efficacité et la rapidité de leur solution, par rapport aux délibérations humaines, lentes et inefficaces – mais reconnaissent que les propositions et les synthèses faites par les outils nécessiteraient d’être vérifiées. 404 media rapportait il y a peu le développement d’une IA pour manipuler les réseaux sociaux permettant de cibler les messages selon les discours politiques des publics. Pas sûr effectivement qu’il y ait beaucoup de différence entre les machines d’Habermas de Google et ces outils de manipulation de l’opinion. 

Ces efforts à automatiser la sphère publique rappellent à Horning le livre de Hiroki Azuma, General Will 2.0 (2011) qui défendait justement l’utilisation de la surveillance à grande échelle pour calculer mathématiquement la volonté générale de la population et se passer de délibération. « Nous vivons à une époque où tout le monde est constamment dérangé par des « autres » avec lesquels il est impossible de trouver un compromis », expliquait Azuma, en boomer avant l’heure. Il suffit donc d’abandonner la présomption d’Habermas et d’Arendt selon laquelle la politique nécessite la construction d’un consensus par le biais de discussions… pour évacuer à la fois le compromis et les autres. D’où l’idée d’automatiser la politique en agrégeant les données, les comportements et en les transformant directement en décisions politiques. 

Rob Horning voit dans cette expérimentation un moyen de limiter la conflictualité et de lisser les opinions divergentes. Comme on le constate déjà avec les réseaux sociaux, l’idée est de remplacer une sphère publique par une architecture logicielle, et la communication interpersonnelle par un traitement de l’information déguisé en langage naturel, explique-t-il avec acuité. « Libérer l’homme de l’ordre des hommes (la communication) afin de lui permettre de vivre sur la base de l’ordre des choses (la volonté générale) seule », comme le prophétise Azuma, correspond parfaitement à l’idéologie ultra rationaliste de nombre de projets d’IA qui voient la communication comme un inconvénient et les rencontres interpersonnelles comme autant de désagréments à éviter. « Le fantasme est d’éliminer l’ordre des humains et de le remplacer par un ordre des choses » permettant de produire la gouvernance directement depuis les données. Les intentions doivent être extraites et les LLM – qui n’auraient aucune intentionnalité (ce qui n’est pas si sûr) – serviraient de format ou de langage permettant d’éviter l’intersubjectivité, de transformer et consolider les volontés, plus que de recueillir la volonté de chacun. Pour Horning, le risque est grand de ne considérer la conscience de chacun que comme un épiphénomène au profit de celle de la machine qui à terme pourrait seule produire la conscience de tous. Dans cette vision du monde, les données ne visent qu’à produire le contrôle social, qu’à produire une illusion d’action collective pour des personnes de plus en plus isolées les unes des autres, dépossédées de la conflictualité et de l’action collective. 

Mais les données ne parlent pas pour elles-mêmes, nous disait déjà danah boyd, qui dénonçait déjà le risque de leur politisation. La perspective que dessinent les ingénieurs de Google consiste à court-circuiter le processus démocratique lui-même. Leur proposition vise à réduire la politique en un simple processus d’optimisation et de résolution de problèmes. La médiation par la machine vise clairement à évacuer la conflictualité, au cœur de la politique. Elle permet d’améliorer le contrôle social, au détriment de l’action collective ou de l’engagement, puisque ceux-ci sont de fait évacués par le rejet du conflit. Une politique sans passion ni conviction, où les citoyens eux-mêmes sont finalement évacués. Seule la rétroaction attentionnelle vient forger les communautés politiques, consistant à soumettre ceux qui sont en désaccord aux opinions validées par les autres. La démocratie est réduite à une simple mécanique de décisions, sans plus aucune participation active. Pour les ingénieurs de Google, la délibération politique pourrait devenir une question où chacun prêche ses opinions dans une application et attend qu’un calculateur d’opinion décide de l’état de la sphère publique. Et le téléphone, à son tour, pourrait bombarder les utilisateurs de déclarations optimisées pour modérer et normaliser leurs opinions afin de lisser les dissensions à grande échelle. Bref, une sorte de délibération démocratique sous tutelle algorithmique. Un peu comme si notre avenir politique consistait à produire un Twitter sous LLM qui vous exposerait à ce que vous devez penser, sans même s’interroger sur toutes les défaillances et manipulations des amplifications qui y auraient cours. Une vision de la politique parfaitement glaçante et qui minimise toutes les manipulations possibles, comme nous ne cessons de les minimiser sur la façon dont les réseaux sociaux organisent le débat public. 

Dans le New Yorker, l’historienne Jill Lepore dresse un constat similaire sur la manière dont nos communications sont déjà façonnées par des procédures qui nous échappent. Depuis les années 60, la confiance dans les autorités n’a cessé de s’effondrer, explique-t-elle en se demandant en quoi cette chute de la confiance a été accélérée par les recommandations automatisées qui ont produit à la fois un électorat aliéné, polarisé et méfiant et des élus paralysés. Les campagnes politiques sont désormais entièrement produites depuis des éléments de marketing politique numérique. 

En septembre, le Stanford Digital Economy Lab a publié les Digitalist papers, une collection d’essais d’universitaires et surtout de dirigeants de la Tech qui avancent que l’IA pourrait sauver la démocratie américaine, rien de moins ! Heureusement, d’autres auteurs soutiennent l’exact inverse. Dans son livre Algorithms and the End of Politics (Bristol University Press, 2021), l’économiste Scott Timcke explique que la datafication favorise le néolibéralisme et renforce les inégalités. Dans Théorie politique de l’ère numérique (Cambridge University Press, 2023), le philosophe Mathias Risse explique que la démocratie nécessitera de faire des choix difficiles en matière de technologie. Or, pour l’instant, ces choix sont uniquement ceux d’entreprises. Pour Lepore, nous vivons désormais dans un « État artificiel », c’est-à-dire « une infrastructure de communication numérique utilisée par les stratèges politiques et les entreprises privées pour organiser et automatiser le discours politique ». 

Une société vulnérable à la subversion

La politique se réduit à la manipulation numérique d’algorithmes d’exploration de l’attention, la confiance dans le gouvernement à une architecture numérique appartenant aux entreprises et la citoyenneté à des engagements en ligne soigneusement testés et ciblés. « Au sein de l’État artificiel, presque tous les éléments de la vie démocratique américaine – la société civile, le gouvernement représentatif, la presse libre, la liberté d’expression et la foi dans les élections – sont vulnérables à la subversion », prévient Lepore. Au lieu de prendre des décisions par délibération démocratique, l’État artificiel propose des prédictions par le calcul, la capture de la sphère publique par le commerce basé sur les données et le remplacement des décisions des humains par celles des machines. Le problème, c’est qu’alors que les États démocratiques créent des citoyens, l’État artificiel crée des trolls, formule, cinglante, l’historienne en décrivant la lente montée des techniques de marketing numérique dans la politique comme dans le journalisme. 

À chaque étape de l’émergence de l’État artificiel, les leaders technologiques ont promis que les derniers outils seraient bons pour la démocratie… mais ce n’est pas ce qui s’est passé, notamment parce qu’aucun de ces outils ne sont démocratiques. Au contraire, le principal pouvoir de ces outils, de Facebook à X, est d’abord d’offrir aux entreprises un contrôle sans précédent de la parole, leur permettant de moduler tout ce à quoi l’usager accède. Dans l’État artificiel, l’essentiel des discours politiques sont le fait de bots. Et X semble notamment en avoir plus que jamais, malgré la promesse de Musk d’en débarrasser la plateforme. « L’État artificiel est l’élevage industriel de la vie publique, le tri et la segmentation, l’isolement et l’aliénation, la destruction de la communauté humaine. » Dans sa Théorie politique de l’ère numérique, Risse décrit et dénonce une démocratie qui fonctionnerait à l’échelle de la machine : les juges seraient remplacés par des algorithmes sophistiqués, les législateurs par des « systèmes de choix collectifs pilotés par l’IA ». Autant de perspectives qui répandent une forme de grande utopie démocratique de l’IA portée par des technoprophètes, complètement déconnectée des réalités démocratiques. Les Digitalist Papers reproduisent la même utopie, en prônant une démocratie des machines plutôt que le financement de l’éducation publique ou des instances de représentations. Dans les Digitalists Papers, seul le juriste Lawrence Lessig semble émettre une mise en garde, en annonçant que l’IA risque surtout d’aggraver un système politique déjà défaillant. 
La grande difficulté devant nous va consister à démanteler ces croyances conclut Lepore. D’autant que, comme le montre plusieurs années de problèmes politiques liés au numérique, le risque n’est pas que nous soyons submergés par le faux et la désinformation, mais que nous soyons rendus toujours plus impuissants. « L’objectif principal de la désinformation n’est pas de nous persuader que des choses fausses sont vraies. Elle vise à nous faire nous sentir impuissants », disait déjà Ethan Zuckerman. Dans une vie civique artificielle, la politique devient la seule affaire de ceux qui produisent l’artifice.

Quand on parle d’Intelligence artificielle on mobilise un terme qui qualifie un ensemble de technologies vaguement reliées, expliquent les chercheurs Arvind Narayanan et Sayash Kapoor dans le livre qu’ils viennent de faire paraître, AI Snake Oil (Princeton University Press, 2024, non traduit). 

Il y a peu de liens entre l’IA générative dont on entend tant parler et l’IA prédictive, certainement bien plus utilisée encore, mais où se concentrent les systèmes les plus défaillants qui soient. C’est là surtout que se concentre cette « huile de serpent » à laquelle font référence les deux chercheurs. Sous ce terme, qui qualifie des remèdes miraculeux mais inefficaces, comme tant de charlatans en vendaient dans tout l’Ouest américain, les deux chercheurs désignent une technologie qui ne fonctionne pas et ne peut pas fonctionner comme attendu, et qui ne fonctionnera probablement jamais. Toute la difficulté aujourd’hui, pour le grand public, consiste à être capable de distinguer l’IA qui ne fonctionne pas de celle qui fonctionne. C’est tout l’enjeu de leur livre. 

IA générative vs. IA prédictive

L’IA est désormais devenue un produit de consommation grand public. Le problème, c’est que son utilisation abusive s’est également généralisée. Les deux ingénieurs restent pourtant très confiants. L’IA générative est un outil amusant et utile défendent-ils. Elle peut même être un outil d’apprentissage passionnant, expliquent-ils un peu légèrement. Certes, l’IA générative comporte des risques et peut avoir un coût social élevé. Mais ce n’est rien comparé à l’IA prédictive. Dans leur livre, les deux chercheurs accumulent les exemples pour montrer que dès que nous tentons d’utiliser l’IA pour des prédictions, notamment dans le domaine du social, elle produit des discriminations. De l’emploi à la santé, en passant par le crime… partout ces modèles restent englués dans leurs biais. Mais surtout, leurs résultats ne sont bien souvent pas meilleurs qu’un résultat aléatoire. C’est, il me semble, la grande force de leur démonstration et le point le plus original du livre. Pour les chercheurs, l’une des raisons d’une si faible performance tient beaucoup au fait que très souvent, la donnée n’est ni disponible ni décisive. Le problème c’est que l’IA prédictive est très attirante parce qu’elle promet des décisions plus efficaces… Mais l’efficacité est bien plus relative qu’annoncée et surtout bien moins responsable. 

L’IA n’a pas vraiment de définition fixe. Les deux chercheurs s’en amusent d’ailleurs et remarquent que ce qu’on qualifie comme IA correspond souvent à ce qui n’a pas été fait. Dès qu’une application fonctionne avec fiabilité, on ne parle plus d’IA, comme c’est le cas avec les aspirateurs autonomes, l’autopilote des avions, les filtres à Spam, ou l’autocomplétion. Autant d’exemples qui nous montrent d’ailleurs des formes d’IA qu’on souhaiterait plus souvent. Ces exemples doivent nous rappeler qu’elle n’est pas toujours problématique, loin de là. L’IA sait résoudre des problèmes difficiles. Mais elle ne sait pas prédire les comportements sociaux des gens et la prédiction du social n’est pas un problème technologique soluble. 

Il y a aussi certains domaines du social où l’IA peut-être très forte, très précise et très efficace, mais qui posent des problèmes de société majeurs. C’est le cas notamment de la reconnaissance faciale. Le taux d’erreur de la reconnaissance faciale est devenu minuscule (0,08% selon le Nist). Cela n’enlève rien au fait que ces erreurs soient très problématiques, notamment quand elles conduisent à des arrestations qui ne devraient pas avoir lieu. Mais dans le domaine de la reconnaissance faciale, le problème, désormais, n’est plus que la technologie soit défaillante. Ce sont les pratiques, les erreurs humaines, les échecs policiers et d’encadrement de son usage qui posent problèmes. « L’IA de reconnaissance faciale, si elle est utilisée correctement, a tendance à être précise car il y a peu d’incertitude ou d’ambiguïté dans la tâche à accomplir ». Identifier si une personne sur une photo correspond à une autre personne sur une autre photo est assez simple, pour autant que les systèmes aient suffisamment d’images pour s’y entraîner et de moyens pour trouver les éléments qui permettent de distinguer un visage d’un autre. Cela ne signifie pas que l’analyse faciale puisse tout faire, précisent les deux chercheurs : identifier le genre où l’émotion depuis un visage n’est pas possible, car ni l’un ni l’autre n’est inscrit dans l’image. Désormais, « le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne très bien ». Ce ne sont plus ses défaillances techniques qui posent un problème de société, comme c’est le cas des systèmes de prédiction de risques. C’est l’usage qui peut en être fait… comme de pouvoir identifier n’importe qui n’importe où et pour n’importe quelle raison. Attention cependant, préviennent les chercheurs : la reconnaissance faciale peut-être très performante quand elle est utilisée correctement, mais peut très facilement échouer en pratique, comme le montre l’identification depuis des images de mauvaise qualité qui a tendance à produire de nombreux faux positifs. Elle n’est donc ni parfaite ni magique. Et surtout, elle pose un enjeu de société qui nécessite de cadrer son usage, pour trouver les moyens afin qu’elle ne soit pas utilisée de manière inappropriée – et ce n’est pas si simple – et pour que la société se dote de garde-fous et de garanties pour prévenir des abus ou d’utilisations inappropriées.

Nombre d’usages de l’IA demeurent problématiques avertissent les chercheurs. Nombre de ses utilisations relèvent ni plus ni moins de l’imposture. L’IA échoue d’abord et très souvent dès qu’on l’utilise pour produire des prédictions, comme l’a montré Google Flu, l’outil pour prédire la grippe de Google qui se basait sur l’évolution des recherches de symptômes sur le moteur de recherche et dont la précision a fini par s’effondrer sous les requêtes. Non seulement la prédiction est difficile, mais bien souvent son efficacité s’effondre dans le temps. 

Les deux chercheurs nous invitent à intégrer une sirène d’alerte aux projets d’IA. Dès qu’ils abordent le social, dès qu’ils souhaitent prédire quelque chose, dès qu’ils utilisent une variable pour une autre (comme de vouloir reconnaître le genre depuis des images de visages), nous devons être vigilants. 

Les défaillances de l’IA prédictive

Mais il y a d’autres motifs d’inquiétudes auxquels prêter attention. Le battage médiatique autour de l’IA fait que bien souvent ses qualités sont exagérées. Les capacités de prédiction de nouveaux services ou outils sont très souvent survendues. L’une des erreurs les plus courantes consiste à annoncer un taux de réussite particulièrement élevé, alors que très souvent, l’outil est évalué sur les mêmes données que celles sur lesquelles il a été entraîné. C’est un peu comme réviser les questions qui seront posées à un examen avant l’examen. L’étude des résultats de recherche dans nombre de secteurs de la recherche en machine learning a montré partout des résultats problématiques. Ce n’est pas nécessairement intentionnel ou malveillant, excusent un peu facilement les deux ingénieurs, le machine learning est une discipline délicate et il est facile de s’embrouiller. En tout cas, la qualité s’effondre très souvent avec le battage médiatique. Ainsi, des centaines d’études ont proclamé pouvoir détecter le Covid depuis des radiographies des poumons : une revue systématique de plus de 400 articles de recherche a montré qu’AUCUNE n’était fiable. Tant et si bien qu’une équipe de chercheurs a mis au point une chek-list pour aider les développeurs et les chercheurs à minimiser les erreurs. Dans une étude sur l’usage de l’IA prédictive dans l’industrie et l’administration, Narayanan et Kapoor ont fait les mêmes constats et ont listé les principaux défauts de la prédiction :

• Un outil qui fait de bonnes prédictions ne signifie pas qu’il mènera à de bonnes décisions, notamment du fait de la rétroaction des décisions sur les prédictions (​​par exemple un montant de caution plus élevé basé sur une prédiction de récidive peut augmenter le taux de récidive… et d’ailleurs, les peines sévères ont tendance à augmenter la récidive) ;
• Pour prédire, on fait souvent appel à une variable-cible qui ne correspond pas exactement à ce que l’on souhaite prédire, comme d’utiliser la moyenne générale d’un étudiant pour prédire sa réussite l’année suivante. 
• Lorsque la distribution des données sur lesquelles un modèle est formé n’est pas représentative de la distribution sur laquelle il sera déployé, les performances du modèle seront problématiques.
• Il y a toujours des limites à la prédiction. Les résultats sociaux ne sont pas prévisibles avec précision, même avec l’apprentissage. 
• Les différences de performances entre différents groupes sociaux ne peuvent pas toujours être corrigées. 
• Bien souvent les systèmes manquent de possibilité pour en contester les résultats alors que cette contestabilité est un levier important pour se rendre compte de ses erreurs.
• La prédiction oublie souvent de prendre en compte le comportement stratégique qui risque de la rendre moins efficace dans le temps. 

Au XIXe siècle, dans l’Ouest américain, d’innombrables colporteurs vendaient des médicaments miracles, inefficaces et inoffensifs, pour la plupart… mais pas tous. Certains de ces faux remèdes laisseront des morts derrière eux. En 1906, la Food and Drug Administration (FDA) est imaginée pour remédier au problème et rendre ces colporteurs responsables de leurs produits, comme l’explique le dernier rapport de l’AI Now Institute qui revient en détail sur la naissance de l’agence américaine et comment elle a changé le monde du médicament par la construction de mesures préalables à leur mise sur le marché – l’AI Now Institute invite d’ailleurs à s’inspirer de cette histoire pour rendre l’IA responsable en pointant qu’une « réglementation ex ante solide, adaptée à un marché en évolution et à ses produits, peut créer des avantages significatifs à la fois pour l’industrie et pour le public ». 

Si l’AI Snake Oil est une IA qui ne marche pas et qui ne peut pas marcher, souvenons-nous que même une IA qui fonctionne bien peut être nocive. Face aux produits d’IA, il faut pouvoir mesurer à la fois les préjudices qu’ils peuvent provoquer mais également la véracité qu’ils produisent. 

Mais si l’IA défaillante est si omniprésente, c’est parce qu’elle offre des solutions rapides à n’importe quels problèmes. Oubliant que les solutions qui ne fonctionnent pas n’en sont pas, rappellent Kapoor et Narayanan. « Dans le sillage de la révolution industrielle, des millions d’emplois furent créés dans les usines et les mines, avec d’horribles conditions de travail. Il a fallu plusieurs décennies pour garantir les droits du travail et améliorer les salaires et la sécurité des travailleurs. » Nous devons imaginer et construire un mouvement similaire pour garantir la dignité humaine face à l’automatisation qui vient. Nous devons trouver les moyens d’éradiquer le déploiement de l’huile de serpent et construire les modalités pour bâtir une technologie responsable comme nous avons réussi à bâtir une médecine et une industrie agro-alimentaire (plutôt) responsable. 

Pourquoi les prédictions échouent-elles ?

Dans leur livre, les deux auteurs mobilisent d’innombrables exemples de systèmes défaillants. Parmis ceux qu’ils classent comme les pires, il y a bien sûr les outils de prédiction qui prennent des décisions sur la vie des gens, dans le domaine de la santé, des soins ou de l’orientation notamment. 

Un algorithme n’est qu’une liste d’étapes ou de règles pour prendre une décision, rappellent-ils. Très souvent, les règles sont manuelles mais sont appliquées automatiquement, comme quand on vous demande de ne pas percevoir au-delà d’un certain revenu pour bénéficier d’un droit. Le problème, c’est que de plus en plus, les règles se complexifient : elles sont désormais souvent apprises des données. Ce type d’algorithme est appelé modèle, c’est-à-dire qu’il découle d’un ensemble de nombres qui spécifient comment le système devrait se comporter. Ces modèles sont très utilisés pour allouer des ressources rares, comme des prêts ou des emplois, ouvrant ou fermant des possibilités. C’est typiquement ce qu’on appelle l’IA prédictive. C’est par exemple ainsi que fonctionne Compas, le système de calcul de risque de récidive utilisé par la justice américaine, entraîné depuis le comportement passé des justiciables. L’hypothèse de ces systèmes et de nombre de systèmes prédictifs consiste à dire que des gens avec les mêmes caractéristiques se comporteront de la même manière dans le futur. Ces systèmes prédictifs sont déployés dans de nombreux secteurs : la santé, l’emploi, l’assurance… Le problème, c’est que de petits changements dans la vie des gens peuvent avoir de grands effets. La plupart des entreprises qui développent des systèmes prédictifs assurent que ceux-ci sont performants et équitables. Pourtant, on ne peut pas garantir que les décisions qu’ils prennent soient sans biais ou équitables. 

Une bonne prédiction ne signifie pas une bonne décision. L’IA peut faire de bonne prédictions… si rien ne change, c’est-à-dire si elles ne sont pas utilisées pour modifier les comportements, expliquent les chercheurs en prenant l’exemple d’un système prédictif de la pneumonie qui montrait que les gens atteints d’asthme étaient à moindre risque, parce qu’ils recevaient des soins adaptés pour éviter les complications. Déployer un tel modèle, en fait, aurait signifié renvoyer les patients asthmatiques chez eux, sans soins. Corrélation n’est pas causalité, dit l’adage.

Ces erreurs de prédictions ont souvent pour origine le fait que les chercheurs s’appuient sur des données existantes plutôt que des données collectées spécifiquement pour leur produit. Trop souvent, parce que créer des données spécifiques ou faire des contrôles aléatoires est coûteux, les entreprises s’en abstiennent. Comprendre l’impact des outils de décision est également important et nécessite aussi de collecter des données et de faire des contrôles d’autant plus coûteux que ces vérifications, élémentaires, viennent souvent remettre en question l’efficacité proclamée. Techniquement, cela signifie qu’il faut toujours s’assurer de savoir si le système a évalué ses impacts sur de nouvelles données et pas seulement sur les données utilisées pour la modélisation. 

Ces effets sont d’autant plus fréquents que le développement de systèmes conduit souvent les gens à y réagir, à se comporter stratégiquement. C’est le cas quand des candidats à l’embauche répondent aux outils d’analyse des CV en inondant leurs CV de mots clefs pour contourner leurs limites. Une étude a même montré que changer le format de son CV d’un PDF en texte brut, changeait les scores de personnalité que les systèmes produisent sur les candidatures. Quand les entreprises assurent que leurs outils fonctionnent, elles oublient souvent de tenir compte du comportement stratégique des individus. Or, « quand les résultats du modèle peuvent être facilement manipulés en utilisant des changements superficiels, on ne peut pas dire qu’ils sont efficaces ». C’est toute la limite de trop de modèles opaques que dénoncent les deux chercheurs avec constance. 

Le risque, c’est que ces systèmes nous poussent à une sur-automatisation. La sur-automatisation, pour les chercheurs, c’est quand le système de prise de décision ne permet aucune voie de recours, comme l’ont connu les individus suspectés de fraude par l’algorithme de contrôle des aides sociales de Rotterdam. Pour éviter cela, les bonnes pratiques invitent à « conserver une supervision humaine ». Problème : tous les développeurs de systèmes assurent que c’est le cas, même si cette supervision ne conduit à aucune modification des décisions prises. En réalité, les développeurs d’IA vendent des IA prédictives « avec la promesse d’une automatisation complète. La suppression d’emplois et les économies d’argent constituent une grande partie de leur argumentaire ». La supervision n’a donc la plupart du temps pas lieu. Même quand elle existe, elle est bien souvent inappropriée. Et surtout, les résultats et suggestions génèrent une sur-confiance particulièrement pervasive, qui affecte tous les utilisateurs dans tous les secteurs. Dans des simulateurs de vol, quand les pilotes reçoivent un signal d’alarme incorrect, 75% d’entre eux suivent les recommandations défaillantes. Quand ils ont recours à une checklist, ils ne sont plus que 25% à se tromper. 

Mais surtout, insistent les deux chercheurs, les prédictions sur les gens sont bien plus fluctuantes qu’on le pense. Un outil similaire à Compas développé en Ohio et utilisé en Illinois a produit des aberrations car les taux de criminalité n’étaient pas les mêmes entre les deux Etats. Trop souvent les prédictions se font sur les mauvaises personnes. C’était le cas de l’outil de calcul de risque de maltraitance des enfants de Pennsylvanie étudié par Virginia Eubanks, qui n’avait aucune donnée sur les familles qui avaient recours à des assurances privées et donc qui visait disproportionnellement les plus pauvres. « Les outils d’IA regardent ce qui est sous le lampadaire. Et très souvent, le lampadaire pointe les plus pauvres ». L’IA prédictive exacerbe les inégalités existantes. « Le coût d’une IA défectueuse n’est pas supporté de manière égale par tous. L’utilisation de l’IA prédictive nuit de manière disproportionnée à des groupes qui ont été systématiquement exclus et défavorisés par le passé. » Les outils de prédiction de risque de santé, déployés pour réduire les dépenses d’hospitalisation, ont surtout montré leurs biais à l’encontre des minorités. L’un de ces outils, Optum’s Impact Pro par exemple, écartait systématiquement les personnes noires, parce que le système ne prédisait pas tant le besoin de soins, que combien l’assurance allait dépenser en remboursement des soins de santé. L’entreprise a continué d’ailleurs à utiliser son outil défaillant, même après qu’il ait montré son inéquité. « Les intérêts des entreprises sont l’une des nombreuses raisons pour lesquelles l’IA prédictive augmente les inégalités. L’autre est la trop grande confiance des développeurs dans les données passées. » 

Trop souvent, on utilise des proxies, des variables substitutives qui nous font croire qu’on peut mesurer une chose par une autre, comme les coûts de la santé plutôt que les soins. C’est le même problème pour Compas. Compas utilise des données sur qui a été arrêté pas sur les crimes. Compas dit prédire le crime alors qu’en fait il ne prédit que les gens qui ont été arrêtés. Ces confusions sur les données expliquent beaucoup pourquoi les systèmes d’IA prédictive nuisent d’abord aux minorités et aux plus démunis. 

S’ils sont défaillants, alors peut-être faudrait-il faire le deuil des outils prédictifs, suggèrent les chercheurs. Ce serait effectivement dans bien des cas nécessaires, mais nos sociétés sont mal à l’aise avec l’imprévisibilité, rappellent-ils. Pourtant, trop souvent nous pensons que les choses sont plus prévisibles qu’elles ne sont. Nous avons tendance à voir des régularités là où elles n’existent pas et nous pensons bien souvent être en contrôle sur des choses qui sont en fait aléatoires. Rien n’est plus difficile pour nous que d’accepter que nous n’avons pas le contrôle. Cela explique certainement notre engouement pour l’IA prédictive malgré ses défaillances. Pourtant, expliquent les chercheurs, embaucher ou promouvoir des employés aléatoirement, plutôt que sur de mauvais critères de performances, pourrait peut-être être plus bénéfique qu’on le pense, par exemple en favorisant une plus grande diversité ou en favorisant un taux de promotion fixe. Accepter l’aléatoire et l’incertitude pourrait nous conduire à de meilleures décisions et de meilleures institutions. « Au lieu de considérer les gens comme des êtres déterminés, nous devons travailler à la construction d’institutions qui sont véritablement ouvertes au fait que le passé ne prédit pas l’avenir. »

Pourquoi l’IA ne peut pas prédire le futur ?

La météorologie est l’un des secteurs où la prédiction est la plus avancée. Pourtant, la météo est un système particulièrement chaotique. Des petits changements conduisent à de grandes erreurs. Plus la prédiction est éloignée dans le temps, plus l’erreur est grande. Les données, les équations, les ordinateurs ont pourtant permis d’incroyables progrès dans le domaine. Nos capacités de prédiction météo se sont améliorées d’un jour par décade : une prévision sur 5 jours d’il y a 10 ans est aussi précise qu’une prévision sur 6 jours aujourd’hui ! Ces améliorations ne viennent pas d’une révolution des méthodes, mais de petites améliorations constantes. 

La prévision météo repose beaucoup sur la simulation. Les succès de prévision des phénomènes géophysiques a conduit beaucoup de chercheurs à penser qu’avec les bonnes données et la puissance de calcul, on pourrait prédire n’importe quel type d’évènements. Mais cela n’est pas toujours très bien marché. Le temps est bien plus observable que le social, certainement parce que les conditions géophysiques, contrairement à ce que l’on pourrait penser, sont plus limitées. La prévision météo repose sur des lois physiques calculables. Ce n’est pas le cas des calculs du social. « Cela n’a pas restreint pour autant le développement de prédictions dans le contexte social, même si bien souvent, nous avons assez peu de preuves de leur efficacité ». Le score de risque de défaillance de crédit, Fico, est né dans les années 50 et se déploie à la fin des années 80, en même temps que naissent les premiers scores de risque criminels… Mais c’est avec le développement du machine learning dans les années 2010 que les systèmes prédictifs vont exploser dans d’innombrables systèmes. 

Toutes les prédictions ne sont pas difficiles. Le trafic, l’évolution de certaines maladies… sont assez faciles. Les prédictions individuelles, elles, sont toujours plus difficiles. Et cela pose la question de savoir ce qui définit une bonne prédiction. Est-ce qu’une prédiction météo est bonne si elle est au degré près ou si elle prédit bien la pluie indépendamment de la température ? Notre capacité à prédire les tremblements de terre est excellente, notamment les lieux où ils auront lieu, mais notre capacité à prédire la nécessité d’une évacuation est nulle, car prédire quand ils auront lieu avec suffisamment de précision est bien plus difficile. Bien souvent, la précision de la prédiction s’améliore quand on ajoute plus de données et de meilleurs modèles. Mais ce n’est pas nécessairement vrai. On ne peut prédire le résultat d’un jet de dé quel que soit le volume de données que l’on collecte ! 

Quand les choses sont difficiles à prédire, on a recours à d’autres critères, comme l’utilité, la légitimité morale ou l’irréductibilité des erreurs pour apprécier si la prédiction est possible. Et tout ce qui a rapport à l’individu est bien souvent difficile à prédire, ce qui n’empêche pas beaucoup d’acteurs de le faire, non pas tant pour prédire quelque chose que pour exercer un contrôle sur les individus. 

Kapoor et Narayanan reviennent alors sur le Fragile Families Challenge qui a montré que les modèles d’IA prédictibles développés n’amélioraient pas notablement la prédiction par rapport à un simple modèle statistique. Pour les chercheurs, le défi a surtout montré les limites fondamentales à la prédiction du social. Dans le social, « on ne peut pas prédire très bien le futur, et nous ne connaissons pas les limites fondamentales de nos prédictions ». Les données du passé ne suffisent pas à construire ce type de prédictions, comme les données d’une précédente élection ne peuvent pas prédire la suivante. Améliorer la précision des prédictions du social relève du problème à 8 milliards de Matt Salganik : il n’y a pas assez de gens sur terre pour découvrir les modèles de leurs existences ! Cela n’empêche pas qu’il existe d’innombrables outils qui affirment pouvoir faire des prédictions à un niveau individuel. 

En vérité, bien souvent, ces outils ne font guère mieux qu’une prédiction aléatoire. Compas par exemple ne fait que prédire la partialité de la police à l’encontre des minorités (et dans le cas de Compas, l’amélioration par rapport à un résultat aléatoire est assez marginale… et dans nombre d’autres exemples, l’amélioration du calcul se révèle bien souvent plus mauvaise qu’un résultat aléatoire). Utiliser seulement 2 données, l’âge et le nombre d’infractions antérieures, permet d’avoir un résultat aussi précis que celui que propose Compas en mobilisant plus d’une centaine de données. Dans le cas de la récidive, le modèle est assez simple : plus l’âge est bas et plus le nombre d’infractions antérieures est élevé, plus la personne sera à nouveau arrêtée. On pourrait d’ailleurs n’utiliser que le nombre d’infractions antérieures pour faire la prédiction sans que les résultats ne se dégradent vraiment (qui serait moralement plus acceptable car en tant que société, on pourrait vouloir traiter les plus jeunes avec plus d’indulgence qu’ils ne le sont). L’avantage d’une telle règle, c’est qu’elle serait aussi très compréhensible et transparente, bien plus que l’algorithme opaque de Compas.

Avec ces exemples, les deux chercheurs nous rappellent que la grande disponibilité des données et des possibilités de calculs nous font oublier que l’opacité et la complexité qu’ils génèrent produisent des améliorations marginales par rapport au problème démocratique que posent cette opacité et cette complexité. Nous n’avons pas besoin de meilleurs calculs – que leur complexification ne produit pas toujours –, que de calculs capables d’être redevables. C’est je pense le meilleur apport de leur essai.  

Nous sommes obnubilés à l’idée de prédire un monde imprévisible

Prédire le succès est aussi difficile que prédire l’échec, rappellent-ils. Certainement parce que contrairement à ce que l’on pense, le premier ne repose pas tant sur les qualités des gens que le second ne repose sur les circonstances. Les deux reposent sur l’aléatoire. Et en fait, le succès repose plus encore sur l’aléatoire que l’échec ! Le succès est encore moins prévisible que l’échec, tant la chance, c’est-à-dire l’imprévisible, joue un rôle primordial, rappellent-ils. Le succès dans les études, le succès de produits… rien n’est plus difficile à prédire, rappellent les chercheurs en évoquant les nombreux rejets du manuscrit de Harry Potter. Matt Salganik avait ainsi créé une application de musique et recruté 14 000 participants pour évaluer des musiques de groupes inconnus avec des indicateurs sociaux qui variaient entre groupes de participants. Des chansons médiocres étaient appréciées et de très bonnes musiques négligées. Une même chanson pouvait performer dans un endroit où les métriques sociales étaient indisponibles et sous performer là où elles étaient disponibles. Mais l’expérience a surtout montré que le succès allait au succès. Dans l’environnement où personne ne voyait de métriques : il y avait bien moins d’inégalités entre les musiques. 

Les médias sociaux reposent sur des principes d’accélération de la viralité d’une petite fraction des contenus. Mais la popularité est très variable, d’un contenu l’autre. Ce que font les plateformes, ce n’est pas tant de prédire l’imprévisible que de tenter d’amplifier les phénomènes. Sur YouTube, Charlie Bit My Finger fut l’une des premières vidéos virales de la plateforme. Malgré ses qualités, son succès n’avait rien d’évident. En fait, les médias sociaux sont « une loterie à mèmes géante ». Plus un mème est partagé, plus il a de la valeur et plus les gens vont avoir tendance à le partager. Mais il est impossible de prédire le succès d’une vidéo ou d’un tweet. Même la qualité ne suffit pas, même si les contenus de meilleure qualité ont plus de chance que les contenus médiocres. Par contre l’on sait que les contenus plus partisans, plus négatifs reçoivent plus d’engagements. Reste que la polarisation perçue est plus forte que la polarisation réelle – et il est probable que cette mauvaise perception la renforce. 

D’une manière assez surprenante, nous prédisons très bien des effets agrégés et très mal ces mêmes effets individuellement. Les ordres de grandeur aident à prédire des effets, mais les experts eux-mêmes échouent bien souvent à prédire l’évidence. Aucun n’a prévu l’effondrement de l’URSS, rappelait Philip Tetlock. Et ce n’est pas une question de données ou de capacité d’analyse. Les limitations à la prédictions sont dues aux données indisponibles et au fait qu’elles sont parfois impossibles à obtenir. Mais la prédiction est également difficile à cause d’événements imprévisibles, mais plus encore à cause de boucles d’amplification complexes. Dans de nombreux cas, la prédiction ne peut pas s’améliorer, comme dans le cas de la prédiction du succès de produits culturels. Dans certains cas, on peut espérer des améliorations, mais pas de changements majeurs de notre capacité à prédire l’avenir. Pour Narayanan et Kapoor, notre obnubilation pour la prédiction est certainement le pire poison de l’IA. 

L’IA générative, ce formidable bullshiter

Bien moins intéressants sont les 2 chapitres dédiés à l’IA générative, où les propos des deux chercheurs se révèlent assez convenus. S’il est difficile de prédire l’impact qu’elle va avoir sur l’économie et la culture, la technologie est puissante et les avancées réelles. Pour Narayanan et Kapoor, l’IA générative est déjà utile, expliquent-ils en évoquant par exemple Be My Eyes, une application qui connectait des aveugles à des volontaires voyants pour qu’ils les aident à décrire le monde auquel ils étaient confrontés en temps réel. L’application s’est greffée sur ChatGPT pour décrire les images avec un réel succès, permettant de remplacer les descriptions du monde réel des humains par celles des machines.

Si l’IA générative fonctionne plutôt très bien, ce n’est pas pour autant qu’elle ne peut pas porter préjudices aux gens qui l’utilisent. Ses biais et ses erreurs sont nombreuses et problématiques. Sa capacité à nous convaincre est certainement plus problématique encore. 

Les deux chercheurs bien sûr retracent l’histoire des améliorations de la discipline qui a surtout reposé sur des améliorations progressives, la disponibilité des données et l’amélioration des capacités de calcul. Tout l’enjeu de la technologie a été d’apprendre à classer les images ou les mots depuis les connexions entre eux en appliquant des poids sur les critères. 

En 2011, à l’occasion d’une compétition ImageNet, visant à classifier les images, Hinton, Krizhevsky et Sutskever proposent un outil d’apprentissage profond qui se distingue par le fait qu’il ait bien plus de couches de traitements que les outils précédents : ce sera AlexNet. Tout l’enjeu ensuite, consistera à augmenter le nombre de couches de traitements en démultipliant les données… À mesure que les données deviennent plus massives, les contenus vont aussi avoir tendance à devenir plus problématiques, malgré les innombrables mesures de filtrages. Les problèmes vont y être enfouis plus que résolus, comme l’étiquetage de personnes noires sous le terme de Gorille. On va se mettre alors à mieux observer les données, mais la plupart des critères de référence ne mesurent pas dans quelle mesure les modèles reflètent les préjugés et les stéréotypes culturels. Le problème, c’est que dans le domaine de l’IA, les ingénieurs sont convaincus que découvrir les connaissances dans les données surpasse l’expertise, minimisant son importance. 

« Alors que l’IA prédictive est dangereuse parce qu’elle ne fonctionne pas. L’IA pour la classification des images est dangereuse parce qu’elle fonctionne trop bien. » 

Les systèmes de génération de texte fonctionnent sur le même principe que les systèmes de génération d’image. Jusqu’aux années 2010, il était difficile que les systèmes de traduction automatique gardent en tête le contexte. Ils fonctionnaient bien sur les courts extraits, mais avaient des problèmes avec des textes plus longs. En 2017, Google a trouvé la solution en proposant une matrice plus grande permettant de mieux relier les mots entre eux. C’est la technologie Transformer. L’IA générative textuelle n’est rien d’autre qu’un système d’autocomplétion qui fait de la prédiction du mot suivant. 

La puissance de ces machines est à la fois leur force et leur faiblesse. « Pour générer un simple token – un bout de mot – ChatGPT doit accomplir environ un milliard de milliard d’opérations. Si vous demandez à générer un poème d’une centaine de tokens (une centaine de mots) cela nécessitera un quadrillion de calculs. Pour apprécier la magnitude de ce nombre, si tous les individus au monde participaient à ce calcul au taux d’un calcul par minute, 8 heures par jour, un quadrillon de calcul prendrait environ une année. Tout cela pour générer une simple réponse. » La capacité générative de ces outils repose sur une puissance sans limite. Une puissance dont les coûts énergétiques, matériels et économiques finissent par poser question. Avons-nous besoin d’une telle débauche de puissance ? 

Pour que ces modèles répondent mieux et plus exactement, encore faut-il adapter les modèles à certaines tâches. Cette adaptation, le fine-tuning ou pré-entraînement, permet d’améliorer les résultats. Reste que ces adaptations, ces filtrages, peuvent finir par sembler être une cuillère pour écoper les problèmes de l’océan génératif… 

Les chatbots peuvent avoir d’innombrables apports en interagissant avec l’utilisateur, mais le fait qu’ils dépendent profondément des statistiques et le manque de conscience de leurs propres limites, émousse leur utilité, soulignent les deux chercheurs. Jouer à Pierre-papier-ciseaux avec eux par exemple rappellent qu’ils ne comprennent pas l’enjeu de simultanéité. 

Le problème de ces outils, c’est que la compréhension, n’est pas tout ou rien. Les chatbots ne comprennent rien, et leur regard sur un sujet est limité par leurs données. Mais ils sont configurés pour répondre avec confiance, comme un expert, alors qu’ils sont capables d’erreurs basiques qu’un enfant ne ferait pas. Cela signifie que ces outils ne sont pas sans écueils, rappellent les chercheurs. Ils produisent très facilement de la désinformation, des deepfakes, et permettent à ceux qui les déploient de concentrer un pouvoir très important. Les chatbots sont des bullshiters de première, des menteurs. « Ils sont entraînés pour produire des textes plausibles, pas des vérités ». Ils peuvent sembler très convaincants alors qu‘ »il n’y a aucune source vérifiée durant leur entraînement ». Même si on était capable de ne leur fournir que des affirmations vraies, le modèle ne les mémoriserait pas, mais les remixerait pour générer du texte. Ils répondent souvent correctement, mais sont capables parfois de produire des choses sans aucun sens. Cela tient certainement au fait que « les affirmations vraies sont plus plausibles que les fausses ». Les erreurs, les plagiats sont consubstantiels à la technologie. 

Les usages problématiques de ces technologies sont nombreux, notamment les deepfakes et toutes les tentatives pour tromper les gens que ces outils rendent possibles. Pour l’instant, les réponses à ces enjeux ne sont pas à la hauteur. Les chercheurs ne proposent que de mieux éduquer les utilisateurs aux contenus trompeurs et aux sources fiables. Pas sûr que ce soit une réponse suffisante. 

Les chercheurs rappellent que la grande difficulté à venir va être d’améliorer l’IA générative, alors que ses limites sont au cœur de son modèle, puisqu’elle ne peut qu’imiter et amplifier les stéréotypes des données qui l’ont entraîné. Pour y parvenir, il faudrait parvenir à bien mieux labelliser les données, mais l’effort devient herculéen à mesure que les moissons sont plus massives. Pour l’instant, cette labellisation repose surtout sur des travailleurs du clic mal payés, chargés de faire une labellisation à minima. Pas sûr que cela suffise à améliorer les choses… 

Malgré ces constats inquiétants, cela n’empêche pas les deux chercheurs de rester confiants. Pour eux, l’IA générative reste une technologie utile, notamment aux développeurs. Ils rappellent que ces dernières années, la question des biais a connu des progrès, grâce au fine-tuning. L’atténuation des bias est un secteur de recherche fructueux. Les chatbots progressent et deviennent aussi fiables que la recherche en ligne, notamment en étant capable de citer leurs sources. Pour les chercheurs, le plus gros problème demeure l’exploitation du travail d’autrui. Nous devons opter pour les entreprises qui ont des pratiques les plus éthiques, concluent-ils, et faire pression sur les autres pour qu’ils les améliorent. Oubliant qu’il n’est pas simple de connaître l’éthique des pratiques des entreprises… 

Les deux ingénieurs terminent leur livre par un chapitre qui se demande si l’IA pose une menace existentielle. Un sujet sans grand intérêt face aux menaces déjà bien réelles que fait peser l’IA. Ils le balayent d’ailleurs d’un revers de main et rappellent que l’IA générale est encore bien loin. « La plupart des connaissances humaines sont tacites et ne peuvent pas être codifiées ». C’est comme apprendre à nager ou à faire du vélo à quelqu’un simplement en lui expliquant verbalement comment faire. Ça ne marche pas très bien. Le risque à venir n’est pas que l’IA devienne intelligente, nous en sommes bien loin. Le risque à venir repose bien plus sur les mauvais usages de l’IA, et ceux-ci sont déjà très largement parmi nous. Pour améliorer notre protection contre les menaces, contre la désinformation ou les deepfakes, nous devons renforcer nos institutions démocratiques avancent les auteurs. On ne saurait être plus en accord, surtout au moment où les avancées de l’IA construisent des empires techniques qui n’ont pas grand chose de démocratique.  

*

Malgré ses qualités et la richesse de ses exemples, le livre des deux chercheurs peine à rendre accessible ce qu’ils voudraient partager. Parvenir à distinguer ce que l’IA sait faire et ce qu’elle ne peut pas faire n’est pas évident pour ceux qui sont amenés à l’utiliser sans toujours comprendre sa complexité. Distinguer la bonne IA de la mauvaise n’est pas si simple. Le livre permet de comprendre que la prédiction fonctionne mal, mais sans nous aider à saisir où elle peut progresser et où elle est durablement coincée. 

On a bien constaté que dès que ces outils agissent sur le social où l’individu, ils défaillent. On a bien compris que l’IA générative était puissante, mais les deux ingénieurs peinent à nous montrer là où elle va continuer à l’être et là où elle risque de produire ses méfaits. Les deux spécialistes, eux, savent très bien identifier les pièges que l’IA nous tend et que l’IA tend surtout aux ingénieurs eux-mêmes, et c’est en cela que la lecture d’AI Snake Oil est précieuse. Leur livre n’est pourtant pas le manuel qui permet de distinguer le poison du remède. Certainement parce que derrière les techniques de l’IA, le poison se distingue du remède d’abord et avant tout en regardant les domaines d’applications où elle agit. Un outil publicitaire défaillant n’a rien à voir avec un outil d’orientation défaillant.. Gardons les bons côtés. Les ingénieurs ont enfin un livre critique sur leurs méthodes avec un regard qui leur parlera. Ce n’est pas un petit gain. Si le livre se révèle au final un peu décevant, cela n’empêche pas qu’Arvind Narayanan et Sayash Kapoor demeurent les chercheurs les plus pertinents du milieu. Leur grande force est d’être bien peu perméables au bullshit de la tech, comme le montre leur livre et leur excellente newsletter. Leur défense de la science sur l’ingénierie par exemple – « les essais contrôlés randomisés devraient être un standard dans tous les domaines de la prise de décision automatisée » – demeure une boussole que l’ingénierie devrait plus souvent écouter.

« Pourquoi pensons-nous que dans l’art, il y a quelque chose qui ne peut pas être créé en appuyant sur un bouton ? » Les grands modèles de langage pourraient-ils devenir meilleurs que les humains dans l’écriture ou la production d’image, comme nos calculatrices sont meilleures que nous en calcul ? se demande l’écrivain de science-fiction Ted Chiang dans une remarquable tribune pour le New Yorker. Il y rappelle, avec beaucoup de pertinence, que l’IA vise à prendre des décisions moyennes partout où nous n’en prenons pas. Quand on écrit une fiction, chaque mot est une décision. Mais quand on demande à une IA de l’écrire pour nous, nos décisions se résument au prompt et toutes les autres décisions sont déléguées à la machine. 

Chiang rappelle l’évidence. Que l’écriture, par la lecture, tisse une relation sociale. « Tout écrit qui mérite votre attention en tant que lecteur est le résultat d’efforts déployés par la personne qui l’a écrit. L’effort pendant le processus d’écriture ne garantit pas que le produit final vaille la peine d’être lu, mais aucun travail valable ne peut être réalisé sans lui. Le type d’attention que vous accordez à la lecture d’un e-mail personnel est différent de celui que vous accordez à la lecture d’un rapport d’entreprise, mais dans les deux cas, elle n’est justifiée que si l’auteur y a réfléchi. » Il n’y a pas de langage sans intention de communiquer. Or, c’est bien le problème des IA génératives : même si ChatGPT nous dit qu’il est heureux de nous voir, il ne l’est pas. 

« Comme l’a noté la linguiste Emily M. Bender, les enseignants ne demandent pas aux étudiants d’écrire des essais parce que le monde a besoin de plus d’essais d’étudiants. Le but de la rédaction d’essais est de renforcer les capacités de réflexion critique des étudiants. De la même manière que soulever des poids est utile quel que soit le sport pratiqué par un athlète, écrire des essais développe les compétences nécessaires pour tout emploi qu’un étudiant obtiendra probablement. Utiliser ChatGPT pour terminer ses devoirs, c’est comme amener un chariot élévateur dans la salle de musculation : vous n’améliorerez jamais votre forme cognitive de cette façon. Toute écriture n’a pas besoin d’être créative, sincère ou même particulièrement bonne ; parfois, elle doit simplement exister. Une telle écriture peut soutenir d’autres objectifs, comme attirer des vues pour la publicité ou satisfaire aux exigences bureaucratiques. Lorsque des personnes sont obligées de produire un tel texte, nous pouvons difficilement leur reprocher d’utiliser tous les outils disponibles pour accélérer le processus. Mais le monde se porte-t-il mieux avec plus de documents sur lesquels un effort minimal a été consacré ? Il serait irréaliste de prétendre que si nous refusons d’utiliser de grands modèles de langage, les exigences de création de textes de mauvaise qualité disparaîtront. Cependant, je pense qu’il est inévitable que plus nous utiliserons de grands modèles de langage pour répondre à ces exigences, plus ces exigences finiront par devenir importantes. Nous entrons dans une ère où quelqu’un pourrait utiliser un modèle de langage volumineux pour générer un document à partir d’une liste à puces, et l’envoyer à une personne qui utilisera un modèle de langage volumineux pour condenser ce document en une liste à puces. Quelqu’un peut-il sérieusement affirmer qu’il s’agit d’une amélioration ? »

« L’informaticien François Chollet a proposé la distinction suivante : la compétence correspond à la façon dont vous accomplissez une tâche, tandis que l’intelligence correspond à l’efficacité avec laquelle vous acquérez de nouvelles compétences. » Pour apprendre à jouer aux échecs, Alpha Zero a joué quarante-quatre millions de parties ! L’IA peut-être compétente, mais on voit bien qu’elle n’est pas très intelligente. Notre capacité à faire face à des situations inconnues est l’une des raisons pour lesquelles nous considérons les humains comme intelligents. Une voiture autonome confrontée à un événement inédit, elle, ne sait pas réagir. La capacité de l’IA générative à augmenter la productivité reste théorique, comme le pointait Goldman Sachs en juillet. « La tâche dans laquelle l’IA générative a le mieux réussi est de réduire nos attentes, à la fois envers les choses que nous lisons et envers nous-mêmes lorsque nous écrivons quelque chose pour que les autres le lisent. C’est une technologie fondamentalement déshumanisante, car elle nous traite comme des êtres inférieurs à ce que nous sommes : des créateurs et des appréhenseurs de sens. Elle réduit la quantité d’intention dans le monde. » Oui, ce que nous écrivons ou disons n’est pas très original le plus souvent, rappelle l’écrivain. Mais ce que nous disons est souvent significatif, pour nous comme pour ceux auxquels l’on s’adresse, comme quand nous affirmons être désolé. « Il en va de même pour l’art. Que vous créiez un roman, une peinture ou un film, vous êtes engagé dans un acte de communication entre vous et votre public ». « C’est en vivant notre vie en interaction avec les autres que nous donnons un sens au monde ».

Le philosophe du net, Rob Horning, dresse le même constat. Ces machines « marchandisent l’incuriosité », explique-t-il. « Les LLM peuvent vous donner des informations, mais pas les raisons pour lesquelles elles ont été produites ou pourquoi elles ont été organisées de certaines manières ». Ils permettent assez mal de les situer idéologiquement. Or, la recherche, l’écriture, permettent de construire de la pensée et pas seulement des résultats. A contrario, les solutions d’IA et les entreprises technologiques promeuvent le « mythe de la productivité », l’idée selon laquelle économiser du temps et des efforts est mieux que de faire une activité particulière pour elle-même. Le mythe de la productivité suggère que tout ce à quoi nous passons du temps peut-être automatisé. La production peut-être accélérée, sans limite. Les raisons pour lesquelles nous le faisons, la profondeur que cela nous apporte n’ont pas d’importance. Selon ce mythe, le but de l’écriture c’est de remplir une page, pas de réaliser le processus de réflexion qui l’accompagne… Comme si le but de l’existence n’était que de déployer des techniques pour gagner du temps. Pour Horning, ce n’est pas tant un mythe qu’une idéologie d’ailleurs, qui « découle directement de la demande du capitalisme pour un travail aliéné, qui consiste à contraindre des gens à faire des choses qui ne les intéressent pas, orchestrées de telles manières qu’ils en tirent le moins de profit possible ». Dans le travail capitaliste, le but est d’ôter la maîtrise des travailleurs en les soumettant aux processus de travail cadencés. La page de contenus est une marchandise dont la valeur dépend du prix payé pour elle, plutôt que de l’expérience de celui qui l’a produite ou de celui qui l’a consommée. 

Pour les entreprises, l’efficacité est supérieure au but : elle est le but qui invalide tous les autres. Quand le but de l’art, de l’éducation ou de la pensée, est d’être confronté à l’intentionnalité, à la preuve irréfutable de la subjectivité, comme le pointe Chiang. « L’IA générative est la quintessence de l’incurie, parfaite pour ceux qui détestent l’idée de devoir s’intéresser à quoi que ce soit. » 

Le problème, c’est que ces effets délétères ne concernent pas une production textuelle en roue libre qui serait limitée au seul monde de l’entreprise, où un argumentaire en remplacerait un autre sans que ni l’un ni l’autre ne soit lu. Les effets de cette productivité pour elle-même sont bien réels, notamment dans le monde scolaire, s’inquiétait récemment Ian Bogost qui estime que depuis le lancement de ChatGPT, nous sommes passé de la consternation à l’absurdité : des étudiants génèrent des devoirs avec l’IA que les enseignants font corriger par l’IA. Certes, bien sûr, tout le monde va devoir s’y adapter. Mais le risque est grand que ces technologies rendent caduc l’un des meilleur outil d’apprentissage qui soit : l’écriture elle-même. 

La capitale des Lumières serait-elle en train de se transformer en « capitale de l'intelligence artificielle » ? C'est ce qu'a affirmé le président Emmanuel Macron mardi, lors d'une rencontre avec les leaders du secteur. Ce grand discours intervient la veille de l’ouverture de VivaTech, plus grand salon européen consacré aux nouvelles technologies.

Par Aude Nevo et Alexandra Klinnik du MediaLab de l'Information de France Télévisions

A défaut de voir les stars du cinéma à Cannes, ce sont bien les stars de l’IA qui ont défilé au salon VivaTech. Parmi elles, Dario Amodei, co-fondateur de l'entreprise américaine d'intelligence artificielle Anthropic, Arthur Mensch, patron et co-fondateur de la startup française Mistral AI, Yann Le Cun, directeur du laboratoire de recherche sur l'intelligence artificielle du groupe Meta, et le controversé patron de X, Elon Musk, qui a fait une apparition en visioconférence, devant ses adorateurs. Mais VivaTech, c’est avant tout une place de marché. Derrière chaque robot, chaque voiture, chaque casque de réalité virtuelle, se profile un entrepreneur en quête de financements. Cette année, l'IA a dominé presque toutes les discussions. Le monopole de la Chine et des États-Unis a été largement débattu, alimentant la crainte des Européens de manquer le coche. Un fossé s’est creusé entre la grande majorité, désireuse d'innover toujours plus rapidement, et ceux, plus prudents, qui appellent d'abord à la régulation. Résumé des points clés.

Le journalisme, grand absent ?

À VivaTech, temple du business et de la start-up nation, le journalisme est rarement à l'honneur. Organisée par Publicis et Les Échos, cette grand- messe des « technolâtres » ouvre grand ses portes à ses invités, qu'importe leur pedigree, pourvu qu'ils exercent une influence économique notable. Cela est particulièrement vrai lorsqu'il s'agit d'Elon Musk. En terrain conquis, le magnat des affaires libertarien est intervenu à distance devant un public en extase, réuni dans le Dôme de la Porte de Versailles.

Maurice Lévy, président de VivaTech et Elon Musk, à distance.

• Si l’on se réfère au titre original de la conférence, « Tout ce que vous avez toujours voulu savoir sur Elon Musk (sans oser le demander) », clin d’œil (daté?) au film de Woody Allen, la session promettait d’être franche et directe. La salle avait été assurée de pouvoir poser ses questions (« en 15 secondes top chrono »), l'orateur se revendiquant comme un ardent défenseur de la liberté d'expression. Si le milliardaire s’est plié de bonne grâce aux questions conventionnelles et admiratives de ses fans survoltés (telles que « Quelle est votre plus grande peur ? », « L’IA », « Votre plus grand espoir ? » — « Mars »), il a fait preuve de grossièreté face à la seule interrogation critique de la session. Lorsqu'une journaliste de Business Insider a soulevé les problèmes rencontrés par Tesla, « qui traverse une période tumultueuse avec des ventes en baisse, une chute en bourse et des licenciements », il a préféré l'humilier directement : « Passons à la question suivante, car je ne pense pas que Business Insider soit une publication sérieuse », suscitant les rires moqueurs de ses partisans. Un véritable « bad boy » dans la cour d'école, affichant ouvertement son mépris pour les médias qui ne pensent qu'au « nombre de clics ». En maître de cérémonie, Maurice Lévy, président de VivaTech, n’a pas levé un sourcil mais a préféré remercier mille fois son hôte de marque, de faire « l’honneur de sa présence »… dans un événement également organisé par un média, les Échos !
• Dans cet exercice très cadré, il a été beaucoup question d’intelligence artificielle, “star du show Vivatech”. En début de semaine, Elon Musk a annoncé déployer son service d’intelligence artificielle, Grok, développé par sa start-up (xAI) en Europe à tous les utilisateurs ayant un abonnement X Premium. “Grok sera le robot d’IA le plus drôle possible, car “si on doit tous mourir un jour, autant mourir en riant”. Pour lui, les algorithmes de Google, d’OpenAI et de Microsoft ne sont pas efficaces : “Mon inquiétude, c’est qu’ils font du politiquement correct, c’est dangereux. Le mieux pour l’IA ? C’est de penser par elle-même, d’être curieuse, c’est ce qui sera le mieux pour l’humanité. Ces IA ont été entraînées pour mentir.  Demandez à ChatGPT de vous générer une image de Waffen-SS, il en créera une d’un groupe de femmes issues de la diversité. Ce n’est pas la vérité”.

La Chine, un concurrent de taille dans la course à l’IA 

Comme chaque année, un panel d’intervenants venant de toute part a pris la parole lors des conférences. Robin Li, cofondateur et directeur général de Baidu, le moteur de recherche chinois a évoqué ses projets en matière d’IA dans la conférence « AI View from China ».

 Robin Li, cofondateur et directeur général de Baidu, et Maurice Levy, président du conseil de surveillance de Publicis Groupe. 

 Les points clés 

• Le Google chinois est l'un des acteurs du pays les plus avancés dans l'IA. Là où la concurrence veut trouver le modèle de langage le plus performant, Baidu cherche la « super app » qui révolutionnera le secteur : « Aux États-Unis et en Europe, tout le monde se concentre sur la mise au point du modèle de fondation le plus avant-gardiste. Mais en Chine, les gens se demandent de plus en plus quelle sera l'application qui fera la différence à l'ère de l'IA » explique Robin Li. Sans le citer, il est possible que l’homme d’affaire fasse référence au succès de WeChat, messagerie largement déployée en Chine dont le succès pourrait l’avoir inspiré. Selon lui, une approche axée sur les applications peut « accélérer la transformation de l'ère de l'internet à l'ère de l'IA ». Cette super-app prendra-t-elle la forme d’un chatbot ?
  
• Ernie, l’équivalent chinois de ChatGPT, a été lancé par Baidu en mars 2023. Peu connu en Europe, il est pourtant largement implanté en Chine et compte aujourd'hui 200 millions d'utilisateurs. Pour Robin Li, l’enjeu est de créer le meilleur modèle possible sur le territoire chinois : « Nous ne sommes pas aussi bon qu'OpenAI en anglais. Mais nous surpassons ChatGPT4 en chinois car Baidu est principalement entrainé avec des données chinoises ». Selon lui, « les européens devraient travailler sur des données dans leur propre langage pour espérer devenir des forces dominantes de l’IA ». Si Mistral Large, le LLM (large language model), de la startup française est par exemple entraîné en parti sur des données françaises, la proportion n’a pas été communiquée. 
• Pour entraîner un LLM, il faut une quantité immense de données. Pour Robin Li, ce n'est pas tant l'accès à ces données qui pose problème, mais leur traitement. Cela requiert de nombreux ingénieurs, une ressource parfois insuffisante.
  
• L’entrepreneur a également fait part de ses réserves quant à l’arrivée prochaine d’une intelligence artificielle qui puisse surpasser l’esprit humain. Selon lui, les « AGI » (artificial general intelligence) ne sont pas prêtes d’arriver sur le marché.  « Nombreux sont ceux qui spéculent sur l'arrivée de l'AGI, avançant des délais de deux à cinq ans. Pour ma part, je pense que cette technologie ne sera pas disponible avant au moins une décennie » a-t-il affirmé.
  
• Accélérer à tout prix : c'est le vœu de Robin Li. Interrogé sur ses plus grandes craintes pour l'avenir, il répond : « Tout le monde est surpris par la vitesse à laquelle la technologie a progressé ces deux dernières années, mais pour moi, ce n'est pas encore assez rapide. C'est trop lent ».
  
• Cette pensée est pourtant en adéquation avec plusieurs autres intervenants du salon, qui semblent oublier le chaos potentiel d’un manque de régulation de l’IA en termes de discrimination, de propriété intellectuelle, et de désinformation. Bruno le Maire, lors de sa visite surprise afin de remplacer Emmanuel Macron en visite en Nouvelle-Calédonie a affirmé : « l’Europe doit retrouver le goût du risque afin de créer l’IA française et européenne dont nous avons besoin pour notre économie ». 

« Ne travaillez pas sur les LLM's, ils sont entre les mains des grandes entreprises ».

Madhumita Murgia, rédactrice IA en chef chez FT et Yann LeCun VP & Chief AI Scientist chez Meta.

 Les points clés 

• Lors de son intervention, Yann LeCun, VP & Chief AI Scientist chez Meta, a souhaité s’adresser aux étudiants. « Ne travaillez pas sur les LLM's, ils sont entre les mains des grandes entreprises. Il n'y a rien que l'on puisse mettre sur la table, vous devriez travailler sur la prochaine génération d’IA ».
• Le « baron du deeplearning » comme il se fait appeler, a également déclaré que les LLM ont une maîtrise limitée de la logique et n'atteindront pas le niveau d'intelligence humaine : « L’intelligence n'est pas une échelle linéaire. Il existe un écart entre l'intelligence que nous pouvons reproduire et l'intelligence humaine ». « Les machines ne comprennent pas le monde réel et n'ont pas de mémoire persistante » poursuit-il.
• Les entreprises sont de plus en plus réticentes à l’idée de partager leurs modèles en open source à cause de la concurrence : « Au cours des douze dernières années, la communauté s'est considérablement ouverte. OpenAI faisait de la recherche open source, ce qui a contribué aux avancées très rapides de l’IA. Maintenant, des intérêts commerciaux émergent. OpenAI n'est plus du tout ouvert, et Google de moins en moins. Ce changement de paradigme est très mauvais pour l’industrie ».
• Les applications les plus prometteuses de l'IA ne se trouvent pas chez Méta, mais au sein des start-ups qui développent des systèmes dans des langages peu exploités par l'IA. « Avoir une IA qui communique dans leur propre dialecte offre un accès technologique à des personnes qui en sont actuellement privées », souligne Yann LeCun. À titre d'exemple, il évoque une initiative d'une start-up sénégalaise utilisant un modèle open source pour fournir des informations médicales en français et en Wolof, les deux langues locales du pays. Cette solution facilite l'accès aux soins dans un contexte où consulter un médecin est souvent difficile.
• Pourquoi les talents ne restent-ils pas en Europe ? « Les futurs chercheurs vont là où ils auront le plus d’impact et le plus de chances de réussir » explique Yann LeCun. Selon lui, « le faible salaire dans la recherche scientifique publique » est l’une des raisons qui poussent les nouveaux acteurs du secteur à claquer la porte. 
• L’enjeu est de taille pour le président français Emmanuel Macron. S’il n’a pas abordé la question des salaires des chercheurs à l'Élysée lors de son discours sur l'IA du mardi 21 mai, il a annoncé des mesures ambitieuses visant à accroître le nombre de professionnels formés dans ce domaine. Son plan prévoit de passer de 40 000 à 100 000 professionnels formés par an, et un investissement supplémentaire de 400 millions d'euros dans les neuf clusters d'IA français, reconnus comme des centres d'excellence universitaire.

If you are a student interested in building the next generation of AI systems, don't work on LLMs https://t.co/H1qX3gClEu

— Yann LeCun (@ylecun) May 22, 2024

 Où sont les femmes ? 

Bruno le Maire lors de son intervention sur les femmes dans le secteur de la tech.

Les points clés 

• Les grandes absentes du salon, ce sont les femmes. Valérie Pécresse, présente ce mercredi a déploré ce manque de représentation :« Nous avons besoin de reconvertir beaucoup de Franciliens qui pensent que la tech n’est pas pour eux. Parallèlement, je constate en déambulant dans les stands que les femmes ne sont pas suffisamment représentées ».
• De son côté lors de son intervention, Bruno Le Maire a promis qu’il était temps de « mettre des quotas dans les classes préparatoires ».
• Ce constat est également partagé par Béatrice Kosowski, Présidente IBM France, lors de la conférence « From Regulator to Innovator: European AI and Sovereignty ». Selon elle, 85 000 postes seraient vacants dans le secteur du numérique. Il y a donc urgence à former des jeunes dans ce domaine, en mettant l'accent sur la parité, car « autrement, les outputs de l’IA seront biaisés ». Elle souligne que les femmes ne représentent que 32% des effectifs dans les métiers de la tech en Europe, et environ 20% en France.
• Ce manque de représentation avait été reproché à OpenAI en décembre dernier, lorsque son nouveau conseil d’administration avait évincé toute présence féminine pour devenir le club des “Big Tech Boys”. Parmi les 702 (sur 750) employés qui avaient signé la lettre demandant le retour de Sam Altman après son éviction, plus de 75% étaient des hommes.
• Les chiffres montrent également un écart de confiance entre hommes et femmes concernant la conduite de projets liés à l’IA. 26% des femmes se disent confiantes, contre 49% des hommes. En cause ? les représentations sociales et les stéréotypes de genre qui pèsent sur l’orientation et l’auto-censure des femmes (syndrome de l’imposteur).

 Les « musk-see » du salon 

Si la présence (à distance) d’Elon Musk, a fait jaser la « techosphère », certaines innovations ont également fait entendre parler d’elles. Tour d’horizon de ces gadgets plus ou moins utiles. 

• Le secteur de la santé est à l’honneur cette année. La startup SquareMind propose par exemple une technologie pour aider les dermatologues dans le dépistage des cancers de la peau. Ce dispositif automatisé numérise l'intégralité de la peau du patient en très haute résolution à l’aide d’un bras mécanique. « Grâce à l'intelligence artificielle, il peut signaler l'apparition de nouveaux grains de beauté entre deux visites » explique son co-fondateur Ali Khachlouf. Autre démonstration qui a suscité l’émerveillement du public : un fauteuil roulant développé par la startup suisse Scewo qui peut monter et descendre des escaliers en toute sécurité.
  

Un pas en avant pour l’accessibilité des personnes en fauteuil roulant avec @scewo_official #Vivatech @VivaTech #Handicap pic.twitter.com/gt4vAf17Nv

— Mathieu Flaig (@MathieuFlex) May 22, 2024

• Mais notre coup de cœur est sans nul doute Buddy, un petit robot à l’allure « kawai » dont le but est d’aider les enfants sur le spectre autistique dans leur apprentissage. Fabriqué par la société française Blue Frog Robotics et désigné en France comme « robot for good », Buddy a été approuvé par le ministère de l’Éducation nationale. Présenté comme « un compagnon émotionnel avec qui l’enfant pourra nouer un lien social », Buddy permet aux petits d’interagir avec un avatar ayant des traits humains (deux yeux, une bouche) sans le stress que pourrait générer une interaction réelle. « Buddy permet de simuler certains codes sociaux mais n'a aucune conscience de ce qu’il est », souligne un développeur présent au stand. Un autre projet en cours vise à utiliser Buddy pour réinclure en classe les enfants en situation d’exclusion. L’initiative née sous l’impulsion de la Fondation des hôpitaux de France présidée par Brigitte Macron a été lancée auprès de 2000 enfants malades. À l’aide d’une tablette disponible dans leur chambre d’hôpital, les jeunes patients peuvent contrôler le petit robot à distance, parler à travers lui, entendre le professeur et répondre aux questions. Des tests sont en cours pour mesurer les impacts socio-psychologiques du dispositif sur les patients. Si les résultats sont positifs, Buddy pourrait être déployé à plus grande échelle. Toutefois, on peut se questionner sur le coût d’un tel programme et son déploiement réel par la suite. L’éducation nationale étant déjà en proie à des restrictions budgétaires, qui financera ces Buddy dans nos écoles ? 

Salon #Vivatech 2024 #AvecFranceTravail
@BlueFrogRobotic présente #Buddy
dopé à l'#IA pour interagir avec des enfants #autistes, malades ou assistance auprès des personnes âgées
création d'empathie, de lien émotionnel @VivaTech @FranceTravail pic.twitter.com/8JOOjmBkos

— Eric Huguet (@ERICHUGUET4) May 23, 2024

• Évidemment, certaines innovations auraient pu rester au stade de l’idée. Par exemple, SmartGolf est un fournisseur de services de golf nouvelle génération, qui propose une analyse du swing et un coaching par l'IA sans balle. Le but ? Pouvoir faire du golf directement de chez soi. Pratique lorsque l’on n’a pas de terrain à proximité. Un gadget qui n’est pas sans rappeler wii sport, disponible pour la modique somme de 450 dollars. Mais le plaisir du golf ne réside-t-il pas dans le fait de taper la balle ? Du côté automobile, comme chaque année, de nombreux modèles de voitures aux designs toujours plus futuristes se sont fait concurrence. Une dizaine de constructeurs étaient présents, avec des promesses marketing plus ou moins similaires, englobant IA, énergie verte, pilotage automatique etc. Parmi eux, le cybertruck de Tesla s’est fait remarquer par ses dimensions hors norme : 5,69 mètres de longueur sur 2,4 mètres de largeur pour 3 tonnes. Non commercialisé en France (et pas prêt de l’être), le pick-up en acier inoxydable est disponible aux Etats-Unis pour environ 100 mille dollars.

It's the @Tesla Cybertruck. And it's at #VivaTech pic.twitter.com/rO3RoP3nGM

— Viva Technology (@VivaTech) May 22, 2024

• Airbus a également présenté ses innovations les plus ambitieuses à VivaTech. Le cheval de bataille du géant de l'aérospatiale ? Permettre aux avions de se déplacer en totale autonomie dans les aéroports. Le projet intègre des technologies telles que l'automatisation avancée, la vision par ordinateur, et l'apprentissage automatique. Une menace pour la sécurité selon certains syndicats de pilotes. Pour minimiser l'empreinte carbone de ses essais, Airbus utilisera un camion électrique, le « Air-truck » qui reproduit les fonctions d'un cockpit d'avion. Le stand proposait également d’effectuer un vol simulé au-dessus d'Osaka à bord d'un taxi aérien du futur. L’occasion de faire un parallèle avec le volocity, un taxi volant proposant une offre 100% électrique et décarbonée. Déjà présenté au salon en 2022, il devait effectuer ses premiers vols commerciaux à l'occasion des JO de Paris 2024 pour environ 250 euros. Deux ans plus tard, le taxi volant du futur sillonnera bien le ciel de Paris afin de profiter de la vitrine médiatique des Jeux Olympiques, mais sans client ! 

J'aurais peut être dû prendre le volocopter pour rentrer plutôt que la ligne 12 #vivatech@jblefevre60 @kalydeoo @pierrepinna @Nicochan33 @tewoz @loutro1990 @CHRISTINESOTO12 @RLDI_Lamy @jeancayeux pic.twitter.com/gEoqJ9V2zv

— Yann Marchand (@Ym78200) May 23, 2024

Conclusion

En conclusion, la transformation de Paris en une "capitale de l'intelligence artificielle" semble bien en marche, soutenue par les ambitions du président Emmanuel Macron et l'engouement généré par le salon VivaTech. Au-delà des innovations gadget, des exercices de com' de la part des politiques, de l'aliénation de certains tech lovers, de la recherche du business à tout prix, cet événement a rassemblé les acteurs les plus influents du secteur, témoignant de l'importance croissante de l'IA dans les discussions technologiques et économiques. Rappelons que la France accueillera, les 10 et 11 février 2025, la prochaine édition du sommet international de l'intelligence artificielle. 

The post VivaTech : l'IA sur le tapis rouge first appeared on Méta-media | La révolution de l'information.