❌

Vue lecture

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.

La liste : les mots comme armes

Alors que l’essai sur le capitalisme linguistique de Frédéric Kaplan semblait souvent dépolitisé, celui de Cécile Alduy, D’abord ils sont venus chercher les mots (Les Arènes, 2026) semble son exact inverse et donc son parfait complément. 

Il permet, nous semble-t-il, d’éclairer les conceptualisations de Kaplan de réalités bien plus terre-à-terre. La professeure de littérature à l’université Stanford, sémiologue et sémioticienne, spécialiste de l’analyse des discours d’extrême-droite, y raconte, depuis son poste – celle d’une femme, professeure à Stanford, titulaire d’une double nationalité – les dégâts de l’arrivée de Trump au pouvoir. Son enquête, très personnelle, se concentre notamment sur la chasse aux mots, c’est-à-dire ces listes de mots censurées et interdits via plusieurs décrets promulgués par Trump dès le début de son mandat. 

Cécile Alduy analyse depuis des années la guerre culturelle que mène l’extrême droite. Depuis l’élection de Trump, elle vit de plein fouet le changement politique. Immigrée dans un pays qui les chasse, professeure d »université quand ceux-ci sont mis sur la sellette, femme… Elle est saisie de la bascule politique qui la vise directement. Malgré le confort qui est le sien, elle montre dans son livre, qu’elle ne se sent plus à l’abri mais menacée. Pourtant, au-delà de son cas particulier, ce n’est pas lui, le cœur du livre. Depuis la nomination Trump, les décrets présidentiels innombrables s’en prennent à toutes et à tous. C’est un ensemble de décrets du 20 janvier 2025, pris dès le début de la présidence, qui obnubile ce livre et notamment celui de suppression des programmes gouvernementaux DEI (Diversity, Equity and Inclusion, parfois également appelés DEIA, Diversity, Equity, Inclusion and Accessibility). Des principes établis pour promouvoir l’inclusion et la lutte contre les discriminations envers des groupes historiquement minoritaires ou minorisés qui visent bien plus à créer du respect, à ouvrir des opportunités pour tous, bien loin des quotas de discrimination positive qu’ils ne sont pas et sous lesquels ils sont souvent caricaturés, comme le rappelle Wikipedia. 

Mais pour supprimer encore faut-il désigner. Or, les décrets de Trump ne contiennent que des intentions, des orientations, sans construire la méthode pour obtenir le résultat attendu. Le décret souhaite faire disparaître les programmes progressistes de l’administration sans proposer de méthode opératoire pour les identifier. Le décret demande de mettre fin à tous les mandats, politiques, programmes, préférences et activités liés à la « diversité, l’équité, l’inclusion et l’accessibilité ». Il exige également que les agences fédérales transmettent au directeur du Bureau de la gestion et du budget, dans un délai de 60 jours, la liste de tous les employés occupant des postes liés à la DEIA ou à la « justice environnementale ». Mais il n’y a pas eu que des listes d’employés produites, listes qui ont conduit à leur éviction massive. L’enjeu a aussi été, ensuite, de supprimer toute mention de la diversité, de l’équité ou de l’inclusion, conduisant plusieurs agences fédérales à traquer des termes relatifs au DEI, notamment à la Fondation nationale pour la science chargée de réexaminer les demandes de subventions pour éliminer les programmes devenus problématiques (cela a été le cas dans d’autres services, notamment le Fonds national pour les arts et le Fonds national pour les sciences humaines). D’autres agences ont travaillé à supprimer de leurs documents et sites web les mentions vers des programmes DEI, faisant disparaître des images, des histoires, des personnes, comme le racontait le Washington Post dans une enquête interactive.  

Pour identifier ces programmes, ces références, dans des délais aussi courts et les supprimer, les agences ont eu recours à des listes de mots. Des mots interdits, effacés, que nombres d’acteurs ont tenté de reconstituer enquête après enquête pour saisir exactement de quels mots il était question. Une liste absurde, parce qu’elle s’en prend au langage même, comme si en faisant disparaître les mots on pouvait faire disparaître ce qu’ils décrivent. Ces mots sont des plus courants pour nombre d’entre eux : égalité, identité, monorités, hispanique, handicap, rougeole, autisme… anti-racisme, féminisme, gay… immigrants. Des mots qui se sont mis à disparaître de l’administration, des sites et documents des agences fédérales. En janvier 2025, le Washington Post publie une première analyse du nettoyage du web des sites ministériels. En mars, le New York Times allonge la liste. 

« Des mots tabous ou impurs, des termes contagieux qui risqueraient de transmettre les choses qu’ils désignent – l’homosexualité ou l’idéologie de genre. Par quelle pensée magique éliminer les mots effacerait-il la chose ? »

Les mots pour produire l’arbitraire

La liste des mots interdits est reconstruite par rétro-ingénierie par les journalistes du New York Times. Elle est compilée à partir de recoupements minutieux, déduits de disparition de termes, de modifications lexicales sur des sites officiels et des documents administratifs. Mais surtout, cette liste produite par l’enquête finit par devenir LA liste elle-même, via un copié-collé de l’article du New York Times. Elle sera utilisée par des bureaucrates zélés, comme si elle était le document officiel. 

Image : capture d’écran de la liste établie par le New York Times. 

La liste pour accabler et devenue la liste pour dénoncer, et inversement. La recherche de la vérité a produit l’autodafé lexical. Mais ce n’est pas la seule origine de la liste, ou plutôt des listes, car visiblement plusieurs circuleront, se complèteront, se succéderont. A la fin de son essai, Alduy produit une liste de 483 termes qui se sont trouvés sur l’une ou l’autre de ces différentes listes. Une liste non exhaustive, faite d’innombrables termes et de leurs synonymes. Une liste des mots dangereux qui non seulement empêche de parler du carbone, mais également de tout ce qui s’y rapporte. Une liste qui interdit de parler du genre, des femmes, de l’esclavage, des migrants, des origines ethniques… 

En mars 2026, le New York Times révèle que les annulations de crédits massives pour la recherche étaient l’œuvre de ChatGPT. Elles étaient l’œuvre de Doge Boys, qui ont éliminé en 22 jours 1477 projets de recherche soit plus de 100 millions de dollars de fonds de recherche du NEH (National endowment for the humanities ou Fonds national pour les sciences humaines)… sans posséder aucune autorité légale ou compétence scientifique pour se faire. Dans la déposition de l’un d’entre eux devant une cour de justice, Justin Fox affirmera que son critère pour faire un sort aux subventions n’était rien d’autre que ce qui relevait du DEI, sans être capable de définir ce que c’est. Là encore, une personne refuse de penser, de s’exprimer, répétant et ânonnant des éléments de langage qu’il semble ne pas comprendre, ne pas penser. Il refuse d’interpréter. S’exonère de toute responsabilité. Il se présente comme l’automate d’un autre automate.

Dans sa déposition, Fox, expliquera la méthode : il récupère de courtes descriptions de projets de demandes de financement et les soumet au chatbot avec une instruction minimaliste « Ce qui suit a-t-il un quelconque rapport avec la DEI ? » en exigeant une réponse très courte. Fox ne cherche pas à comprendre comment ChatGPT interprète la notion de DEI, ni à vérifier les réponses. Le chatbot devient le filtre, qu’importe les projets. Dans la logique du chatbot, toute recherche évoquant la race, le genre ou les minorités devient suspecte. Une archive sur les langues autochtones d’Alaska est signalée pour avoir le potentiel de promouvoir l’inclusion. Un documentaire sur le travail forcé de femmes juives pendant la Shoah est également jugé problématique. 

Avant même d’utiliser ChatGPT, Justin Fox crée une « liste de détection » (c’est ainsi qu’il nommera son fichier Excel) : une liste de mots-clés pour filtrer les projets. Cette première liste de 49 mots sont ceux qui sont venus spontanément à son auteur. Parmi eux, citons par exemple LGBTQ+, BIPOC (un acronyme qui fait référence à des programmes pour les Noirs, Autochtones et aux personnes de couleur), immigrants, tribal, gay, indigène… Les premiers mots de la liste sont LGBTQ puis homosexuel. Mais on ne sait pas si cette liste sera utilisée ni comment. Cette première liste de 49 mots sont ceux qui seraient venus spontanément à son auteur. Elle sera corrigée. Complétée. Amendée. Utilisée. Pour Alduy, c’est là la liste originelle. On ne sait pas vraiment si Fox a composé la liste lui-même, ou si elle a été produite à l’aide d’une requête sur ChatGPT. Certains mots semblent étranges. Certaines absences également. C’est une réponse que nous n’aurons pas. L’arbitraire est-il le fait de l’homme ou de la machine ? Quelque part entre les deux certainement, comme le souligne Thibault Prévost Dans Technologie du coup d’Etat : « l’IA fournit à l’arbitraire un vernis de rationalité et de respectabilité ». C’est exactement l’endroit où nous sommes, où la liste se situe. 

Dans les 5 heures de vidéo de l’interrogatoire de Fox, celui-ci se décrit comme un exécutant, recruté au Doge pour appliquer les décrets du président. Fox était interrogé dans le cadre d’une plainte déposée par l’Authors Guild, l’American Council of Learned Societies, l’American Historical Association et la Modern Language Association… des associations qui ont vu leurs subventions par le NEH annulée. Or, celles-ci étaient jusqu’alors attribuées selon un processus rigoureux, chaque projets étant évalués par des spécialistes. Mais d’un coup, ce n’était plus la qualité scientifique des projets qui était évaluée, mais leur contenu idéologique. Enfin pas vraiment. La méthode employée par Fox montre surtout qu’elle consistait à utiliser l’IA pour ne pas avoir à faire le moindre travail. Que l’arbitraire du jugement produit par l’IA, tout comme l’arbitraire de la liste, était finalement ce qui était recherché.    

L’éradication de mots n’est « que le prélude à l’annulation des personnes que ces mots désignent », rappelle Alduy. Les personnes protégées de la discrimination deviennent les catégories des personnes attaquées. On retrouve bien là, l’inversion, l’upside down, lexical mais également fonctionnel. On assiste à un changement de finalité qui modifie la réalité, comme quand nous évoquions l’application CBP One, celle qui permettait aux immigrants de faire une demande d’asile et qui, avec l’arrivée de Trump, est devenue une application de partage d’information avec les services de police pour localiser les demandeurs d’asile et les arrêter. « Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite », écrivions-nous. Même chose partout désormais : dans le nouvel ordre du langage où celui-ci devient le pouvoir, les mots changent de valeur et de fonction. Le sens est mis à l’envers. Le 23 juillet 2025, le président d’une agence fédérale demande à l’université de Pennsylvanie une liste pour identifier les étudiants, professeurs et employés juifs du campus afin de collecter des informations à charge dans un procès lancé par cette même agence contre l’université qui aurait laissé prospérer l’antisémitisme sur le campus depuis le 7 octobre 2023. Upside down. L’inversion du sens des mots change l’ordre du monde. Pour censément protéger une partie de la population, on la liste. L’horreur se retourne comme un gant. 

Une liste : « ça s’exécute »

Cette liste qui existe sans exister ne se lit pas. Elle n’est pas disponible. Elle n’est pas produite officiellement par le décret de Trump, rappelle Cécile Alduy. Dans un article de Reuters évoquant une liste de termes interdits à la FDA (l’agence des produits alimentaires et médicamenteux), la Maison Blanche a même démenti son existence tout en confirmant son existence. A défaut d’être, la liste se construit par l’enquête, celle des journalistes notamment qui récupèrent des mails de termes interdits, et qui tentent de repérer les mots qui disparaissent dans les mises à jour du web. Et cette même liste produite par l’enquête devient LA liste utilisée par les bureaucrates pour procéder à leur chasse lexicale, d’un simple copié-collé. « Une liste, ça ne se lit pas, ça s’utilise ». « Une liste ne se justifie pas, elle s’impose ». 

La liste est surtout matricielle. Elle se complète d’une disparition l’autre. Jamais définitive. Elle liste les phobies du camp présidentiel ou les peurs de ceux qui le craignent. Elle s’attaque non seulement à la langue, mais derrière elle, elle attaque aussi les gens, les choses désignées par ces mots. Alduy rappelle qu’une liste « ça s’exécute ». Une liste ordonne. Une liste ne laisse aucune place à la pensée (tout comme les réponses des chatbots nous enlèvent la charge de penser). « La liste comme type de texte favorise l’obéissance facile ». Elle est un mode d’action en soi. Elle désigne tout ce qu’il faut écarter. Elle dresse une cartographie pour révoquer ceux qui sont désignés. La liste dit aussi l’inverse de ce qu’elle annonce, puis qu’elle liste ce qu’il faut rendre invisible, sans pointer ce qui par défaut est rendu visible. Ce sont ceux qui espèrent maintenir la hiérarchie raciale qui interdisent le mot race. Ce sont ceux qui sacralisent la liberté d’expression qui la réduisent. Elle rend impossible certaines politiques et rend illégal le vocabulaire de l’adversaire. 

La solidité d’une démocratie repose pourtant sur le respect du sens des mots, rappelle la chercheuse. Quand celui-ci vacille, c’est la démocratie même qui s’écroule. Et c’est bien là où nous sommes aujourd’hui. Partout, les mots semblent être détournés de leurs sens. Comme s’ils étaient tous devenus, non seulement des mots, mais des vecteurs dans un espace qui n’a rien de latent, mais qui semble au contraire manifeste et même suractif. Les mots semblent être devenus partout des armes. Leur sens semble partout inversé, comme si l’inversion de leur sens nous projetait dans une réalité alternative, un monde à l’envers. Trump publie un décret intitulé « Restaurer l’excellence scientifique » au moment même où l’administration annule des milliers de programmes de recherche. Les mesures de rétorsion, de destruction, d’annulation sont baptisées « réparations ». Bien sûr, nous pensons tous à l’usage orwellien du langage de 1984, à renverser le sens des mots : « La guerre c’est la paix…» et la dépossession qui en résulte. Dans l’Amérique de Trump, l’effacement du langage va de pair avec une forme d’obsession pour la nomination, comme si nommer était un moyen pour cadrer et régner à l’image du fameux golfe d’Amérique. Des effets qui seraient risibles s’ils n’étaient pas immédiatement mis en œuvre, changeant de noms sur tous les téléphones des Etats-Unis aussi immédiatement que le décret est signé. Et c’est peut-être là finalement que cet effacement, que ce grand remplacement des mots prend tout son sens : dans le fait qu’il s’inscrit immédiatement. La liste produit son effet immédiat, sur les pages web qui disparaissent sur les écrans qui se réécrivent dès la mise à jour faite. D’un coup, la puissance de la langue semble se mettre en action. Pas partout. La réalité n’est pas la même si votre téléphone borne au Mexique ou en France. Ce qui se fissure ce ne sont pas seulement des mots, c’est aussi une réalité commune. Alduy parle d’une « prestidigitation digitale instantanée », remplaçant des mots par d’autres. Derrière la disparition des programmes DEI et du langage qui les rend possibles, la liste des termes proscrits permet de faire disparaître le langage du militantisme, de l’émancipation, des sciences sociales. Le « Diversité, Équité et Inclusion » est renversé par son sens antonyme : « Uniformité, iniquité et exclusion », sans que ce sens ne soit lui-même visible. Ce qui est supprimé laisse aussi invisible ce qui est affirmé.

La liste nous invite dans l’esprit de la machine

La liste est aussi une matrice, un creuset, une matière à délation, à condamnation et pas seulement à disparition, explique Alduy. La chercheuse rappelle d’ailleurs qu’en 2016, une première directive de Trump avait interdit une liste de 7 mots (vulnerable, entitlement, diversity, transgender, fetus, evidence-based, science-based) conduisant par exemple à bannir le terme transgenre de tous les documents du ministère de la santé. La liste est un programme qu’il suffit de répéter pour le rendre effectif. Elle n’existe pas dans le décret et pourtant dans l’administration, des gens l’appliquent. La censure est anticipatrice. L’injonction à la censure reste vague ce qui la rend puissante pour les zélotes. Elle provoque une psychose. On interdit des mots et on s’interdit des mots… La liste se complète, s’étoffe, de synonymes en oublis.

L’idée de la liste « innocule le virus de la liste comme automatisme ». La liste nous invite à classer machinalement, comme une machine. Comme l’IA, la liste trie, classe, discrimine. Les mots, les choses, les gens. La liste nous invite dans l’esprit de la machine. La liste est facile à produire et à reproduire. Elle se duplique. Viralement. Se dissémine. La liste conduit à entendre les anathèmes que produisait la sphère Maga depuis longtemps et que les progressistes refusaient d’entendre. La liste rend le délire réel. Et nous force en retour à choisir nos mots. La liste va au-delà de la liste, puisqu’elle permet par exemple de fabriquer des tests de loyautés idéologiques comme ceux qui sont institués pour les fonctionnaires fédéraux. La liste produit ses effets, de la suppression des mots à la suppression des postes de scientifiques et des données de la science. 

JD Vance l’avait annoncé avant de devenir vice-président des Etats-Unis : « Si nous voulons accomplir ce que nous voulons, nous devons, honnêtement et agressivement, attaquer les universités de ce pays ». L’arrivée de Trump au pouvoir a depuis multiplié les attaques, menaces et coupes des financements de l’enseignement supérieur. Alduy en raconte très concrètement la réalité : la fermeture de programmes de recherche, la disparition de disciplines entières, la suppression de bourses, la suspension des demandes de visa étudiants, quand les grandes universités comptent entre 16 et 25 % d’étudiants internationaux. Les « lieux où l’on apprend à utiliser le langage pour penser » sont les premiers visés, comme nous le racontions nous-mêmes en évoquant la montée de la contestation de l’IA à l’école. Alduy dresse le parallèle avec l’invasion de l’IA dans les études supérieures, avec la force politique et financière des entreprises de l’IA, qui non seulement déploient leurs outils pour penser à nos places, mais les déploient également pour croiser les données et armer la répression, révoquer les visas, surveiller les réseaux sociaux. Comme si cette lutte contre le langage n’était possible que via l’arme qui la rend possible : le numérique qui permet de produire des listes, des scripts réplicables et disséminables, et l’IA, qui va être le fer de lance de l’administration Trump, comme le raconte parfaitement bien le journaliste Thibault Prévost dans son livre.  

Nous sommes confrontés à une asymétrie de pouvoir inédite et un exercice du pouvoir qui repose sur la représaille produite par une armée de sycophantes et de serviteurs zélés, explique la chercheuse. Mark Zuckerberg n’a pas attendu le moindre décret présidentiel pour mettre fin aux efforts de son entreprise en matière de diversité, rappelle Alduy. Dès le 10 janvier 2025, avant l’investiture, il supprime ses programmes DEI et le fact-checking. D’innombrables multinationales (Coca-Cola, Google, McDonald, Warner Bros, Target…), longtemps à l’avant-garde de la représentativité, lui emboiteront le pas. L’équité et la diversité sont devenues d’un geste, d’une signature de Trump sur un décret, des valeurs à géométrie variable. Les décrets offrent un plan d’action : censure, licenciements, démantèlement, incitation à la délation… Les premiers sycophantes, ces flagorneurs, ne sont pas tant les outils de la tech, que les patrons de la Tech envers le pouvoir. « L’âge de l’IA coïncide avec le retour d’un système de courtisans et d’obéissance verticale sycophantique ». En français, rappelle la sémioticienne, le sycophante ne désigne pas tant un flagorneur qu’un délateur d’ailleurs. Courtisans et délateurs semblent être devenus la double face d’une même lame. 

Alduy raconte la réalité qui touche désormais les Américains de papiers, face à la « dénaturalisation ». La nationalité est désormais révocable. A l’heure du calcul permanent, les droits sont désormais révocables, annonçait le philosophe Achille Mbembe dans Brutalisme. Et ce très concrètement : les exactions de l’ICE à capturer des individus pour les envoyer en camp de détention, sans pouvoir contacter leur famille ou parler à un avocat, en les retenant pour des durées indéfinies, sans avoir autre chose à se reprocher que la révocation unilatérale d’un visa. Lister permet de produire des outils de filtrages simples et accessibles, permettant de faire changer leur fonction d’un clic, comme quand le Doge a délibérément reclassé 6000 immigrés comme décédés dans les bases de la sécurité sociale, alors qu’ils étaient bien vivants. 

Les centres de détention de l’ICE accueillent des gens qui n’ont plus d’existence légale ni droits, dans un espace de vide juridique, laissé vide, volontairement. « Le futur avance plus vite que nos peurs », écrit Alduy. « L’horreur avance plus vite que nos craintes », pourrions-nous ajouter. Pour la professeure, comme nous y invitait Naomi Klein dans Le Double (Actes Sud, 2024), nous n’avons pas assez fait attention aux mots de l’extrême-droite. « Nous avons cru qu’ils utilisaient le langage comme nous : pour convaincre, pour créer, pour penser, pour figurer, pour métaphoriser, pour comprendre. Alors qu’ils utilisaient le langage sans fioritures comme un instrument de domination ». Quand JD Vance dit que « les université sont l’ennemi », ce n’est pas de l’emphase rhétorique : c’est un programme politique !, rappelle la chercheuse. « Nous n’avons pas assez pris au sérieux leurs mots ». « Ce ne sont pas des manières de parler. Ce sont des manières de penser. Et – aujourd’hui aux Etats-Unis, demain en France – des manières de gouverner ». 

« La langue est plus vraie que celui qui la parle », disait Victor Klemperer dans LTI, la langue du IIIe Reich. La langue Maga explique le nouvel ordre qu’elle espère instaurer. « Les listes, le superlatif permanent, l’hyperbole à outrance, l’injure, les antithèses structurantes, ne sont pas des ornements, mais des dispositifs signifiants : les outils de construction d’un monde manichéen régi par la loi du plus fort ». Pervertir le sens des mots de tous, confisquer le vocabulaire adverse, expurger le dictionnaire, désarticuler la pensée… détruire la capacité de raisonner en est la conséquence. Utiliser des moyens de rétorsion pour imposer sa langue, et avec elle, sa vision du monde également. C’est ce que produit la liste. « Ce qu’on ne peut plus dire, on oublie de le penser » : interdire de nommer des structures de domination, occulter la réalité, empêche de les transformer. 

Intervenir sur les mots vise à « faire échec à la pensée ». Nous sommes confrontés à une langue pour ne pas penser. De chiffres pour ne pas penser, comme quand Pangram écrase un texte d’un chiffre pour nous écraser de la réduction qu’il produit. Nous sommes désormais renvoyés à une langue plus pauvre, au vocabulaire limité, réduit à un usage transactionnel, fonctionnel, utilitariste. A un manichéisme simpliste, Femme/Homme, Noir/Blanc, Diversité/Majorité… La liste, par son caractère manichéen, produit de l’antagonisme, du clivage, qui oppose amis aux ennemis, fidèles et traîtres, eux et nous. Elle produit une rhétorique qui invite à « une réaction viscérale et une loyauté irréfléchie ». Le sentiment doit supplanter la pensée disait Klemperer. L’opposition binaire invite au campisme, à désigner un ennemi, comme quand on nous invite à choisir entre la Violence et la République. Répondre au campisme consiste souvent à en proposer un autre. A opposer des réalités sans plus aucun débat possible. Les néologismes, les attaques ad hominem, les épithètes dévalorisantes, les amalgames sont utilisés pour dévaloriser l’adversaire, l’essentialiser par le genre, la race, la couleur politique. Alduy parle d’idiolecte, de terme pour interdire les mots des autres. En linguistique, l’idiolecte désigne l’ensemble des usages du langage propre à un individu donné, c’est-à-dire à une langue qui n’est plus parlé que par quelques-uns. Mais cet idiolecte pourrait être aussi le langage de l’idiocratie. Une mère assise dans une voiture devient une « terroriste domestique », comme Kristi Noem, la ministre de la sécurité intérieure, a qualifié Renee Nicole Good quelques heures après son meurtre par un agent de l’ICE. L’idiolecte vise à écraser le pluralisme, à imposer une seule vision du monde, il permet « de réduire la focale sur les obsessions d’une minorité et d’imposer un seul filtre, une seule langue, une seule idéologie ». 

Pour Alduy, nous entrons dans un nouvel ordre du langage, totalisant, qui impose d’adhérer à ses fictions. Qui nous invite à abandonner la langue (le logos) « dans sa capacité raisonnante et universelle au profit du mythos, le mythe sous forme de récits alternatifs déconnectés de tout ancrage factuel et le pathos », la réponse purement émotionnelle, impulsive. « Croire dans l’absurde est une vraie démonstration de loyauté ». On assiste à une alliance entre idéologie et rhétorique pulsionnelle qui produit un « prêt-à-penser qui filtre la complexité du monde et la remplace par une image simplifiée, claire, tranchée, une histoire de bons et de méchants ». Qui permet de manifester ses croyances, comme le propose la désinformation augmentée par l’IA. « Les faits dépendent entièrement du pouvoir de les fabriquer ». Le langage ainsi détourné « croit en la force plus qu’en la vérité ». Pourtant seule la langue nous hisse « au-dessus du rapport de force brut », rappelle la spécialiste des mots. C’est la langue, la parole, qui produit la réparation et la justice. Nous avons bien plus besoin d’ajouter des mots à nos dictionnaires plutôt que d’en retirer.

Détruire : la nouvelle fonction du langage

Lire D’abord ils sont venus chercher les mots par ces temps troublés inspire nécessairement plusieurs réflexions. 

D’abord, il nous rappelle que les mots, et le capitalisme qui les exploite désormais, ne font pas que dévorer le monde, ils le transforment. Comme s’ils étaient désormais dotés d’une fonction performative immédiate, une capacité d’agir, une agentivité rendue possible par les systèmes numériques eux-mêmes. On le sait déjà depuis longtemps, dans les systèmes numériques, la liste (qui est le résultat du tri et du classement) est une fonction phare des outils informatiques. 

La liste des mots interdits par l’administration Trump, fait indéniablement écho à d’autres listes. Celle des mots interdits de Google Photos (et qui le sont toujours), à celle des URL interdites que se partagent les opérateurs dans la traque des sites de téléchargement illégaux comme des sites de phishing, à celle des filtres de censure des IA génératives russes qu’évoquait la chercheuse Ksenia Ermoshina. Là où le rapport à la langue est le plus construit, le filtrage et la censure restent traités avec des solutions bricolées. Comme disait déjà le chercheur Tarleton Gillespie dans Custodians of the internet (2018, Yale University Press, voir notre lecture) : le filtrage, via des listes noires, n’est pas très probants et produit une censure trop forte, très facilement contournée pourtant par des techniques d’obfuscation élémentaire, comme d’introduire des fautes d’orthographe ou des caractères étranges. Toutes imparfaites qu’elles soient, le risque, pourtant, est bien que ces techniques se démultiplient, sans que les utilisateurs ne soient sûrs de l’effet produit, car bien souvent, l’interdiction n’est pas directe, mais restreint surtout la portée des messages comportant les termes interdits. Le projet d’interdire les termes appelant à la violence sur les réseaux sociaux, comme le projette la loi dite casseurs-payeurs (qui vise surtout à faire payer d’autres personnes que les casseurs, en introduisant des moyens d’enquêtes qui reposent sur une surveillance sans limite et qui est d’abord une attaque contre le droit à manifester), ne cesse de renouveler la promesse de la liste : censurer sans se montrer, modérer sans le dire, interdire sans l’avouer et punir par l’arbitraire. 

Malgré les défaillances de ces listes, elles nous rappellent que les mots ont désormais une fonctionnalité. Et que le passage de la modération à la censure, n’est plus rien d’autre qu’un glissement d’opérations dont rien ne nous prémunit, caché derrière l’opacité des plateformes. Dans la confusion des innombrables formes de modération qui se propagent dans la plus grande opacité, plus rien n’est clair, comme quand Bluesky s’arroge le droit de bloquer des liens vers une fuite de données sur les agents de l’ICE.

La liste propage à la fois la signose et le glissement. Elle permet à la fois de « prendre le signal pour la chose », c’est-à-dire de transformer le signe (le mot) en signal (celui qui le prononce le défend) et de produire « le glissement », c’est-à-dire le changement de finalité. La liste rend les mots fonctionnels, quelles que soient leurs défaillances. Et c’est bien cela qui devrait nous inquiéter. Les techniques de modération sont les mêmes que les techniques de censure.  

Mais la censure, même algorithmique, est toujours défaillante. Si elle est plus active sur certains que sur d’autres comme le remarquait déjà Gillespie, ses modes opératoires restent extrêmement frustres. Et c’est cela que souligne Cécile Alduy dans son livre. Son mode opératoire. Son flou. La liste n’est jamais vraiment produite, jamais claire, toujours mouvante. Ses effets le sont tout autant. A la fois réels et putatifs, à la fois lourds et évanescents, à la fois concrets et potentiels. A l’heure du capitalisme du langage, les mots ne sont pas tant de l’argent, ils sont d’abord transformés en armes par les systèmes numériques eux-mêmes. Quant à croire que le trumpisme ne nous menace pas, la Commission consultative des droits de l’homme s’est récemment inquiétée du risque que le CNRS retire les thématiques « égalité femmes-hommes » , « inégalités » et « discriminations » de ses priorités de recherche. Avant de recevoir l’assurance du contraire… Pour l’instant.

L’autre enjeu qu’évoque assez peu directement le livre de Cécile Alduy, c’est bien sûr le rôle et la place de l’IA dans la production de l’arbitraire. Alors bien sûr, confrontés désormais aux bullshiteurs, aux « simulateurs de conversation » on pourrait croire de la même façon, que l’IA est un outil pour penser, pour comprendre… alors que lui aussi, doit être d’abord lu comme un instrument de domination. La concomitance du fascisme et des outils de production de langue ne semble pas tenir du hasard, tant l’un est mis au service de l’autre. L’IA semble d’abord recouvrir l’arbitraire de ses calculs d’un vernis de science pour les rendre acceptables, alors qu’ils sont d’abord rendus irredevables. L’IA semble surtout un outil pour implémenter et renforcer l’irresponsabilité de l’État comme des entreprises qui la mobilise. Discriminer sans le montrer est certainement la première fonction de l’IA. Et détruire, par delà les mots, nos capacités même de penser, l’inquiétude qui devrait nous alarmer.

Hubert Guillaud

La couverture du livre de Cécile Alduy, D’abord ils sont venus chercher les mots.

Sortir des nécrotechniques des frontières

L’avocate et anthropologue, Petra Molnar, spécialiste des droits humains et des questions de migration, co-fondatrice du Migration and Technology Monitor, directrice associée du Refugee Law Lab à l’université de York et autrice de The Walls Have Eyes: Surviving Migration in The Age of Artificial Intelligence (New Press, 2024, non traduit), vient de publier un nouvel ouvrage sur le développement des technologies aux frontières : Border Necrotechnics: Automation, Surveillance, and the Racial Politics of Migration Control (Springer, 2026, non traduit, mais disponible en libre accès). 

Pour elle, explique-t-elle dans une tribune pour Tech Policy Press, nous avons besoin d’un langage précis pour rendre visible les infrastructures numériques qui décident qui vit et qui meurt. Elle parle de nécrotechniques, de techniques pour produire de la mort. « La nécrotechnique des frontières désigne l’ensemble des systèmes automatisés, des bases de données et des architectures de surveillance par lesquels les États et les entreprises décident quelles vies sont rendues passibles de mort, d’expulsion ou de surveillance indéfinie, à la frontière et au-delà ». Les débats sur les politiques technologiques de surveillance et de contrôle des frontières n’abordent jamais la réalité des décès causés par ces systèmes. L’importation croissante de technologies frontalières rend les décisions politiques neutres et les réduit à une simple question de technologie ou de calcul, exonérant et diluant de toute responsabilité les États et les acteurs privés qui leur fournissent les technologies. Or, rappelle-t-elle, les décès engendrés par ces systèmes ne sont ni des dysfonctionnements ni des effets secondaires, mais bien « le fonctionnement normal du système ». 

« Le contrôle moderne des migrations découle directement de la gouvernance coloniale, de l’enregistrement biométrique des populations colonisées à la surveillance des communautés jugées suspectes et à la restriction collective de leurs déplacements. Les frontières contemporaines fonctionnent comme des mécanismes de réinscription et de préservation de la hiérarchie raciale mondiale, restreignant systématiquement la mobilité des personnes racialisées comme Africaines, Arabes, Musulmanes ou non occidentales, tandis que la circulation dans l’autre sens reste largement fluide.» 

« Les technologies numériques de contrôle des frontières contribuent à cette continuité en étendant la portée des opérations et en donnant une apparence d’objectivité à des processus décisionnels complexes qui soustraient les décisions racistes de tout examen critique. Des outils d’évaluation des risques classent les personnes en déplacement selon le danger perçu, les infrastructures biométriques catégorisent les individus comme suspects permanents, et l’analyse prédictive évalue les personnes non pas pour leurs actes passés, mais pour leurs actes potentiels. Ces technologies produisent une forme de punition sans crime, continue et préventive. Les technologies numériques confèrent également un vernis d’objectivité scientifique à des processus décisionnels opaques et complexes, transformant les choix politiques concernant les personnes en déplacement en décisions techniques, obscurcissant davantage les responsabilités. Ce que font les frontières numériques modernes n’est pas une nouvelle forme de racisme, mais plutôt une réinscription de l’ancien ordre racial, normalisé et plus difficile à contester. La logique raciale au cœur des frontières modernes n’est pas un simple effet secondaire malheureux, mais bien le principe organisateur fondamental de la frontière numérique elle-même.» 

A la suite de Frantz Fanon et d’Achille Mbembe qui ont conceptualisé la nécropolitique, comme un pouvoir souverain d’exposer certains à la mort ou de les reléguer à des mondes de mort, la « nécrotechnique frontalière », souligne, à la suite des travaux de la professeure de droit E. Tendayi Achiume, de la sociologue Simone Browne (auteure de Dark Matters, Duke university press, 2015) et Ruha Benjamin (auteure de Race After Technology, Polity, 2019, voire notre compte-rendu de lecture), que la hiérarchie raciale s’inscrit dans le droit, la surveillance et la technologie. « Alors que la violence souveraine exigeait autrefois une décision visible, la nécrotechnique frontalière dissémine désormais cette décision à travers des bases de données signalant les corps « à risque », des capteurs redirigeant les parcours vers des terrains hostiles et des plateformes administratives banalisant la détention des migrants et la rendant indéfinie. Dans ces environnements, l’exposition au danger devient structurelle, cumulative et diffuse – répartie entre de multiples acteurs, interfaces et choix de conception -, si bien que la violence se fragmente et se détache de tout acte ou décision unique, ce qui la rend plus difficile à contester. » 

Pourtant, cette violence est bien réelle. Des chercheurs – notamment les géographes Samuel Chambers et Geoffrey Boyce – ont depuis longtemps documenté la forte hausse du nombre de décès dans le désert de l’Arizona suite à l’installation de tours de surveillance « intelligentes », les traversées s’étant déplacées vers des zones toujours plus isolées et mortelles. Ce même « effet d’entonnoir » s’observe en mer Égée comme au Sahara. Plus récemment, fin juillet, des dizaines de milliers de personnes ont contourné à la nage les brise-lames de Ceuta (Espagne) – l’une des frontières les plus surveillées et fortifiées au monde ; plus d’une centaines d’entre elles ont péri dans des eaux pourtant scrutées par des caméras, des patrouilleurs et des capteurs. En quelques jours, vingt-deux États membres de l’UE ont réagi non pas en s’interrogeant sur les causes de ces décès aux frontières « intelligentes », mais en appelant au renforcement des frontières extérieures – ce qui, concrètement, revient à continuer le développement des infrastructures responsables de ces morts. 

Rob Nixon, dans son livre Slow Violence (Harvard university press, 2013), qualifie ce phénomène de « violence lente » : un préjudice progressif, qui s’inscrit dans la durée et ne saurait être attribué à un événement unique ; c’est précisément ce qui lui permet d’échapper à la mise en cause de responsabilité qu’un acte de violence ponctuel aurait inévitablement provoquée. Aucun responsable pris isolément ne tue qui que ce soit, et le système lui-même semble venir édulcorer la violence à l’œuvre.

Des technologies exclues de la régulation… et donc de toutes réformes

Le problème, estime Molnar, c’est qu’il semble impossible de réformer le déploiement de ces outils. L’IA Act de l’Union européenne – « la tentative la plus complète à ce jour de réguler ces technologies » – classe sur le papier les systèmes de contrôle aux frontières comme étant « à haut risque »… tout en excluant du champ de la loi les applications liées au maintien de l’ordre, à la sécurité nationale et au contrôle migratoire (domaines où les enjeux sont pourtant les plus critiques). « Cette exclusion se dédouane de ses impacts en confiant la supervision de leurs effets à des mécanismes d’auto-évaluation et de conformité interne, sans offrir de perspectives réelles de recours effectif ». Ces exceptions sont le fruit de compromis politiques : comme l’ont souligné des coalitions de la société civile telles que Protect Not Surveil. Pour Molnar, la manière dont le règlement européen sur l’IA traite la question migratoire reflète une trajectoire européenne plus large, s’éloignant de la protection des droits des personnes en mobilité pour privilégier la délocalisation des contrôles, les expulsions et l’enfermement. « Les préjudices structurels – qu’il s’agisse de personnes refoulées sans explication ou de demandeurs d’asile mal classés par des scores de risque opaques – sont ainsi requalifiés en simples défis de mise en œuvre appelant une réglementation plus robuste, tandis que les systèmes frontaliers eux-mêmes ne sont jamais remis en question. »

Pourtant, la nécrotechnique frontalière ne distribue pas la mort au hasard. « Au nom de la préservation des régimes d’apartheid, de la suprématie blanche et de l’extractivisme néocolonial occidental, le projet global de gestion moderne des frontières perpétue une répartition raciale de la richesse et de la mobilité, héritée de siècles d’impérialisme et de colonialisme – façonnée par l’extraction, l’esclavage et le tracé de ces mêmes frontières dont la traversée coûte aujourd’hui la vie à tant de personnes.»

Tendayi Achiume figure parmi les universitaires ayant avancé l’idée que le projet colonial n’a jamais vraiment pris fin, mais a simplement changé de forme. Pour elle, d’ailleurs, les migrations actuelles sont la conséquence de l’histoire coloniale et devraient être abordées comme une prolongation effective de la décolonisation, et considérer ces personnes comme des acteurs politiques exerçant leurs droits de décolonisation. « Le monde occidental demeure lié à des structures de commerce, d’extraction de ressources et d’intervention militaires qui sont autant de moyens par lesquels les États riches continuent de tirer profit des sociétés qu’ils ont autrefois officiellement dominées et d’exercer un pouvoir sur elles ». Les populations des pays anciennement colonisés ne sont pas des étrangères cherchant à intégrer des communautés politiques qui leur seraient étrangères, mais tentent, par leur migration, de reprendre du pouvoir sur un système international bâti sur leur dépossession. « À ce titre, leur migration constitue une affirmation de l’appartenance politique créée – mais jamais honorée – par l’empire ; elles revendiquent une part de la richesse et de la sécurité accumulées grâce à la subordination de leurs propres sociétés ».

La perspective réparatrice peut aller encore plus loin, rappelle Molnar. « Les pays du Nord global, qui se sont industrialisés grâce à l’extraction coloniale, sont les mêmes dont les émissions rendent aujourd’hui des régions entières du Sud global inhabitables, déplaçant ainsi les populations les moins responsables de la crise ; ce sont aussi ceux qui exportent des armes et financent les conflits poussant les gens à l’exil. Le déplacement de populations n’est pas un malheur survenant ailleurs et s’échouant par hasard à Ceuta. Il est orchestré par ces mêmes États qui, ensuite, déploient des drones et des algorithmes d’évaluation des risques contre les personnes déplacées. Or, envisager la migration sous l’angle de la réparation permet de ne plus percevoir la liberté de circulation comme un acte de charité, ni l’admission sur un territoire comme un geste de bienveillance ou de générosité. Le déplacement humain depuis les pays de la « majorité mondiale » devient alors le remboursement partiel d’une dette séculaire, une forme de réparation bien moins coûteuse pour les États d’accueil qu’un règlement formel des comptes liés à l’héritage colonial.»

« Les nécrotechnologies frontalières apparaissent clairement comme le bras armé d’un système de contrôle des frontières qui refuse de reconnaître la dette bien réelle contractée envers la majorité mondiale au fil des siècles de colonialisme et d’impérialisme. »

Molnar esquisse d’autres voies possibles pour bousculer les politiques publiques répressives envers les migrations, comme de mettre fin aux protections du secret des affaires qui permettent aux fournisseurs privés de dissimuler les taux d’erreur aux personnes qui en subissent les conséquences, exiger la transparence des marchés publics pour le complexe militaro-industriel frontalier – où des entreprises comme Elbit Systems commercialisent des technologies éprouvées au combat en Palestine pour les déployer en Arizona (comme l’avait montré le journaliste Antony Loewenstein dans son livre, The Palestine Laboratory, Penguin, 2024) – et s’engager à instaurer un moratoire sur les technologies frontalières contraires aux principes établis en matière de droits humains. Toutefois, constate l’avocate, « toute approche réformiste est vouée à l’échec si l’on ne s’attaque pas aux logiques fondamentales qui sous-tendent nos systèmes frontaliers ». En attendant, enquêter sur les nécrotechniques frontalières reste le seul moyen pour « rassembler des préjudices délibérément disséminés entre bases de données, capteurs et contrats pour en faire une structure de responsabilité unique et lisible ; c’est affirmer que les morts solitaires ne sont pas des accidents géographiques, mais bien les conséquences directes d’une conception délibérée ».

Nécrotechnologies de désinformation : de la manipulation et de l’ingérence étrangère… 

Dans un autre article pour Tech Policy Press, Petra Molnar (accompagnée de Liz Carolan de Digital Action) revient sur la crise de Ceuta de cet été, et notamment sur la désinformation qui a alimenté l’exode mortel des dizaines de milliers de Marocains vers l’enceinte espagnole. Suite à une enquête, le premier ministre espagnol, Pedro Sánchez, a accusé les réseaux de désinformation russes et israéliens qu’il a décrit comme un réseau international d’extrême droite qui « instrumentalise systématiquement les migrations pour attaquer l’Espagne et l’Europe ». M. Sánchez a affirmé que les deux gouvernements s’étaient emparés de cette affaire en raison des positions de Madrid sur les guerres en Ukraine et à Gaza, et que les enquêteurs n’avaient jusqu’à présent trouvé aucune preuve d’implication de l’État marocain. Si Israël et la Russie ont démenti, cette campagne de désinformation orchestrée sur les réseaux sociaux qui promettait un assouplissement des règles d’accueil dans l’enceinte de Ceuta, présente des similitudes frappantes avec les contenus ciblant les personnes tentant de rejoindre les États-Unis, estime Petra Molnar. « Dans les deux cas, le succès de ces campagnes de désinformation ne tient pas tant  à la crédulité des personnes qui y ont été soumises, qu’au manque de clarté, à la variabilité et à la mauvaise communication des règles de passage de frontière ». 

« Le média espagnol El Español a découvert des dizaines de faux profils sur TikTok et Instagram, se faisant passer pour de jeunes créateurs de contenu marocains ayant effectué le voyage et célébrant leur liberté retrouvée à Ceuta. Les vidéos, conçues comme du contenu d’influenceurs, contenaient souvent des conseils pratiques pour la traversée, allant de l’équipement nécessaire aux conseils pour les enfants et les personnes ne sachant pas nager. Si de nombreux comptes ont été fermés, ils ont ensuite réapparu sous de nouveaux pseudonymes. Selon un reportage de Reuters, des jeunes venus de tout le Maroc ont voyagé suite à des rumeurs et des récits circulant en ligne. C’est le cas de Dounia Kherradi, serveuse vivant à neuf heures et demie de route de Ceuta, et d’Ayoub El Abyad, 16 ans, qui a expliqué aux journalistes avoir décidé avec son cousin de faire douze heures de route jusqu’au point de passage après avoir vu des vidéos sur Instagram. La réalité était bien différente des images optimistes véhiculées par les Réels. Ceux qui avaient franchi la frontière ont raconté aux journalistes de DW News avoir dû croiser des cadavres lors de la périlleuse traversée à la nage jusqu’à Ceuta, avoir été confrontés à la violence à leur arrivée et s’être vu refuser de la nourriture dans les magasins. Ils ont ensuite compris qu’il leur était impossible de poursuivre leur route vers l’Europe et que les rumeurs étaient infondées. » 

Les techniques de désinformation utilisées à Ceuta ne sont pas nouvelles, et les vidéos partagées montrent des similitudes frappantes dans la manière dont les migrants tentent de rejoindre les États-Unis. En mars de l’année dernière, l’Associated Press a analysé des centaines de vidéos TikTok publiées par des réseaux mexicains de facilitation de l’immigration et y a retrouvé des thèmes similaires à ceux documentés par El Español du côté marocain du détroit : des musiques entraînantes, des légendes truffées d’émojis, des buggies fonçant vers le mur frontalier, des jet-skis, des hélicoptères et des tunnels proposés comme options haut de gamme, des passeurs ouvrant des cactus pour que leurs clients puissent boire, un champ de laitues avec la légende « Les champs américains sont prêts (à vous accueillir) ! », et, pour finir, le témoignage de clients des passeurs satisfaits. À Ceuta comme partout en Amérique, ces vidéos et images servent de publicité, présentant le passage de la frontière comme un simple problème logistique gérable et géré par les passeurs. La dimension commerciale de ce contenu est désormais bien établie. En Espagne, le Premier ministre avait d’abord accusé les réseaux de trafic d’êtres humains d’être responsables de cette désinformation, car ils avaient un intérêt financier aux tentatives de franchissement de la frontière. Des enquêtes ont révélé comment Meta a tiré profit du trafic de migrants et de publicités frauduleuses ciblant les personnes tentant de rejoindre les États-Unis. 

Le Tech Transparency Project a montré que Facebook et WhatsApp étaient saturés de fausses informations concernant des changements de politique et de prétendues dispositions spéciales pour les femmes enceintes et les parents voyageant avec des enfants. La rumeur ayant circulé au Maroc en juillet – selon laquelle une décision de justice aurait discrètement ouvert un passage – illustre parfaitement un schéma bien documenté ; c’est une difficulté que la couverture médiatique des événements de Ceuta a largement ignorée. « Les contenus trompeurs n’atteignent pas les migrants par un canal distinct des informations fiables ; ils leur parviennent via les mêmes fils d’actualité, sous la même forme visuelle, et souvent depuis des comptes impossibles à distinguer au premier coup d’œil. Par exemple, aux côtés des comptes éphémères, on trouve des créateurs vénézuéliens et colombiens ayant filmé leur propre traversée du bouchon du Darién (entre la Colombie et le Panama) ; certains ont accumulé des dizaines de millions de vues, leurs vidéos servant de guides pratiques indiquant les lieux d’hébergement, les coûts de transport, les points de traversée des rivières… Qu’importe si plusieurs d’entre eux précisaient explicitement qu’ils cherchaient à dissuader les gens plutôt qu’à les inciter au départ. Il s’agit de la même plateforme et du même format : pour beaucoup, les vidéos des réseaux sociaux sont la seule source d’information sur le voyage disponible dans une langue qu’ils comprennent, à un coût abordable et émanant d’une personne dont la situation ressemble à la leur. » 

… à l’exploitation de la précarité informationnelle 

Les travaux de recherche sur l’utilisation des smartphones par les réfugiés désignent par un terme précis la situation dans laquelle ils évoluent. Des chercheurs tels que Marie Gillespie, Souad Osseiran et Margie Cheesman parlent de « précarité informationnelle » : « un état d’instabilité chronique où les migrants s’appuient sur des réseaux de pairs précisément parce que les canaux officiels sont inaccessibles, non traduits, contradictoires ou ouvertement hostiles, et où ils sont exposés aux rumeurs et à la désinformation pour cette même raison. Cette vulnérabilité informationnelle résulte d’un cadre juridique qui n’apporte pratiquement aucune réponse fiable ou exploitable à la question de savoir qui peut entrer sur le territoire et selon quelles modalités.» Agir dans un contexte de pénurie d’informations reste une forme d’action autonome, mais il convient de veiller à ce que toute critique des campagnes de désinformation ne reproduise pas le vieux réflexe colonial consistant à situer le problème dans la prétendue crédulité des populations, plutôt que dans les systèmes qui, par conception, les maintiennent dans l’ignorance. 

Enfin, soulignent les chercheuses, n’oublions pas que les États sont parmi les acteurs les plus actifs de ce même écosystème informationnel. Leurs messages dissuasifs (voir cette publicité de 30 secondes passée sur les médias sociaux par la secrétaire à la sécurité intérieure américaine Kristi Noem avertissant les migrants de ne pas entrer illégalement sur le territoire américain que la présidente mexicaine a qualifié de propagande discriminatoire) passent par les mêmes canaux que la publicité des passeurs et visent les mêmes publics tout en formulant des promesses contradictoires quant à ce qui se passera à la frontière. Un double son qui finit certainement bien plus par instiller le doute qu’à le résoudre. Les messages des acteurs étatiques n’expliquent pas clairement ce qui attend les personnes qui souhaitent migrer autrement que sous formes de menaces. « Personne – ni à Rabat, ni à Madrid, ni à Washington – n’avait l’obligation de fournir aux gens des informations fiables, actualisées et accessibles ; par conséquent, personne ne l’a fait. »

Hubert Guillaud

PS : Dans une très riche enquête, la Technology Review  revient précisément sur les enjeux posés par Petra Molnar :  « Les États-Unis ont dépensé des milliards pour la surveillance des frontières. Pourquoi ne parviennent-ils pas à intercepter les personnes avant qu’elles ne meurent ? ». Lorsque José Morales Bernal a franchi la frontière pour entrer aux États-Unis le 8 avril 2024 en passant par le désert du sud du Nouveau-Mexique, il se trouvait à portée de trois tours de surveillance construites par Anduril pour le service des douanes et de la protection des frontières américain (CBP, Customs and Border Protection), équipées de caméras et de systèmes d’IA capables de détecter et suivre les individus. Mais ce ne sont pas les employés des douanes qui ont repéré M. Morales Bernal, mais des employés de la décharge locale qui l’ont retrouvé mort, à seulement 110 mètres de la tour de surveillance la plus proche.

Si le CBP affirme que ces dispositifs ont permis de sauver des vies, les décès de migrants dans le désert américain entre le Mexique et les Etats-Unis sont courants. En recoupant les informations sur quelques 4000 morts durant leur traversée collectés par les collectifs No More Deaths et Humane Borders et la base de données de localisation des 600 tours de surveillance identifiés par l’Electronic Frontier Foundation, les journalistes de la Technology Review, James O’Donnell et Eileen Guo, estiment qu’une véritable crise humanitaire se déroule sous l’oeil des caméras du gouvernement. Et ils en ont dressé la carte. Les journalistes ont recensé « 1 050 personnes décédées dans le rayon d’action des tours de surveillance frontalière entre 2015 et le début de l’année 2026. Ces décès ne résultent pas d’une défaillance de quelques tours ou technologies isolées : nous avons constaté des décès à l’intérieur de la portée annoncée de près des deux tiers des tours analysées. Notre analyse topographique – visant à déterminer dans quelle mesure le relief pouvait masquer la vue d’une tour sur un lieu de décès précis ou sur sa zone de surveillance globale – a révélé que certaines tours ne couvrent parfois que 10 % de leur zone de surveillance théorique ; toutefois, nous avons également constaté que la plupart des décès n’ont pas eu lieu dans les angles morts de ces tours. Ces décès ne sont pas la conséquence d’équipements obsolètes ». Pour les journalistes, le tableau d’ensemble révèle des défaillances répétées de l’une des fonctions de sécurité fondamentales de ce « mur virtuel », telle que décrite par le CBP dans ses communiqués : identifier et localiser efficacement les migrants entrant illégalement aux États-Unis. 

En réponse à ces accusations, Anduril a précisé qu’un incident survenant à proximité d’une de ses tours ne signifie pas nécessairement que la tour a manqué une détection, renvoyant le problème aux agents chargés de la surveillance de la CBP.  « La question cruciale, lors de tout décès survenant près du « mur virtuel », est de savoir si les autorités savaient qu’une personne se trouvait là sans parvenir à l’atteindre, ou si elles ignoraient totalement qu’une traversée était en cours. Dans les deux cas, il s’agit d’une défaillance du système. » L’enquête des journalistes souligne que les deux types de défaillances se produisent : la technologie échoue à détecter les intrusions, et les agents échouent à intervenir. 

Ces deux phénomènes illustrent les limites d’une approche consistant à miser uniquement sur la technologie pour résoudre un problème complexe. Ces conclusions mettent en lumière des problèmes inédits concernant le mur virtuel, alors même que celui-ci continue de bénéficier d’un large soutien politique et d’une augmentation des dépenses fédérales (le CBP a construit 803 tours à ce jour pour un coût de 6,2 milliards de dollars et prévoit d’en installer 1 497 autres d’ici 2034). Mais leur efficacité reste bien peu évaluée. Pour nombre de responsables politiques, les décès à proximité du mur virtuel seraient rares voire inexistants, alors que l’enquête montre que ce n’est pas le cas. Et le CBP ne mène pas d’enquête pour savoir dans ces cas si la personne avait été détectée ni pour comprendre la non intervention des agents. 

L’enquête de la Technology Review retrace l’histoire du mur virtuel pour surveiller la frontière mexicaine. L’histoire souligne que son développement tient surtout d’une volonté politique et d’une inflation de marchés publics, alors que la réalité, elle, est défaillante. Entre les caméras qui ne marchent pas et les agents qui ne veulent pas passer leur temps à regarder les images, la réalité de l’efficacité de la vidéosurveillance est toujours mise en défaut. Le CBP n’a pourtant cessé de justifier le déploiement de caméras pour assurer la sécurité des migrants, quand la réalité était plutôt leur défaillance (en 2024, des membres de la commission de la Sécurité intérieure de la Chambre des représentants ont indiqué que plus de 66 % des tours de première génération de la Border Patrol étaient hors service). 

Les tours de seconde génération ont intégré des radars pour mieux détecter les déplacements, via l’entreprise de défense israélienne Elbit, dont les systèmes de tours surveillent déjà les frontières d’Israël.  Mais là encore, cela n’a pas empêché des décès dans le champ de surveillance des tours. Enfin, si les radars étaient plus performants, la détection de mouvement générait à nouveau d’innombrables faux positifs, notamment causés par le bétail et les animaux en mouvement.

C’est Anduril qui a été retenu pour bâtir la troisième génération de tours. L’entreprise a surtout produit des algorithmes et des systèmes d’IA pour classer les éléments détectés par les radars et caméras. « Anduril a vanté la capacité de sa technologie à réduire les faux positifs, comme les cas où la faune sauvage est confondue avec des êtres humains. En revanche, l’entreprise a peu communiqué sur les faux négatifs : ces personnes que les systèmes ne parviennent pas à détecter », qui restent visiblement nombreux. Certains observateurs estiment que les tours d’Anduril auraient un taux d’erreur de 10 à 15%. Par exemple, une simple bâche recouvrant un canot pneumatique traversant le Rio Grande ou des couvertures recouvrant des marcheurs, pouvaient suffire pour que les tours détectent le mouvement sans identifier l’objet, ce qui ne déclenchait pas d’alerte. 

Le problème enfin, c’est que les données utilisées par la CBP ne sont pas accessibles pour contester ses actions et ses inactions. Pour les agents, l’efficacité des tours d’Anduril se heurte au problème récurrent du manque d’effectifs pour assurer la surveillance. Pour les journalistes cependant, « toute tentative de comprendre les dysfonctionnements est entravée par une réticence institutionnelle à mesurer le problème », concluent-ils. Seule la police des frontières peut réaliser un audit complet de ce mur virtuel, alors qu’elle en est le principal commanditaire et bénéficiaire. 

Quant à savoir si les tours dissuadent les passages, difficile à dire. Leur déploiement entraîne une baisse du nombre d’interpellations à proximité. Mais les recherches menées par le géographe Geoff Boyce montrent que leur présence incite les migrants à « emprunter des terrains plus difficiles d’accès, hors de vue », et donc possiblement plus dangereux. L’absence d’étude sur leur efficacité n’empêche pas nombre d’acteurs d’être convaincus de la nécessité de leur déploiement. Le produit phare d’Anduril semble surtout promettre à tous de déployer des solutions sans avoir à se poser de questions.

Flock : quel niveau de surveillance êtes-vous prêts à tolérer ?

Aux Etats-Unis, la fronde contre le développement des détecteurs automatiques des numéros de plaques d’immatriculations est forte. Si quelques caméras Flock ont été vandalisées, ce sont surtout nombre de conseils municipaux abonnés au système qui rejettent et résilient leurs contrats avec l’entreprise qui les installe, suite notamment aux révélations de l’utilisation du système par l’ICE, la police qui de l’immigration américaine, qui s’en sert pour traquer les étrangers sans lien avec des infractions de circulations. 

Pour faire face à la fronde, Flock a fini par réagir et a annoncé une série de changements dans les modalités de partage d’information avec les forces de l’ordre américaine. Des changements surtout cosmétiques, ironise Gizmodo. L’entreprise, en effet, propose désormais que par défaut, la durée de conservation des informations passe de 30 à 7 jours. Mais en fait, précise l’entreprise, « les forces de l’ordre peuvent prolonger ou réduire cette période. Chaque collectivité continuera de choisir la durée de conservation adaptée à sa stratégie de sécurité publique et conforme aux politiques locales ou étatiques. » Elle annonce également un dispositif supplémentaire (le mode « Preuve ») qui permettra à la police de conserver « des données LAPI (systèmes de Lecture automatisée de plaques d’immatriculation) spécifiques à titre de preuve pour une enquête en cours, dans un stockage à long terme ». L’ACLU (American Civil Liberties Union) a publié une réponse moqueuse (« Flock semble davantage viser à résoudre un problème d’image qu’à s’attaquer aux atteintes majeures à la vie privée et aux autres préjudices engendrés par ses produits ») et maintient sa campagne invitant les citoyens à agir pour « se débarrasser du Flock » (Get the Flock out). L’Institut pour la Justice a pour sa part publié une base de données pour recenser les abus d’utilisation des systèmes de lecture automatisée de plaques d’immatriculation. L’ACLU rappelle que si Flock souhaite évaluer l’efficacité de son outil et notamment mieux surveiller les usages abusifs qu’en fait la police, l’entreprise devrait le soumettre à l’analyse d’un évaluateur indépendant. Flock a déjà par le passé annoncé des mesures de sécurité liées au motif de recherche, mais elles n’ont produit aucune amélioration, bien au contraire. Comme, le rappelle Gizmodo, « il est difficile d’imaginer qu’une personne prête à détruire une caméra Flock changera d’avis simplement parce que la durée recommandée de conservation des données passe de 30 à 7 jours ». 

Dans un entretien à la BBC, le PDG de Flock, Garrett Langley, ajoute qu’il s’est rallié à l’idée d’organisations telles que l’ACLU et l’Electronic Frontier Foundation (EFF), selon lesquelles la police devrait disposer d’un numéro de dossier en cours pour pouvoir consulter les données de Flock. Pour Cooper Quentin, de l’EFF, « les requêtes dans les bases de données [de lecteurs automatiques de plaques d’immatriculation], devraient impérativement faire l’objet d’un mandat judiciaire ». Ce n’est pas le cas. 

Alors que le gouvernement américain surveille activement sur les réseaux sociaux les publications anti-Flock devenues virales, rapporte 404 media, et menace le site DeFlock, qui cartographie la présence des caméras, son initiateur, Will Freeman, rappelle qu’il n’a jamais appelé à neutraliser les caméras ni à masquer les plaques d’immatriculation, contrairement à ce qu’affirment les récents bulletins des forces de l’ordre. Le vandalisme montre surtout que les gens sont mécontents de voir ces systèmes installés à leur insu ou sans leur consentement. Mais le sabotage semble surtout assez anecdotique, bien moindre en tout cas que la contestation qui pousse les citoyens à demander des comptes aux autorités locales qui tissent des partenariats avec l’entreprise Flock. 

Comme l’explique une enquête de New Republic sur la montée de la contestation contre les systèmes de caméras LAPI, « Flock constitue un système de surveillance de masse d’une puissance – et d’une rentabilité – stupéfiante. Ses caméras LAPI sont utilisées par plus de 1 000 entreprises et environ un tiers des 18 000 services de police des États-Unis ». L’ACLU l’estime à le nombre de caméras de surveillance des plaques d’immatriculations déployées aux Etats-Unis à 90 000. Quant à l’entreprise, elle a généré un chiffre d’affaires de 285 millions de dollars en 2024. Le géant du capital-risque Andreessen Horowitz a récemment valorisé l’entreprise à 7,5 milliards de dollars. 

Alors qu’il valorise son entreprise en promettant rien de moins que l’élimination de la criminalité des Etats-Unis d’ici une décennie, l’année dernière, Garrett Langley a qualifié DeFlock d’« organisation terroriste ». A l’heure où les actions de résistance anti-tech sont devenues, aux Etats-Unis, une menace terroriste, Will Freeman répond que son site, DeFlock, est surtout un outil de transparence. 

Les études (2019 et 2024), jusqu’à présent, montrent surtout que l’efficacité des caméras à prévenir le crime est plus que douteuse. « En 2022, l’entreprise s’est vantée que ses caméras à San Marino, en Californie, avaient entraîné une baisse de 80 % des cambriolages en cinq mois ; Forbes a révélé par la suite que les cambriolages avaient en réalité augmenté dans les années suivant l’installation des caméras de Flock ». « Même si les caméras et le réseau de surveillance de Flock contribuent à élucider certains crimes, les critiques estiment que le prix à payer en matière de vie privée est trop élevé. La police a été prise en flagrant délit d’utilisation illégale des données de Flock pour localiser une femme cherchant à avorter, pour traquer et harceler des individus, surveiller des manifestations ou prêter main-forte aux services d’immigration de l’ICE pour arrêter des individus depuis de simples suspiscions. » 

« Au minimum, cette surveillance de masse implique le suivi, sans mandat, de toute personne circulant sur la voie publique », a averti l’ACLU. « Au pire, elle instaure un État policier numérique où les forces de l’ordre […] peuvent traquer manifestants, opposants politiques, immigrés, patients et autres personnes non soupçonnées de crime, et utiliser ces informations pour leur nuire. »

Une contestation de droite comme de gauche

Sous la pression populaire d’opposants à Flocks, locaux et actifs, « Austin, au Texas, a suspendu son programme Flock en juin dernier face à la contestation locale, tandis qu’Evanston, dans l’Illinois, y a mis fin en août. Selon la NPR, au moins 30 localités « ont soit désactivé leurs caméras Flock, soit annulé leurs contrats depuis le début de l’année 2025 ». » A Ithaca, les manifestations ont fait reculer la police. Par des pétitions, des interventions publiques et des tribunes dans la presse locale, le collectif local, Flock Off, a quelque peu freiné les activités de l’entreprise. En octobre, le bureau du shérif du comté a cessé de partager les données Flock avec les comtés collaborant avec l’ICE. En février, suite à une  manifestation devant l’hôtel de ville, la police locale a réduit le nombre de services avec lesquels elle partageait les données. « À bien des égards, cela prouve qu’au niveau local, la démocratie peut encore fonctionner », estime le responsable du groupe Flock Off local. Le prochain objectif de Flock Off est de faire résilier purement et simplement le contrat passé avec la ville.

« Si les groupes opposés à Flock émergent généralement de bastions progressistes, certains États dirigés par des républicains ont également pris des mesures pour restreindre la surveillance par ces systèmes. Les libertariens, en particulier, s’opposent à Flock : le magazine libertarien Reason a publié plusieurs articles critiquant l’entreprise, qu’il accuse de mener un programme de surveillance de masse orwellien », rapporte New Republic. 

Le New York Times s’est également intéressé à « ces caméras que la police adore et que les citoyens détestent ». Au Texas, rapportent les journalistes Fernando Alfonso III et Kashmir Hill, « il est un point sur lequel progressistes et conservateurs s’accordent : ils ne veulent pas de caméras braquées sur leurs voitures ». Pourtant, les Américains sont habitués à la vidéosurveillance. « Ils en installent sur leurs sonnettes et les acceptent au coin des rues, dans les bureaux et les restaurants ». Mais, ce qui distingue les caméras Flock, rappellent les journalistes, « c’est qu’elles sont connectées entre elles, formant un vaste réseau national interrogeable ; cette situation surprend souvent les habitants – qui ignoraient que leurs autorités locales avaient souscrit à ce service – et suscite des craintes d’une surveillance digne de « Big Brother ». De plus, il est difficile de ne plus les voir une fois qu’on a commencé à les remarquer. » Le Texas est devenu un baromètre, estiment les journalistes. « Flock a commencé à vendre ses services aux services de police début 2020, en installant quelques dizaines de caméras dans une banlieue de Houston. Six ans plus tard, 700 services de police texans ont passé contrat avec l’entreprise. L’opposition regroupe des progressistes inquiets de la surveillance gouvernementale, des conservateurs méfiants à l’égard de l’extension du pouvoir de l’État, ainsi que des citoyens et des élus soucieux de leur vie privée et préoccupés par les possibles dérives du réseau. » A l’image de Hannah Foust, qui vit à Carrollton (Texas), qui a commencé à publier des messages sur les lecteurs de plaques d’immatriculation dans des groupes Reddit et a lancé une pétition en ligne pour obtenir le retrait de ces caméras de sa commune. Devant le conseil municipal, elle explique : « Je ne commets aucun délit, mais je ne veux pas nécessairement que quiconque – et encore moins des agences gouvernementales ou une entreprise privée – puisse voir où je dépose mes enfants, quel itinéraire je privilégie pour me rendre au travail, si je préfère H-E-B ou Kroger, ou quel lieu de culte je fréquente. » À travers le Texas, l’opposition à ces caméras transcende les clivages partisans. Les contrats de Flock ont ​​été résiliés aussi bien à Austin, ville progressiste, qu’à Bandera, une localité conservatrice de la région de Hill Country comptant environ 900 habitants. « Au Congrès, Keith Self, un républicain dont la circonscription se situe au nord de Dallas, a déposé un projet de loi en juillet. Ce texte imposerait aux agences fédérales chargées de l’application de la loi d’obtenir un mandat avant d’accéder aux données collectées par les systèmes de surveillance étatiques et locaux – notamment les lecteurs de plaques d’immatriculation – ou de les interroger. » Pour un colonel de l’armée à la retraite et ancien juge de comté, « nous sommes en train de basculer vers un État de surveillance », estime-t-il, en flirtant avec des dénonciations que l’on retrouve dans les pire propos conspirationnistes d’extrême-droite, comme ceux que colporte, à longueur d’émission, la War Room de Steve Bannon.

Flock, la plateforme d’hypersurveillance des déplacements

« Flock facture environ 3 000 dollars par caméra et par an, a précisé M. Langley. En contrepartie, l’entreprise installe et entretient les caméras, fournit une base de données consultable répertoriant tous les véhicules qui passent devant elles et envoie des alertes si les caméras repèrent des voitures figurant sur une liste de surveillance prioritaire – comme la base de données du FBI recensant les véhicules volés et les plaques d’immatriculation associées à des personnes disparues ou recherchées. Ces dernières années, grâce aux progrès de l’intelligence artificielle, Flock a ajouté une fonctionnalité permettant de rechercher des voitures en fonction de leur marque, de leur type, de leur couleur ou de détails spécifiques, tels que des autocollants sur le pare-chocs ou des dommages visibles.» 

« Pour effectuer une recherche, les agents précisent le type de délit, allant de la cruauté envers les animaux à l’homicide. Ils saisissent ensuite un numéro de plaque d’immatriculation ou une description du véhicule ainsi qu’un lieu, ou optent simplement pour l’option par défaut : « Tous les réseaux sélectionnés ». La recherche affiche les images des voitures correspondantes, en indiquant précisément l’heure et le lieu où elles ont été repérées, ainsi que le service de police auquel appartenaient les caméras. Par défaut, les photos prises par les caméras sont supprimées au bout de 30 jours, bien que les services de police puissent modifier la durée de conservation.

Si un service de police souhaite accéder à d’autres caméras ailleurs dans l’État ou dans le pays, il doit partager l’accès aux siennes. La plupart des organismes effectuent des recherches et partagent des informations à l’échelle nationale. » 

L’éditorialiste et animateur de télévision de droite radicale américain Tucker Carlson, qui pourrait être candidat à la prochaine élection présidentielle américaine, s’est récemment moqué de l’assimilation faite par M. Langley entre un projet de cartographie participative et le terrorisme. Carlson a déclaré n’avoir pris conscience que récemment de l’ampleur du réseau Flock après avoir consulté le site de DeFlock ; il a confié au New York Times que cette découverte l’avait « horrifié ». Il s’est dit surpris qu’un système de surveillance aussi vaste ait pu se développer en suscitant si peu d’attention de la part du public… Tant et si bien que le PDG de Flock a depuis présenté ses excuses pour ses propos assimilant le site DeFlock au terrorisme. 

« Que l’on soit libertarien, conservateur, partisan du mouvement MAGA ou progressiste, tout le monde a des objections à l’encontre de Flock », a déclaré Chad Marlow de l’ACLU. Reste que si l’opposition au Texas attire peut-être l’attention, elle n’a pas freiné la croissance de Flock. À travers l’État, de nouvelles villes signent des contrats plus rapidement que d’autres ne les résilient, a indiqué Jennifer Szimanski, porte-parole de la Combined Law Enforcement Associations of Texas, un syndicat de police représentant plus de 28 000 agents. Selon elle, la raison repose sur les résultats impressionnants du réseau. Certains services de police texans ont retrouvé des centaines de véhicules volés après avoir installé ces caméras, a-t-elle précisé, et dans les petites municipalités, les vols dans les véhicules ont pratiquement cessé. Pour elle, le risque d’utilisation abusive du système par les policiers texans n’était pas plus élevé qu’avec les autres bases de données auxquelles ils ont accès, et que Flock fournissait un historique de chaque recherche, précisant qui l’avait effectuée et pour quel motif.

La possibilité de rechercher n’importe quel véhicule circulant sur les routes du pays est certes pratique pour les autorités, mais Barry Friedman, professeur de droit et directeur du Policing Project, soutient que la création d’une vaste base de données sur les déplacements des Américains est inconstitutionnelle : « il s’agit d’une collecte de données indiscriminée, et non d’une surveillance ciblant des infractions spécifiques ». « Si le quatrième amendement existe, c’est parce que l’on estimait que le gouvernement ne devrait pas pouvoir s’en prendre à n’importe qui, même en l’absence de tout acte répréhensible. » 

Jusqu’à présent, les tribunaux ont rejeté cette interprétation, tout en laissant entendre que la situation pourrait évoluer à mesure que la technologie se généralise. Dans une affaire où des habitants avaient poursuivi la ville de Norfolk (Virginie) pour l’installation de 172 caméras Flock, un juge fédéral a statué que les lecteurs de plaques pourraient un jour devenir si omniprésents que leur utilisation s’apparenterait à une surveillance de masse indiscriminée et inconstitutionnelle, mais que ce n’était pas encore le cas. « Je ne pense pas que les juges réalisent que le pays est désormais couvert par ces dispositifs et qu’ils sont tous interconnectés », a déclaré Sid Thaxter, de l’Association nationale des avocats de la défense pénale.

En attendant, la police américaine invite les agents à ne plus mentionner le fait qu’ils ont eu recours à une technologie de détection automatique des numéros de plaques d’immatriculations dans leur rapports ou auprès des personnes qu’ils appréhendent, rapporte 404media. « Lorsque les forces de l’ordre utilisent Flock pour procéder à une arrestation dans le comté de Wapello, en Iowa, elles ne souhaitent pas que la personne concernée le sache. Une politique d’utilisation des caméras de lecture automatique de plaques du comté ordonne explicitement à la police de garder ce dispositif secret. » Un moyen de rendre encore plus invisible les abus que Flock annonce vouloir limiter. 

Pour Tech Policy Press, Jake Laperruque responsable du projet « Sécurité et surveillance » au sein du Center for Democracy & Technology (CDT), « les systèmes de lecture automatisée de plaques d’immatriculation en général, et le fournisseur de premier plan Flock en particulier, sont confrontés à un moment de prise de conscience publique aux États-Unis. Cette technologie de surveillance provoque des réactions négatives majeures dans tout le pays et devient un sujet de campagne majeur ». Mais pour Laperruque, les risques actuels liés à la vie privée liés aux systèmes de détection des plaques d’immatriculation ne sont que la pointe de l’iceberg et vont s’étendre considérablement dans les années à venir. « À moins qu’ils ne soient sérieusement maîtrisés, ces systèmes deviendront un outil de surveillance de masse bien plus répandu qu’aujourd’hui ». La raison, notamment : de nouvelles fonctionnalités ajoutées à Flock à partir d’analyses automatisées par l’agence fédérale des douanes créant des alertes sur des comportements de conduite suspects et signalant des véhicules à arrêter, rapporte AP News. Un comportement innocent au volant, comme prendre une route secondaire, conduire à des heures indues ou se rendre dans un endroit inhabituel, pourrait devenir des motifs de contrôle. 404 media a révélé également que les vidéos captées par les caméras étaient utilisées pour identifier des formes ou des conducteurs. Une fonctionnalité de recherche en texte libre permet de trouver des personnes tatouées ou portant des maillots de sport spécifiques ; ces recherches incluent parfois l’origine ethnique de la personne visée. A terme, connectée à la reconnaissance faciale, elle pourrait permettre de rechercher des personnes partout sur les routes. « Ces systèmes risquent fort de se transformer en un « œil omniscient » permettant de rechercher n’importe quel type de véhicule, d’objet ou de personne, avec la même facilité que nous recherchons aujourd’hui des mots dans un fichier texte ». Reste à savoir s’il faut limiter ce pouvoir par une accréditation judiciaire pour chercher dans ces images, comme le propose Laperruque ou limiter le développement du réseau. 

Wired rappelle que Flock Safety, géant de la surveillance des véhicules, affirme depuis des années que sa technologie « ne peut ni reconnaître, ni identifier, ni suivre des individus ». Ses pages dédiées à la confiance du public assurent aux clients que la technologie est conçue pour des enquêtes spécifiques, au cas par cas, et « non pour surveiller les gens ». Ce n’est plus le cas, notamment via l’ajout d’innombrables outils qui donnent accès « aux métadonnées des caméras, aux dossiers d’arrestation, aux dossiers d’enquête, aux journaux d’appels, aux résultats d’analyses balistiques ainsi qu’à des bases de données commerciales contenant des numéros de sécurité sociale, dates de naissance, numéros de téléphone, adresses e-mail, informations sur les proches et les associés ». Les requêtes préconfigurées d’OS Investigate, le logiciel de Flock, inversent la logique de recherche. « Un agent n’a plus besoin de plaque, de nom ou d’infraction pour lancer une recherche : il lui suffit d’indiquer un lieu, une période et un schéma comportemental, et le système identifie les personnes correspondant à ces critères. » Pour utiliser ce moteur de recherche, Flock propose des requêtes préconfigurées, comme «« Trouve-moi des témoins en te basant sur les véhicules les plus aperçus dans [tel quartier] au cours des [X derniers jours] durant [telle plage horaire quotidienne] ». Un agent remplit les champs vides et valide la demande. Le résultat est une liste de plaques d’immatriculation que d’autres outils du logiciel convertissent ensuite en noms et adresses de domicile.»

« Dix-neuf de ces requêtes visent à identifier des schémas comportementaux plutôt qu’à consulter un dossier spécifique. Quatorze d’entre elles ne nécessitent ni plaque d’immatriculation, ni nom, ni description physique ; l’agent indique simplement un lieu, un créneau horaire et un comportement.

Certaines requêtes ciblent des véhicules ayant visité au moins trois commerces dans une ville en trois jours, plusieurs banques en une semaine ou plusieurs stations-service entre minuit et 5 heures du matin. Aucune de ces cinq requêtes ne mentionne de cible ou d’incident précis.

L’outil utilisé pour ces recherches intègre un filtre qui exclut les bus, les semi-remorques, les fourgonnettes utilitaires et les remorques ; ainsi, un livreur visitant cinq magasins est retiré de la liste, tandis qu’un conducteur ordinaire effectuant la même tournée y figure toujours. Ce type de recherche s’applique également aux déplacements interurbains : véhicules ayant quitté une ville pour une autre avant d’y revenir dans la semaine, ayant effectué plusieurs allers-retours sur une période de 14 jours ou ayant traversé trois zones successivement.»

Flock se défend en expliquant que ce produit en cours de développement ne proposera pas à terme toutes ces fonctionnalités lors de son lancement commercial. Pour Jay Stanley de l’ACLU : « Nous assistons à un déploiement agressif de l’IA par Flock ; on observe, à certains égards, une frontière très mince entre ce qui est techniquement possible et ce qui est réellement mis en œuvre. » Pour Chad Marlow, avocat à la tête de la campagne « Get The Flock Out » de l’ACLU, le danger est de passer de : « Voyez-vous des schémas criminels ? à Trouvez-moi des schémas criminels, car ces requêtes donneront des résultats différents ». Le risque est de glisser très vite au moment où un agent demandera à une IA quelles personnes elle considère comme les plus susceptibles de commettre des crimes. « Elle ne se fondera pas sur une norme juridique de suspicion criminelle, mais sur ses propres critères internes. » Le code définit déjà les filtres auxquels la requête sera soumise. Le logiciel de Flock associe des recherches de véhicules à des interrogations de fichiers de police classant les individus selon le sexe, la race, l’origine ethnique, la taille, le poids, la corpulence, ainsi que la présence de cicatrices, de marques distinctives et de tatouages. Une fonction permet d’effectuer une recherche uniquement à partir d’une description, en ciblant des enregistrements correspondant à des critères tels que « homme, environ 1,80 m, sweat à capuche noir, tatouage sur l’avant-bras » à proximité d’un lieu donné. L’outil permet à l’agent de délimiter ces critères en choisissant un rayon d’action ou en dessinant des formes libres sur une carte. Selon Stanley, cette pratique s’apparente étroitement à la question examinée par la Cour suprême des États-Unis en juin dernier : la Cour a alors statué que les individus conservent un droit à la vie privée concernant les données retraçant leurs déplacements et que le quatrième amendement s’applique lorsque la police réclame ces informations à une entreprise. Dans le cas présent, les services de police achètent directement cette capacité technologique, ouvrant la voie à des recherches exploratoires (fishing expeditions) d’une ampleur inédite.

L’année dernière, un policier du Texas a effectué des recherches sur plus de 83 000 caméras à travers le pays pour retrouver une femme ayant pratiqué un avortement elle-même, selon des journaux de recherche obtenus initialement par 404 Media. Une enquête récente du Washington Post a révélé qu’une cinquantaine d’agents de police avaient été inculpés ou accusés d’usage abusif des systèmes de lecture de plaques d’immatriculation : 26 d’entre eux les utilisaient pour surveiller leur épouse, leur petite amie, leur ex-compagne ou des femmes qu’ils souhaitaient rencontrer. En août dernier, les autorités de régulation de l’Illinois ont conclu que Flock avait enfreint la loi de l’État en menant un programme pilote – aujourd’hui suspendu – qui donnait au service des douanes et de la protection des frontières accès aux caméras situées dans l’État.

Flock laisse à ses clients le soin de définir la plupart des règles. Les responsables des services décident qui obtient des identifiants, si les données des caméras doivent être partagées au-delà des limites de la ville ou de l’État, et s’il convient d’activer les paramètres proposés par l’entreprise pour prévenir les abus. L’outil d’audit, conçu pour repérer les schémas suspects dans les recherches effectuées par un service, a été lancé en avril 2026 en tant qu’option activable par les forces de l’ordre. Or, selon le Washington Post, de nombreux services de police ont jusqu’à présent peu surveillé les recherches qu’accomplissent leurs agents sur ces systèmes.

L’Electronic Frontier Foundation a examiné des ensembles de données portant sur plus de 12 millions de recherches enregistrées sur une période de 10 mois ; elle a constaté qu’environ 20 % d’entre elles ne mentionnaient qu’un terme vague tel que « enquête », « suspect » ou « requête ». Plus de 50 services ont effectué des centaines de recherches dont le champ « motif » faisait référence à des manifestations.

Comment réguler le changement de nature de la surveillance ?

« Flock ambitionne bien au-delà de la simple lecture automatique des plaques d’immatriculation ; l’objectif est de devenir une plateforme numérique pour le maintien de l’ordre », explique Bob Ferguson, gouverneur de Washington, à l’origine d’une proposition de loi pour réguler le déploiement des caméras. « Nous sommes à l’aube de l’ère de la police automatisée et la capacité à créer des chatbots en langage naturel capables d’effectuer des recherches dans d’immenses bases de données deviendra bientôt la norme. »

Pour Jason Pye, du Due Process Institute, il y a peu de preuves que ces technologies contribuent à faire baisser la criminalité. Il rappelle que, contrairement à ce qu’affirme l’administration Trump, la criminalité violente américaine est en baisse depuis les années 90 (758,2 crimes pour 100 000 habitants en 1991 contre 348,6 en 2024). La raison de cette baisse n’est pas unique, elle n’est pas liée uniquement à l’augmentation de l’incarcération (qui s’est stabilisée dans les années 2000 alors que la criminalité a continué à chuter), mais également à l’amélioration des perspectives économiques, aux mutations des marchés de la drogue, voire même au vieillissement de la population. Si des études montrent que les LAPI peuvent aider la police à identifier des véhicules volés, à générer des pistes d’enquête et, parfois, à élucider des crimes. Établir qu’ils jouent un rôle significatif dans la baisse de la criminalité observée après 2020 est une tout autre affaire, bien plus complexe à démontrer. 

Et Pye de citer deux études portant sur l’effet des LAPI : la première note que le déploiement à Atlantic City est associé à une baisse des fusillades, des vols de véhicules et des atteintes aux bien, mais sans reconnaître que le déploiement des caméras puisse être le seul facteur explicatif. La seconde passe en revue l’ensemble des recherches sur le sujet et montre que les preuves que ces systèmes génèrent des avantages plus larges en matière de lutte contre la criminalité restent mitigées. Pye observe ensuite Atlanta, qui compte plus de 3000 systèmes Flock. Or, malgré ce réseau de surveillance sans précédent, les taux d’élucidation des crimes ne se sont pas améliorés. « Par exemple, une arrestation a eu lieu dans 54,3 % des cas d’homicide en 2021. En 2025, seuls 48 % des homicides ont été élucidés. Il existe toutefois des catégories de crimes pour lesquelles les taux d’élucidation se sont améliorés, notamment les cambriolages et les vols dans des véhicules. » De plus, malgré l’un des plus importants réseaux de surveillance des Etats-Unis, le taux de crimes violents à Atlanta a augmenté entre 2024 et 2025 (mais a beaucoup diminué, elle aussi, depuis au moins 2011). Cela ne signifie pas que les LAPI n’apportent rien à la sécurité publique, estime Pye. Ils peuvent être efficaces pour certaines tâches ou certains crimes, mais cela ne signifie pas qu’ils soient à l’origine de la baisse de la criminalité aux Etats-Unis. Et quand bien même ce serait le cas, la question de savoir quel niveau de surveillance l’Amérique est-elle prête à accepter en contrepartie de sa sécurité reste entière, estime Pye. Qui rappelle qu’avec ces systèmes, « il n’est pas nécessaire d’être soupçonné d’un crime pour que les autorités disposent potentiellement d’un relevé indiquant que votre voiture se trouvait à proximité d’une manifestation politique, d’une église, d’une armurerie, d’une clinique médicale ou du domicile d’un tiers. Il s’agit d’une forme de surveillance fondamentalement différente de celle d’un policier vérifiant ponctuellement une plaque d’immatriculation sur l’autoroute ». Le problème, c’est bien le caractère amplificateur de la surveillance que produit la mise en réseau des caméras et la possibilité de les interroger. « Cette situation soulève des questions quant aux personnes habilitées à consulter ces données, aux justifications requises pour effectuer une recherche, à l’étendue du partage de l’information, à la durée de conservation des données et aux conséquences d’une utilisation abusive du système – une éventualité inévitable. Ces questions ne disparaissent pas pour autant du simple fait que les systèmes de lecture automatique de plaques d’immatriculation aident parfois la police à élucider des crimes. » Reste que c’est « une chose qu’un agent de police voit votre voiture traverser un carrefour. C’est tout autre chose qu’un réseau de caméras enregistre discrètement chaque apparition de votre véhicule, stocke ces informations et les rend consultables dans le temps et entre différentes juridictions ». « La question est de savoir si le gouvernement devrait pouvoir exploiter des millions, voire des milliards, d’observations publiques ordinaires et légales pour en faire une carte détaillée et consultable des déplacements des personnes, sans aucun soupçon individualisé ni contrôle significatif ». 

« Supposons que des preuves plus solides finissent par démontrer que Flock prévient certains crimes. Je resterais néanmoins mal à l’aise avec ce compromis. La sécurité publique est importante, certes, mais ce n’est pas le seul critère essentiel dans une société libre. Le respect de la vie privée et l’autonomie sont tout aussi importants. Pouvoir vaquer à ses occupations quotidiennes sans que le gouvernement n’enregistre discrètement ses déplacements est fondamental. Les caméras de Flock ne se limitent pas aux personnes soupçonnées d’avoir commis des crimes. Elles collectent des informations sur tous les automobilistes qui passent devant elles, dont l’immense majorité n’a absolument rien fait de mal.

Bien sûr, ces informations peuvent être utiles à la police. C’est précisément ce qui rend la question si complexe. Presque n’importe quel système de surveillance peut améliorer la sécurité publique s’il fournit au gouvernement davantage d’informations sur nous. Installez suffisamment de caméras à des endroits stratégiques, conservez suffisamment de données et donnez-y accès à un nombre suffisant d’agences : tôt ou tard, ces informations contribueront à résoudre des crimes. L’argument selon lequel « le gouvernement pourrait trouver cela utile un jour » est un critère inacceptable pour déterminer le niveau de surveillance que les Américains sont prêts à tolérer. » Pour Pye, la surveillance omniprésente ne devrait pas devenir une composante normale de la vie américaine. 

Pour The Conversation, le philosophe et criminologue de l’Institut catholique de Lille, Tony Ferri, rappelait que c’est la nature des systèmes de surveillance, quels qu’ils soient, de s’étendre (même si dans son article, il n’évoque pas les dispositifs de lecture automatisés des plaques d’immatriculation). « Un dispositif de contrôle naît pour une cible précise, dans un contexte qui rend son acceptation facile » (…) « puis, par la force de son infrastructure technique désormais disponible, il s’étend, se prolonge, se banalise, bien au-delà de sa justification initiale ». Pris isolément, ces solutions peuvent paraître légitimes. Mais, comme le disait la CNIL elle-même dans un avis de 2022 : « ces outils ne constituent pas une simple évolution technologique, mais une modification de la nature des dispositifs ». Un changement de nature et pas seulement de degré, face auquel nous avons pour l’instant bien peu de réponses pour en limiter la déflagration à l’encontre des libertés publiques.

Ah, oui, les systèmes LAPI se déploient également en France, même si pour l’instant, ce n’est pas avec la même intensité qu’aux Etats-Unis (on compterait 700 lecteurs en France mis en œuvre par la police nationale, la gendarmerie et les douanes, sans compter ceux des municipalités et des acteurs privés, comme les opérateurs de parkings et d’autoroute). Depuis 2024, un système de traitement central a été mis en place. En 2026, le récent projet de loi RIPOST renforce leur utilisation (par exemple à des fins administratives sans avoir à justifier d’une enquête spécifique), étend le régime d’infraction permettant leur consultation ainsi que la durée de conservation des informations à un an, comme s’en inquiétait, bien légitimement, la Quadrature du Net. La plateforme d’hypersurveillance des déplacements se porte bien chez nous aussi !

Hubert Guillaud

Fraude sociale : l’industrialisation de la chasse aux pauvres continue

La coalition RSA réunit de nombreuses associations (ATD Quart Monde, le Secours Catholique, Aequitaz, Changer de Cap, la Quadrature du Net, la Ligue des droits de l’Homme, le Mouvement national des chômeurs et des précaires, la Fédération des centres sociaux…), syndicats (CGT, FSU, Solidaires, CFDT, Unsa) et chercheurs, autour d’un objectif commun : documenter, mutualiser, partager les analyses sur les effets concrets sur les demandeurs d’emploi, les bénéficiaires des minimas sociaux (RSA, AAH) et les jeunes suivis en mission locale de la loi pour le plein emploi de décembre 2023 et de son décret d’application du 30 mai 2025, plus connu sous le nom de « décret-sanction RSA » que ces associations contestent devant le conseil d’Etat.

Dans sa newsletter, l’association Changer de Cap souligne que ces associations tentent de dresser un état des lieux des pratiques des Départements, décisionnaires pour les sanctions appliquées aux allocataires du RSA. « D’après un document interne de France Travail, sur les 51 conseils départementaux ayant déjà adopté un barème de sanctions, 48 font le choix de taux fixe sans aucune proportionnalité ni individualisation, contrairement à ce qu’indiquaient les textes. Parmi ceux-ci, 45 appliquent une suspension d’au moins 50 % du RSA dès le premier manquement, quelle qu’en soit sa gravité et 32 départements des suspensions de 80 ou 100 %. L’extrême dureté dans la mise en œuvre de ce décret conforte les craintes et analyses de Changer de Cap : une logique budgétaire entraînant une précarisation accrue de pans entiers de la société et une fragilisation du Pacte social dans la quasi-indifférence générale. » A l’image des pratiques du président du département du département du Finistère, Maël de Calan, poursuivit par la CGT et six allocataires du RSA pour « harcèlement moral institutionnel », dénonçant une pression et un suivi inadaptés, pour un plan RSA qui a surtout fait passer le nombre d’allocataires finistériens de 18 000 en 2021 à 13 500 fin 2025 rapporte Splann. « Un taux de radiation pour fraude vingt fois supérieur à celui des autres départements (39,8% en 2024 contre 1,96% au niveau national) », dénonce la CGT du Finistère, rapporte Révolution Permanente, qui dénonce également les pratiques de coaching et d’activité de placement en emploi d’entreprises délégataires.

La newsletter de Changer de Cap pointe vers un rapport publié par l’Observatoire de la surveillance en démocratie de l’université de Bordeaux sur les contrôles de la CAF qui montre la logique du soupçon, l’injustice et le stress des contrôles, les obstacles à la contestation et la montée du non recours face à la violence des contrôles. Ceux qui perçoivent des minima sociaux (RSA, APL, prime d’activité, AAH ) sont, du fait de leur situation même, identifiés comme des « profils à risque » par les algorithmes de la CNAF, rappelle Marine Lamare, l’auteure du rapport. « Ce n’est pas le comportement qui est suspect, c’est la condition sociale elle-même », résume pertinemment Didier Dubasque sur son blog. Derrière la neutralité et l’objectivité des algorithmes, se développe une surveillance différenciée, inégalitaire. « La logique est circulaire : la précarité engendre l’instabilité des déclarations, l’instabilité engendre les erreurs, les erreurs engendrent les contrôles, les contrôles engendrent les sanctions. Et la boucle se referme sur celles et ceux que la CNAF est censée protéger. » Mais surtout, le rapport de Marine Lamare, montre que loin de simplement « corriger » des situations, les contrôles produisent quelque chose de plus profond : ils découragent les personnes les plus pauvres à recourir à leurs droits. Comme si derrière le non recours se cachait de moins en moins un manque d’information des publics, et de plus en plus une capitulation face à la violence de la machine administrative.

Cette politique n’est pas nouvelle, rappelle Marine Lamare, rappelant les critiques formulées dès les années 70 par l’historien et sociologue, Jacques Donzelot, dans un article pour la revue Esprit, puis dans son livre, La police des familles (Minuit, 1977) qui expliquait déjà que « plus on est pauvre, plus on est surveillé ». La criminalisation de la pauvreté est devenue une politique publique depuis les années 90, rappelle-t-elle à la suite des travaux du sociologue Loïc Wacquant dans Punir les pauvres (Agone, 2004). « Les procédures de mise en recouvrement des indus se sont vues consolidées. De façon générale, le droit a contribué à un « durcissement » dans le traitement des cas, à la fois quant aux critères d’attribution des prestations, à la qualification de la fraude et aux sanctions administratives, faisant des CAF des « quasi-tribunaux » », comme l’expliquait le sociologue Vincent Dubois dans Contrôler les assistés (Raisons d’agir, 2021). 

Dans son mémoire, Marine Lamare rappelle que le respect de la vie privée est socialement situé. Pour ceux soumis aux contrôles, c’est une formule creuse. Pour eux, les relations de pouvoir qu’ils vivent sont toujours plus dissymétriques. 

Le sentiment d’incompréhension face aux contrôles s’explique d’abord par le silence des CAF sur les raisons des contrôles. Il s’augmente quand les bénéficiaires contrôlés découvrent qu’ils doivent déclarer les aides financières reçus de leurs proches quel qu’en soit le montant, comme si la solidarité de proximité, familiale, s’opposait finalement à la solidarité collective, alors que selon diverses jurisprudences, ils devraient être exclus des ressources prises en compte pour le RSA. Même choses pour les situations maritales que la CAF interprète toujours très étroitement et normativement, quand le Conseil d’Etat, lui, par exemple, reconnaît les séparations de faits. C’est un peu comme si la CAF portait partout une conception restrictive des droits, dans une interprétation qui semble se faire toujours au détriment de l’allocataire. Le décalage, le sentiment d’incompréhension, s’exprime encore entre le discours du contrôleur et les courriers de l’administration, et plus encore dans la « discontinuité des droits » que les contrôles instaurent, notamment les « sanctions de faits » c’est-à-dire la suspension des prestations, parfois sans préavis, souvent sans motivation explicite et souvent sans réponses. 

Le mémoire rappelle les coûts de ces procédures pour les allocataires. Les coûts psychologiques et moraux, mais également financiers pour des gens qui ne peuvent se le permettre. Et notamment, les plus difficiles : la suspension des aides ou la notification d’indus, qui nécessitent pour les contester des nouveaux recours et des procédures toujours plus complexes, difficilement accessibles aux allocataires précaires. Au final, c’est toujours le quotidien des allocataires qui devient impossible quand les aides sont suspendues. 

Dans son mémoire, Marine Lamare constate encore que le droit de communication de la CAF auprès de tiers, lui permettant d’obtenir d’innombrables données sur les administrés, s’est considérablement élargi au tournant des années 2010, « lorsque les pouvoirs d’investigation des agents des organismes de sécurité sociale ont été alignés sur ceux des agents des services fiscaux », où le contrôle des documents semble n’avoir plus aucune limite (notamment de rétroactivité et de proportionnalité…), comme quand un agent utilise le fait qu’une dame soit toujours indiquée en couple sur Facebook. Pourtant, les enquêtes de la CAF montrent surtout la grande difficulté à transformer des indices en preuves et la grande difficulté du droit à vouloir transformer des faisceaux d’indices en certitudes. La juriste montre surtout que les critères mobilisés (domiciliation commune, la communauté affective ou d’intérêts…) sont souvent plus fragiles, notamment au regard de la jurisprudence qui va les confirmer ou les écarter d’une manière très différente d’un jugement l’autre. Les avocats et le Défenseur des droits rappellent que c’est à la CAF de prouver la situation de concubinage ou de non-présence en France, par delà les indices et suspicions. Pour la docteure en droit, on assiste à « une criminalisation de la dépendance aux prestations sociales ». 

Quant à la contestation, elle est un chemin semé d’embûches, rappelle-t-elle, notamment du fait même de la numérisation de l’accès au droit. Les résistances sont souvent silencieuses et individuelles. Les contentieux sont, par nature, déséquilibrés au détriment des justiciables. Ce qui n’est pas sans évoquer les constats des derniers épisodes du Code a changé sur la dématérialisation. « Les espaces libre-service créés dans les années 2010 condensent en particulier les publics les plus démunis, les agents les moins formés et les conditions d’accueil les plus défavorables. Conformément à « l’aménagement dissuasif » déployé, des barrières sont érigées entre les plus précaires et les personnels qualifiés », souligne Lamare à la suite du psychologue Pascal Martin. Les associations ou les avocats apparaissent alors comme des substituts à l’absence d’interlocuteurs à la CAF, pour démêler l’écheveau des situations. Quant au numérique, il donne désormais la temporalité des démarches, puisque ce sont les enregistrements et les courriers électroniques qui marquent les relations. Par exemple, confient les accompagnateurs et les allocataires, il est difficile d’obtenir le « tableau de liquidation » qui permettrait d’accéder à la « boîte noire du calcul des droits » et de comprendre éventuellement les calculs d’indus opérés par les CAF. Même les rapports de contrôles ou d’enquête nécessitent bien souvent de passer par de longues démarches via la Commission d’accès aux documents administratifs pour être obtenus. Enfin, la complexité des procédures, des recours (par exemple entre demande de remise de dette et contestation de la décision, démarches incompatibles), finissent d’épuiser parfois les meilleures volontés. 

Lamare montre également que nombre d’acteurs sociaux de l’accompagnement préfèrent la conciliation au conflit avec les CAF, d’autant que certains, comme « les assistantes sociales des départements et des CAF sont juges et parties sur ce type de dossiers ». Non seulement le contentieux est difficile pour les administrés, mais il rémunère peu les avocats et face à l’envolée des demandes, se résout surtout par un fort désintérêt des acteurs pouvant accompagner les justiciables en difficultés. Les « contentieux des pauvres » démontrent surtout qu’ils n’intéressent pas grand monde et produisent peu de justice, comme le soulignait d’ailleurs la sociologue Delphine Serre dans son livre, Ultime recours (raison d’agir, 2024) quant aux procédures à l’encontre de la sécurité sociale pour faire reconnaître un accident du travail ou une maladie professionnelle, dénonçant elle aussi, le risque que les droits sociaux deviennent des principes sans objets.  

Mais surtout, conclut Marine Lamare, « le non-recours se dessine alors comme une voie de sortie qui prend l’allure d’issue de secours ». « Par peur, pression, culpabilisation, découragement, épuisement et/ou désaccord avec les principes et pratiques des CAF, [nombre de bénéficiaires] ne veulent pas ou ne veulent plus avoir affaire à elles ». L’abandon s’enkyste. La chasse à la fraude ressemble à une chasse à l’homme, témoigne une allocataire. L’acte individuel devient une critique des politiques sociales. Le non-recours devient une non-demande, le résultat d’une fabrique collective de l’exclusion plus que le signe de défaillances individuelles. 

Autant de constats qui font échos à ceux du dernier rapport de la Défenseure des droits sur la fraude sociale, alors même que le gouvernement vient de durcir l’arsenal contre les fraudes et à réformer en profondeur les aides sociales (Le Monde, Médiapart). Claire Hédon y dénonce une industrialisation de la lutte contre la fraude des bénéficiaires, explique Le Monde. Le rapport souligne, par exemple, que la communication bancaire est devenue une procédure automatisée, alors qu’elle est normalement circonscrite à certaines situations et proportionnée. De même, la généralisation de la consultation des réseaux sociaux à des fins de contrôle se déploie sans garde-fous. La Défenseure des droits rappelle à nouveau le surciblage et le surcontrôle de certaines catégories de population et renouvelle ses demandes de transparence et de mesure de l’équité des ciblages et contrôles. Elle dénonce également des notifications non motivées et non conforme à la réglementation et une faible communication sur les voies et délais de recours. Mais surtout, elle pointe combien la fraude est une qualification plastique et que ce qualificatif devenu omniprésent entrave le droit à l’erreur et l’accès aux droits. Et de plaider pour lui substituer et « ériger le droit à l’erreur de bonne foi en tant que principe général applicable en toutes circonstances aux relations entre les usagers et les organismes sociaux ».

La Défenseure des droits plaide pour une amélioration de l’information aux usagers, mais surtout pour que les services sociaux priorisent la prévention plutôt que la répression. Elle rappelle que l’administration a de plus en plus tendance à confondre la fraude et l’erreur, alors même que le droit à l’erreur a été inscrit dans la loi depuis 2018 et dénonce le constat que les pouvoirs publics s’accommodent trop du non-recours. 

Mais, si les constats du Défenseur des droits s’accumulent et se répètent de rapports en rapports, peut-être faut-il convenir que le problème est bien plus politique qu’on le pense. La nouvelle réforme proposée par le projet de loi sur la fraude sociale, montre combien le discours saturé ne parvient plus à laisser d’espace pour d’autres approches que la chasse aux pauvres. 

Pour la Quadrature du net également, le flicage n’en finit pas, dénonçant, dans la dernière version du projet de loi, l’élargissement de l’accès aux comptes bancaires pour le contrôle du RSA. Le contrôle sur les moindres dépenses des plus pauvres, a clairement pour but d’humilier, « tout en imposant une charge administrative démesurée jusqu’à ce que les allocataires renoncent à leurs droits ». « Le Finistère n’est pas un cas isolé. Des campagnes de contrôle similaires ont notamment été documentées dans les départements du Nord, du Vaucluse, du Bas-Rhin ou de l’Eure ». En réalité, explique l’association, le projet de loi vise d’abord à permettre aux départements de procéder à ces contrôles, alors que normalement, ils sont du recours des seuls services sociaux (et à protéger les départements de poursuites, comme celle engagée par les allocataires du Finistère). Et surtout, il vise à élargir considérablement aux acteurs du social la possibilité « d’obtenir les documents et renseignements de leur choix auprès d’un très grand nombre d’acteurs publics et privés. Outre les demandes adressées aux banques, ce droit est mobilisable auprès des opérateurs de téléphonie, des fournisseurs d’énergie, des associations, des organismes de formation, des professionnels de santé ou encore des employeurs. » Pour la Quadrature, cette mesure s’inscrit « dans un processus d’extension continue du droit de communication » à des fins de « lutte contre la fraude sociale », faisant fit des limites et des garanties de ce droit, supprimées d’un projet de loi l’autre. « Accordé en 2008 aux agent·es de contrôle des organismes de sécurité sociale (CAF, CNAM, CNAV), il a depuis fait l’objet d’une dizaine de modifications, afin d’étendre tant les organismes pouvant l’utiliser – notamment, depuis 2021, aux agent·es de lutte contre la fraude de France Travail – que les informations communicables ou les sanctions en cas de non-réponse. » 

La Quadrature estime pourtant qu’un espoir pourrait venir depuis le droit européen, pour réaffirmer des limites et des garanties. La Cour européenne des droits de l’Homme (CEDH) a récemment « condamné l’Italie pour violation de la vie privée en raison d’un droit de communication octroyé au fisc italien similaire au droit de communication français ». « La CEDH exige notamment qu’un tel droit de communication soit entouré de nombreuses garanties tout au long de son utilisation : une notification des personnes pour leur permettre de contester l’usage de ce droit, y compris avant que les données communiquées n’aient été utilisées dans le cadre d’un contrôle, et y compris si le résultat du contrôle n’a pas conduit à une sanction ; une motivation précise par l’administration expliquant pourquoi elle a besoin d’accéder à ces données ; un contrôle indépendant de la demande pour que le droit de communication ne puisse pas être utilisé systématiquement et s’assurer de la nécessité de l’accès. L’absence de ces garanties dans la loi française est criante et le projet de loi Fraudes ne corrige absolument pas cela. »

Dans un communiqué de presse, Changé de Cap dénonce le fait qu’il sera bientôt possible à la CAF, aux Départements comme à France Travail de procéder à une suspension conservatoire des prestations et allocations en cas « d’indices sérieux d’un manquement délibéré ou de manœuvre frauduleuse ». Les organismes sociaux vont donc pouvoir couper les droits unilatéralement sans que ne soit défini ce que sont les manquements, les indices sérieux voire les indices graves et concordants. 

« Le collectif Changer de cap est en opposition totale avec cette politique de chasse aux pauvres. Nous réaffirmons :

Que la lutte contre les exclusions doit rester un impératif national fondé sur le respect de l’égale dignité de tous les êtres humains et une priorité de l’ensemble des politiques publiques.

Que toute personne en difficulté a le droit au soutien de la nation, tel que cela est énoncé dans plusieurs lois fondamentales et dans la Constitution.

Que l’État, les collectivités territoriales, les établissements publics dont les centres communaux et intercommunaux d’action sociale, les organismes de sécurité sociale ainsi que les institutions sociales et médico-sociales doivent participer à cette mission de soutien aux populations précarisées.

Que chaque personne a le droit à un accompagnement respectueux de son parcours, prenant réellement en compte les difficiles chemins empruntés et les situations complexes.

Et ne craignons pas d’exiger de nos responsables politiques de lutter contre les causes de la pauvreté plutôt que d’orchestrer la chasse aux pauvres. »

La possibilité d’accéder à toutes les données disponibles bouleverse comme nulle autre le rapport des organismes des gestion sociale à leur mission. Sans limites, ce sont les valeurs mêmes de leurs missions qui seront transformées.

Voir également notre billet sur les algorithmes de score de risque de fraude à la CAF qui surveillent les bénéficiaires.

Vérification d’âge (2/4) : de l’impunité des géants à la criminalisation des usagers

Avec la vérification d’âge : la modération des plateformes au profit des géants

Pour Molly Buckley de l’Electronic Frontier Foundation (EFF), principale organisation non gouvernementale américaine de défense des libertés numériques, la vérification d’âge est une aubaine pour les géants du numérique. Aux Etats-Unis, bluesky a mis en place des mesures de vérifications d’âge dans le Wyoming, dans le Dakota du Sud et a fermé ses accès dans le Mississippi suite à la promulgation, là encore, de lois sur la vérification d’âge. Pour l’EFF, les difficultés de Bluesky montrent que ces lois vont écraser les petites plateformes qui ne peuvent pas absorber les coûts des mesures de vérification et renforcer le pouvoir des plus grandes plateformes. « Les obligations de vérification de l’âge concentrent et consolident le pouvoir entre les mains des plus grandes entreprises, seules entités disposant des ressources nécessaires pour mettre en place des systèmes de conformité coûteux et assumer des amendes potentiellement colossales ». C’est le même constat que fait l’EFF au Royaume-Uni : les plus grandes plateformes « ont mis en place des mesures de vérification de l’âge étendues (et extrêmement maladroites), tandis que des sites plus petits, notamment des forums sur la parentalité, l’écologie et les jeux vidéo sous Linux, ont été contraints de fermer ». L’EFF donne l’exemple du “Forum du Hamster”– un forum britannique pour discuter de tout ce qui touche au petit rongeur domestique, qui a fermé ses forums, pour renvoyer ses utilisateurs vers un simple compte Instagram, et donc vers les géants des réseaux sociaux ! Pour Molly Buckler, l’OSA (Online Safety Act) est en train de flécher le trafic vers les seuls géants du net, qui seront les mieux à même de censurer les utilisateurs. C’est une loi pour consolider le pouvoir des géants au plus grand cauchemar des utilisateurs dont les ressources communautaires vont s’atrophier.

Dans un autre article pour l’Electronic Frontier Foundation, Molly Buckley rappelle que la loi sur la vérification d’âge au Royaume-Uni ne concerne pas que les contenus à caractère sexuel, mais englobe une large catégorie de contenus « préjudiciables ». Préventivement, plusieurs forums sur la parentalité, les jeux vidéo ou l’écologie ont préféré fermer leurs portes pour éviter le risque d’amendes et les complexités de la conformité à la loi. La plateforme Reddit au Royaume-Uni a été contrainte de s’enfermer derrière des barrières de vérification d’âge. Et cela n’a pas concerné que les canaux dédiés aux contenus explicites, mais également à nombre de sous-groupes dédiés à l’identité, au soutien LGBTQ+, au journalisme, aux forums liés à la santé publique comme ceux dédiés au menstruations ou aux violences sexuelles. « L’OSA définit le terme « préjudiciable » de multiples façons, bien au-delà de la pornographie. Les obstacles rencontrés par les utilisateurs britanniques correspondent donc exactement à ce que la loi prévoyait. L’OSA entrave bien plus que l’accès des enfants à des sites clairement réservés aux adultes. En cas d’amendes, les plateformes auront toujours recours à la surcensure. »

L’EFF est surtout étonné que l’OSA ait contraint Reddit à la censure, notamment explique  Buckley parce que Reddit a été une plateforme qui a œuvré à la défense de la liberté d’expression. Même si on peut lui reprocher des excès en la matière, Reddit s’est attelé à résoudre ses problèmes. Elle a été la seule plateforme à obtenir la meilleure note de l’analyse de la modération des plateformes par l’EFF en 2019, notamment parce qu’elle a mis en place une modération souvent qualifiée de remarquable (mais pas parfaite). Pour l’EFF, les mesures de vérifications d’âge ne protégeront pas les adolescents, car ceux-ci trouveront toujours des moyens pour les contourner et se rendre sur des sites toujours plus douteux, où la modération est moindre, les risques plus importants. 

Pour l’EFF, l’exclusion des publics d’importantes communautés sociales, politiques et créatives est problématique. « Les mandats de vérification de l’âge sont des régimes de censure » et la régulation de la pornographie n’est bien souvent que la partie émergée d’une censure qui va bien au-delà et qui permet très rapidement de censurer des contenus parfaitement légaux, notamment ceux relatifs à l’éducation sexuelle ou à l’actualité. « Les questions de modérations ne sont pas simples : on glisse vite d’une condamnation morale à une condamnation politique », observait déjà le chercheur Tarleton Gillespie dans son livre sur la modération. Et l’EFF de prévenir les Américains du risque qu’ils courent à leur tour. 

Du flou des contenus à modérer… à la régulation individuelle

Dans un autre billet datant de janvier, Paige Collings and Rindala Alajaji de l’EFF rappelaient que le problème des lois pour la protection des jeunes exigeant la vérification de l’âge des internautes, c’est qu’elles ne concernent pas seulement a pornographie en ligne, comme elles aiment à se présenter. Derrière la lutte contre les contenus « dangereux », les gouvernements s’arrogent de plus en plus le pouvoir de décider des sujets jugés « sûrs ». Pas étonnant donc, que les contestations à l’encontre de ces lois se multiplient. En fait, la question du « contenu sexuel » par exemple est définie de manière vague et peut concerner des films et vidéos interdits aux moins de 18 ans, comme des contenus d’éducation sexuelle ou des contenus LGBTQ+. D’autres énumèrent des préjudices causés par les contenus, mais là encore, vaguement définis, comme les violences qui doivent être limitées, alors que les représentations de la violence servent aussi de moyens pour les dénoncer. Sans compter que les plateformes ont déjà des politiques de modération qui qualifient nombre de contenus qui ne tombent pas sous le coup de la loi comme préjudiciables, comme l’expliquait Tarleton Gillespie dans Custodians of the Internet (Yale University Press, 2018). Bref, bien souvent la censure de contenus non pornographiques n’apparaît aux gens qu’une fois que ces lois sont mises en œuvre. En Oklahoma, le projet de loi sur la vérification de l’âge entré en vigueur le 1er novembre 2024 défini comme contenu préjudiciable aux mineurs toute description ou exposition de nudité et de « conduite sexuelle », ce qui implique que des associations sur la sexualité et la santé comme Glaad ou Planet Parenthood doivent mettre en place des systèmes de vérification d’âge des visiteurs. Pour éviter d’éventuelles poursuites judiciaires, ces associations risquent de mettre en place une surcensure.

Toutes ces lois rendent les autorités administratives et les plateformes arbitres de ce que les jeunes peuvent voir en ligne, explique encore l’EFF. C’est le cas du Kids Online Safety Act (Kosa), américain, validé par le Sénat mais pas par la Chambre des représentants, défendue ardemment par la sénatrice américaine Marsha Blackburn qui l’a promue pour « protéger les mineurs des transgenres ». Si la censure des contenus LGBTQ+ par le biais des lois de vérification de l’âge peut être présentée comme une « conséquence involontaire » dans certains cas, interdire l’accès aux contenus LGBTQ+ fait partie intégrante de la conception des plateformes. L’un des exemples les plus répandus est la suppression par Meta de contenus LGBTQ+ sur ses plateformes sous prétexte de protéger les jeunes utilisateurs des « contenus à connotation sexuelle ». Selon un rapport récent, Meta a caché des publications faisant référence au hashtag LGBTQ+, le filtre contenu sensible étant appliqué par défaut aux mineurs, faisant disparaître les hastags #lesbienne, #bisexuel, #gay, #trans et #queer. Si Meta a visiblement fait machine arrière depuis, on constate qu’une forme de censure automatisée vague et subjective s’étend sur nombre de contenus et notamment sur l’information sur la santé sexuelle. Pour les jeunes, notamment LGBTQ+, plus exposés au harcèlement et au rejet, l’accès aux communautés et aux ressources numériques est essentiel pour eux, et en restreindre l’accès présente des dangers particuliers, rappelle un rapport du Gay, Lesbian & Straight Education Network (Glsen). Mais il n’y a pas que ces publics que la censure des contenus d’information sexuel met en danger… A terme, ce sont tous les adolescents qui se voient refuser une information claire sur les risques et la santé sexuelle. Or rappellent des chercheurs espagnols pour The Conversation, l’exposition à la pornographie façonne les expériences affectives et normalisent l’idée que le pouvoir, la soumission et la violence font partie du désir. Mais, rappellent-ils, c’est bien « l’absence d’une éducation sexuelle adéquate qui est l’un des facteurs qui contribuent le plus à la consommation précoce de pornographie ».

Pour l’EFF enfin, il est crucial de reconnaître les implications plus larges des lois de vérification d’âge sur la vie privée, la liberté d’expression et l’accès à l’information. Notamment pour ceux qui tentent de préserver leur anonymat. « Ces politiques menacent les libertés mêmes qu’elles prétendent protéger, étouffant les discussions sur l’identité, la santé et la justice sociale, et créent un climat de peur et de répression ». 

« La lutte contre ces lois ne se limite pas à défendre les espaces en ligne ; il s’agit de protéger les droits fondamentaux de chacun à s’exprimer et à accéder à des informations vitales.» Dans un autre article encore, Paige Collings, rappelle que « les jeunes devraient pouvoir accéder à l’information, communiquer entre eux et avec le monde, jouer et s’exprimer en ligne sans que les gouvernements ne décident des propos qu’ils sont autorisés à tenir ». 

En fait, la proposition d’interdire les contenus aux plus jeunes permet assurément de simplifier la modération : aux plus jeunes, tout est interdit… Mais pour le public majeur, conscient des risques, tout est autorisé. C’est à chacun de réguler ses usages, pas à la société. 

La même injonction à une régulation qui ne serait plus qu’individuelle traverse la société. C’est à chacun de trier ses poubelles et ceux qui ne le font pas seront condamnés pour ne pas l’avoir fait, comme c’est à chacun d’être conscient des risques de ses usages numériques, et d’en subir sinon les conséquences.

Vers la criminalisation des comportements des mineurs

En France, la commission d’enquête parlementaire sur les effets psychologiques de TikTok sur les mineurs a rendu son rapport. Ses conclusions sont « accablantes », comme le dit le Monde. Mais l’épais rapport (plus de 1000 pages) est tout de même bien problématique, comme l’analyse très pertinemment le journaliste Nicolas Kayser-Bril dans l’édition du 2 octobre de la newsletter d’Algorithm Watch. Alors que nombre d’universitaires interrogés soulignent que l’utilisation élevée de TikTok est corrélée à l’anxiété et la dépression, le rapport glisse souvent à la simple accusation. Comme si TikTok était seul porteur des maux de la jeunesse. « Les députés ont-ils succombé à la faible capacité d’attention et à l’émotionnalisation qu’ils dénoncent ? Nous ne le saurons jamais, car le Parlement français n’a pas commandé, et ne commandera probablement pas, de rapport sur les effets de Facebook sur les baby-boomers, ni sur l’algorithme de X sur les responsables politiques ». Si le rapport est accablant, il l’est surtout parce qu’il montre le déficit de mise en œuvre du DSA, malgré les obligations, comme l’expliquent Garance Denner et Suzanne Vergnolle de la Chaire de modération des contenus du Cnam. 

Face à ce déluge d’accusations à l’encontre de TikTok, les 53 recommandations du rapport deviennent rapidement plus surprenantes, puisqu’on n’y trouve pas de proposition d’interdiction de TikTok. On ne trouve pas non plus beaucoup de mesures qui imposent quelque chose à la plateforme, hormis celles qui renforcent ou précisent le cadre du RGPD et du DSA européen (recommandation 8 à destination du suivi des modérateurs de la plateforme), celle invitant à étudier la modification du statut des fournisseurs de réseaux sociaux comme éditeur, les rendant responsables des contenus accessibles (recommandation 10), celle réclamant davantage de ressources pour les signaleurs de confiance (c’est-à-dire les organismes en contact direct avec les plateformes pour signaler les contenus inappropriés), ainsi que celles obligeant les plateformes à fournir des paramètres de personnalisation et de diversification ou pluralisme algorithmique (recommandations 11 et 12, qui consisterait à produire « une norme ouverte pour les algorithmes de recommandation afin que des tiers puissent concevoir des flux “Pour vous” spécifiques. Les utilisateurs pourraient ensuite parcourir “TikTok, sélectionné par ARTE”, par exemple », explique Nicolas Kayser-Bril… Ce qui ne semble pas l’objectif d’un pluralisme algorithmique permettant à chacun de produire des règles de recommandation selon ses choix). En fait, presque toutes les recommandations proposées dans ce rapport sont à l’égard d’autres acteurs. Des plus jeunes d’abord : en imposant la fermeture d’accès à TikTok au moins de 15 ans, en proposant un couvre-feu pour les 15-18 ans et en envisageant d’étendre l’interdiction dès 2028 aux moins de 18 ans. 

Mais l’essentiel des recommandations portent sur le développement de messages de prévention à l’école et dans les services de prévention comme auprès des parents et des services de l’enfance. Des services déjà bien souvent surchargés par les injonctions. Aucune recommandation n’exige de TikTok de renforcer l’accès à des données pour la recherche ou de corriger ses algorithmes pour moins prendre en compte le temps passé par exemple ! 

Si le rapport ne fait pas (encore) de propositions pour condamner les jeunes qui accéderaient aux réseaux sociaux malgré l’interdiction, elle propose de créer dès 2028 un nouveau délit de « négligence numérique » (recommandation 43) à l’égard des parents qui laisseraient leurs enfants accéder aux réseaux sociaux. Un peu comme si dans les années 50 on avait supprimé les aides sociales aux parents qui laissaient écouter du rock à leurs enfants sous prétexte de « négligence musicale ». Ce que suggère cette recommandation qui doit être étudiée par des experts d’ici l’échéance, c’est que la vérification de l’âge va conduire à la criminalisation des comportements des plus jeunes. 

Pour l’instant, on n’en entend parler nulle part. Toutes les déclarations sur le développement de la vérification d’âge et du contrôle parental, n’évoquent que la protection des plus jeunes, jamais les peines qui pourraient advenir… plus tard. Mais du moment où elles seront en place, on voit déjà s’esquisser la perspective de criminaliser les adolescents et leurs parents qui ne respecteraient pas ces règles. L’implicite ici, consiste d’abord à interdire, puis demain, à condamner. Après la mise en place de la barrière d’accès, viendra la condamnation de ceux qui chercheront à la contourner. Va-t-on vers une société qui s’apprête à condamner des gamins de 14 ans pour être allé chercher des contenus pornos en ligne ? Vers des médias qui seront condamnés pour avoir laissé des enfants accéder à des images de répression violentes de manifestations ? Vers des parents qui seront condamnés pour avoir laissé leurs enfants accéder à internet ? Les 16-18 ans seront-ils condamnés pour être allé cherché de l’information sur la prévention sexuelle ou parce qu’ils se sont connectés sur TikTok au-delà de 23 heures ? Où parce qu’ils auront échangé une vidéo de Squeezie ?

La vérification d’âge nous conduit tout droit à une « nouvelle pudibonderie », disait pertinemment le journaliste David-Julien Rahmil pour l’ADN. Renforçant celle déjà l’œuvre sur les grandes plateformes sociales qu’observait en 2012 Evgeny Morozov ou le chercheur Tarleton Gillespie dans son livre, dont les systèmes automatisés surcontrôlent déjà la nudité plutôt que la pornographie. 

L’autre risque, à terme, c’est l’élargissement sans fin de la vérification d’âge à tous types de contenus, notamment au secteur marchand comme l’a montré la polémique des contenus explicites découverts sur des sites de commerces en ligne. Pour la haut-commissaire à l’enfance, Sarah El Haïry, « la protection des enfants en ligne ne peut souffrir d’aucune faille », soulignant par là le risque maximaliste des règles à venir (et ce alors que la protection sociale à l’enfance par exemple n’est que failles). Au risque que ces règles deviennent des couteaux suisses, faisant glisser la surveillance des contenus pornographiques à la surveillance de l’internet, comme le disait avec pertinence le journaliste Damien Leloup dans une analyse pourLe Monde, au prétexte que le « risque » pornographique est partout. 

Qu’on s’entende bien. Loin de moi de défendre TikTok (pas plus que Meta ou X). Mais la criminalisation des comportements des enfants et des parents sans imposer de mesures de régulation claires aux entreprises et d’abord à elles, me semble une voie sans issue. La vérification d’âge accuse la société des dégâts sociaux provoqués par les décisions des plateformes sans leur demander ni de données, ni de correctifs. En criminalisant les mineurs, elle ne propose qu’une nouvelle ère de contrôle moral, sans nuance, comme s’en émouvait pour The Conversation, le spécialiste en gestion de l’information, Alex Beattie.

Hubert Guillaud

Vérification d’âge (1/4) : vers un internet de moins en moins sûr

Le 25 juillet 2025, dans le cadre de la loi sur la sécurité en ligne (Online Safety Act, OSA) adoptée en 2023, les nouvelles règles de vérification de l’âge sont entrées en vigueur au Royaume-Uni, pour les sites proposant du contenu qualifié de « dangereux », notamment pornographique (mais pas seulement). La loi britannique définit des catégories pour les services en ligne auxquels elle s’applique, en fonction de leurs fonctionnalités et de leur nombre d’utilisateurs actifs par mois. En regard, sont définies différentes catégories de contenus, allant de contenus dits illégaux à des contenus dits nuisibles aux enfants. La loi ne se contente pas de faire la chasse à la pornographie en ligne, c’est-à-dire à des contenus à caractères sexuels explicites, mais déborde très largement de ce seul cadre qui ouvre, en regard des sanctions lourdes, et impose une modération des contenus qui peut aller jusqu’aux images violentes de l’actualité (et pas seulement sanglantes) voire à tous propos sur la sexualité, comme ceux abordant les questions de santé.  

Un renforcement sans précédent de la surveillance et de la censure préventive : la conformité n’est pas contournable

Comme le pointe l’une des plus synthétiques et lumineuses analyses en français sur le loi que j’ai pu lire, celle de Nicolas Morin sur son blog, la loi demande aux plateformes un « devoir de diligence » proactif et fondé sur les risques, mais également impose un comportement « préventif », rendant les plateformes, sites et services en ligne, directement responsables de la sécurité de leurs utilisateurs et du contenu qu’ils rencontrent. « Enfin ! », pourrait-on s’enthousiasmer en pensant qu’on exige un peu plus de contrôle de la part des Gafams. Sauf que le champ d’application de la loi est très large et dépasse les seules plateformes de médias sociaux et les plus grands services en ligne. Elle s’applique jusqu’aux forums, commentaires de blogs et sites de partage de fichiers, même si les obligations les plus strictes s’appliquent aux plateformes les plus importantes. 

Les services en ligne doivent garantir que les enfants aient un « accès adapté à leur âge », ce qui implique une approche faisant appel à des systèmes de filtrage et de modération de contenu adaptés aux différents groupes d’âge qui s’imposent partout. « Les sanctions prévues sont sévères, potentiellement existentielles, en cas de manquement. Les amendes peuvent atteindre 18 millions de livres sterling ou 10 % du chiffre d’affaires annuel mondial d’une entreprise, et les cadres supérieurs peuvent être tenus personnellement responsables pénalement en cas de non-coopération avec le régulateur. » Du fait de la lourdeur des sanctions, avec l’OSA, la conformité réglementaire n’est pas contournable.

Mais surtout, explique Morin, « à un niveau fondamental, l’OSA illustre la bascule d’une logique procédurale à une logique de valeurs ». Jusqu’à présent, la modération de contenu suivait une approche procédurale, se concentrant sur le « comment » plutôt que sur le « quoi ». Cette logique ne disait pas aux plateformes quel contenu spécifique (en dehors de ce qui est déjà manifestement illégal) était bon ou mauvais. Elle imposait plutôt des obligations de moyens et de transparence (souvent très légères, comme des conditions de modération claires, des mécanismes de signalement simples, des processus d’appels, des rapports sur les contenus modérés…). Avec l’OSA et son approche sur les valeurs, les plateformes doivent porter un jugement même sur les contenus et leur impose une obligation de résultat. « Ce faisant, la loi délègue aux entreprises privées et à l’organe de régulation britannique (l’Ofcom) le soin de définir ce qui constitue un discours acceptable dans la société, une mission qui relève normalement du débat démocratique et de la loi pénale ». Le problème est que les contenus qui peuvent être qualifiés de préjudiciables est large et introduit un flou juridique supplémentaire, qui, à l’aune de la sévérité des sanctions, conduit déjà chacun à une sur-modération. « Pour les utilisateurs, l’application des règles devient arbitraire. Un même contenu pourra être supprimé un jour et toléré le lendemain, en fonction du modérateur ou de l’algorithme qui l’examine. Il n’y a plus de prévisibilité, un principe fondamental de l’État de droit ». 

« En utilisant des termes vagues, le Parlement britannique a, de fait, délégué son pouvoir normatif. Ce ne sont plus les législateurs élus qui définissent précisément les limites de la liberté d’expression, mais l’Ofcom, un régulateur non élu, qui publiera des codes de pratique pour “interpréter” ce que la loi entend par “préjudiciable”, et les plateformes elles-mêmes, qui créeront leurs propres règles internes pour se conformer aux interprétations de l’Ofcom.

Le débat sur ce que notre société tolère comme discours est ainsi retiré de la sphère publique et démocratique pour être confié à des comités de conformité et des régulateurs techniques.

En passant d’une logique procédurale à une logique de valeurs incarnée par des termes vagues, l’Online Safety Act crée un système où la censure devient préventive, privatisée et arbitraire. La quête légitime de sécurité en ligne, sous l’étendard ici de la sécurité des enfants et de la lutte contre le terrorisme, se fait au détriment de la liberté d’expression, de la sécurité juridique et des principes démocratiques fondamentaux. »

« L’obligation pour les plateformes de gérer le contenu « préjudiciable » mais légal les amène, par prudence, à classifier et restreindre l’accès à un large éventail de contenus, y compris les reportages d’actualité, la couverture de la guerre et des conflits, le journalisme d’investigation et les images de manifestations politiques, qui pourraient tous être considérés comme « préjudiciables » ou « dépeignant une violence grave » selon les définitions larges de la loi. Ce système délègue de fait aux entreprises technologiques privées le rôle d’arbitres de l’État en matière de discours acceptable. Alors que les partisans pourraient y voir une application de la responsabilité, les critiques y voient un « cadeau massif à la grande technologie ». Cela renforce leur pouvoir en leur donnant une autorité mandatée par l’État pour décider de ce que les utilisateurs peuvent et ne peuvent pas voir, une fonction quasi-judiciaire pour laquelle les entreprises privées sont institutionnellement mal adaptées et démocratiquement irresponsables. »

Le premier problème de l’OSA est bien le large spectre de ce que son champ réglementaire couvre. Ce n’est pas une loi qui cherche à réguler uniquement les vidéos et les images pornographiques. 

Vers une modération fonctionnelle

La loi s’applique aux sites web, aux services de réseaux sociaux, aux sites de stockage et de partage de fichiers, aux forums en ligne, aux applications de rencontre et aux services de messagerie instantanée. Tous sont désormais tenus de vérifier l’âge des visiteurs si leurs plateformes contiennent du contenu préjudiciable ou inapproprié, rappelle le New York Times. Au-delà des sites pornographiques, les applications qui ont introduit la vérification de l’âge incluent Grindr, le service de rencontres gay ; Discord, l’application de chat social ; et Reddit… Même l’encyclopédie Wikipédia reste menacée de devoir intégrer une vérification d’âge (notamment parce qu’elle entre dans la catégorie des grands services en ligne).  

La majorité des Britanniques – près de 80 % – se sont déclarés favorables aux nouvelles règles, selon un sondage YouGov auprès d’environ 4 400 adultes, peut-être sans toujours comprendre que ces règles ne concernaient pas que les contenus sexuellement explicites, puisqu’après la mise en place des premières mesures effectives, ils n’étaient plus que 69% à soutenir les règles. Mais, selon l’enquête, seule une personne sur quatre environ estime que ces restrictions empêcheront réellement les enfants d’accéder à la pornographie en ligne. Au Royaume-Uni, une vague de résistance s’est également manifestée. Plus de 500 000 personnes ont signé une pétition demandant l’abrogation de la loi sur la sécurité en ligne, critiquée par les défenseurs du droit à la vie privée et de la liberté d’expression. Ces derniers affirment que ces règles constituent un exemple d’abus de pouvoir du gouvernement et les jugent dangereuses pour les personnes souhaitant préserver leur anonymat en ligne. 

Les critiques affirment également que la portée des règles va trop loin, en incluant les forums de loisirs en ligne et divers autres sites. Ils affirment que les petits sites qui ne disposent pas des ressources nécessaires pour se conformer à la loi devront fermer, notamment parce qu’ils s’exposent à des poursuites juridiques inédites. 

Les contenus sont définis en trois catégories : des contenus primaires prioritaires préjudiciable aux enfants (les contenus pornographiques et de promotion du suicide notamment), les contenus prioritaires préjudiciables aux enfants (contenus incitant à la haine, à l’intimidation ou à la violence notamment) et des contenus non désigné comme dangereux pour les enfants mais qui peuvent leur porter préjudice, c’est-à-dire les perturber, comme des images de violences ou de manifestation. Le problème consiste bien sûr dans les flous de ces définitions : un article qui parle d’un suicide en fait-il la promotion ? Parler des violences d’une guerre ou de manifestations est-il préjudiciable ? Même la définition de la pornographie peut-être plus ou moins lâche : un texte érotique est-il de même nature qu’une vidéo explicite ?  

Face à ces risques, les sites accessibles doivent mettre en œuvre un certain nombre de mesures et notamment la « vérification vigoureuse de l’âge », en développant des algorithmes plus sûrs pour les jeunes publics et en renforçant la modération des contenus. 

Depuis l’entrée en vigueur de ces mesures fin juillet, les plateformes de réseaux sociaux Reddit, Bluesky, Discord et X ont toutes mis en place des contrôles d’âge pour empêcher les enfants de consulter des contenus préjudiciables sur leurs sites. Des sites pornographiques comme Pornhub et YouPorn ont mis en place des contrôles d’âge, demandant désormais aux utilisateurs de fournir une pièce d’identité officielle, une adresse e-mail pour que la technologie analyse les autres services en ligne où elle a été utilisée, ou de soumettre leurs informations à un fournisseur tiers pour vérification de l’âge. Des sites comme Spotify exigent également que les utilisateurs soumettent un scan facial à Yoti, une société tierce de gestion d’identité numérique, pour accéder aux contenus étiquetés 18+. L’Ofcom, qui supervise la mise en œuvre de l’OSA, est allé plus loin en envoyant des lettres pour tenter de faire appliquer la législation britannique aux entreprises basées aux États-Unis. 

La généralisation de la vérification d’âge et du contrôle parental

La contrainte de la vérification d’âge n’est pas que britannique. Elle concerne également  l’Union européenne, les Etats-Unis (une vingtaine d’Etats ayant déjà légiféré en ce sens) et l’Australie. « En France, deux lois successives ont entériné depuis 2020 la vérification d’âge », rappelait Le Monde cet été. En juin, menacé de sanctions par l’Autorité de régulation de la communication audiovisuelle et numérique (Arcom) s’il ne mettait pas en place une procédure de vérification d’âge, Pornhub a fermé ses accès en France. Si l’Europe a lancé une enquête à l’encontre des principales plateformes de contenus pornographiques, pour qu’elles mettent en place des outils de vérification d’âge plus approprié qu’un simple déclaratif, au motif du DSA et de la taille de leur audience, la Commission estime que fixer une majorité numérique ne relève pas de ses compétences, même si elle travaille à proposer une solution harmonisée de vérification d’âge des internautes. En novembre, les députés macronistes ont déposé une proposition de loi pour interdire les réseaux sociaux aux moins de 15 ans, imposer un couvre-feu numérique pour les 15-18 ans de 22 heures à 8 heures, ainsi que l’interdiction des smartphones dans les lycées. Des perspectives défendues par le président lui-même. Des propositions d’interdiction des réseaux sociaux aux moins de 15 ans sont également à l’ordre du jour au Danemark, en Norvège, et au Royaume-Uni (via un autre projet de loi, le Protection of Children Bill).

En Australie, une loi nationale a d’ores et déjà été adoptée. Elle interdit l’accès aux réseaux sociaux aux moins de 16 ans. En revanche, les applications de messagerie ou celles dévolues à l’éducation et à la santé sont exclues de cette réglementation, tout comme YouTube – sans qu’on comprenne très bien les motivations de cette exclusion. 

« Parallèlement, tous les grands réseaux sociaux ont mis en place, au fil du temps, des outils de contrôle parental et de protection des adolescents, qui permettent notamment de limiter le temps d’utilisation de l’application par les plus jeunes. Certaines plateformes, comme Instagram ou TikTok, limitent ainsi les fonctionnalités des comptes créés par les mineurs, qui sont notamment paramétrés par défaut comme « privés », c’est-à-dire dont le contenu n’est accessible qu’aux personnes acceptées par l’utilisateur.

Les grandes plateformes assurent également utiliser toute une série d’outils automatisés pour détecter les internautes qui mentent sur leur âge lors de leur inscription. En avril, Meta – maison mère d’Instagram – a ainsi annoncé son intention de tester aux Etats-Unis l’utilisation de l’intelligence artificielle pour repérer les profils des jeunes s’étant fait passer pour des adultes afin de les basculer automatiquement en « comptes adolescents ».

La plupart des réseaux sociaux arguent toutefois que la responsabilité du contrôle ne devrait pas leur échoir, mais être confiée aux opérateurs téléphoniques ainsi qu’à Apple et à Google. Ce sont ces deux entreprises qui gèrent les magasins d’applications et sont plus à même, selon les grandes plateformes, de contrôler facilement l’âge des utilisateurs. »

Certains États américains ont également commencé à introduire des législations pour restreindre l’accès à certains sites, notamment pornographiques, aux mineurs, rappelait Le Monde. Les lois de l’Utah et du Texas sont particulièrement contraignante, rappelle la chercheuse Meg Leta Jones pour Tech Policy Press : elles demandent de vérifier l’âge de tous les utilisateurs et les classent en quatre catégories : enfant (moins de 13 ans), jeune adolescent (13-15 ans), adolescent plus âgé (16-17 ans) et adulte (18 ans et plus). « Les deux lois exigent des plateformes d’applications : (1) qu’elles vérifient l’âge des utilisateurs lors de leur inscription par des « méthodes commercialement raisonnables » (par exemple, pièce d’identité, carte de crédit, lecture biométrique), (2) qu’elles relient les comptes des enfants à ceux de leurs parents, (3) qu’elles obtiennent l’autorisation des parents avant que les enfants puissent télécharger des applications ou effectuer des achats, (4) qu’elles indiquent aux développeurs d’applications l’âge de chaque utilisateur et si les parents ont donné leur autorisation, (5) qu’elles informent les parents des modifications importantes apportées aux applications (comme une nouvelle collecte de données) et qu’elles obtiennent à nouveau leur autorisation, et (6) qu’elles transmettent les informations relatives à l’âge aux développeurs de manière sécurisée et chiffrée ». Des mesures qui devraient permettre à l’Etat de poursuivre ceux qui ne les mettraient pas en œuvre au motif de pratiques commerciales trompeuses en vertu de la loi sur la protection des consommateurs et aux parents de porter plainte directement contre les applications et les boutiques d’applications. 

La loi Californienne, elle, privilégie l’auto-déclaration de l’âge (sans vérification d’exactitude). « La Californie exige : (1) un écran simple lors de la configuration de l’appareil demandant aux utilisateurs de saisir leur âge ou leur date de naissance ; (2) que le système d’exploitation partage automatiquement cette information d’âge avec les applications lors de leur téléchargement ; et (3) que les boutiques d’applications obtiennent l’autorisation parentale avant que les enfants de moins de 16 ans puissent télécharger des applications ». Ces différences permettent de comprendre pourquoi Google a soutenu le projet Californien et s’oppose aux projets du Texas et de l’Utah, explique la chercheuse Meg Leta Jones. Au Texas, les géants du web s’opposent à une loi imposant la vérification d’âge sur les magasins d’application d’Apple et Google, au prétexte de la liberté. Facebook soutient pourtant l’obligation faite aux magasins d’applications de procéder aux vérifications d’âge, afin de ne pas avoir à le faire lui-même. Pornhub également. La loi sur la responsabilité des App Stores (App Store Accountability Act) en discussion au Congrès vise pourtant à étendre l’approche de l’Utah et du Texas, mais en plaçant son respect sous la responsabilité de la Commission fédérale du commerce afin d’éliminer les recours privés de parents contre des applications qui ne se conformeraient pas à la législation. Le projet de loi fédéral permettrait d’harmoniser les modalités de contrôle d’âge aux Etats-Unis, explique The Verge. 

Pour l’instant, la vérification d’âge avance donc en ordre dispersé et tente de faire peser des obligations à certains acteurs plus qu’à d’autres. Plutôt que d’être organisée dès l’achat d’appareil ou la création de comptes, elle a tendance à se propager partout, pour mieux exercer son carcan et éliminer ses failles – quand on pourrait peut-être chercher plutôt à faire progresser globalement les limites d’accès, plutôt que de les imposer partout et penser qu’elles doivent être sans failles. Enfin, la vérification d’âge ne vient pas seule, notamment aux Etats-Unis, où elle se raffine d’un droit de regard renforcé des parents sur les téléphones de leurs enfants, notamment avec le développement du contrôle parental.. 

Vers un nouvel internet : le contrôle identitaire et moral généralisé 

Pour Wired, nous franchissons une nouvelle étape dans l’ère d’un internet de plus en plus contrôlé, qui pourrait mettre fin à l’anonymat en ligne, comme l’explique Riana Pfefferkorn, chercheuse en politiques publiques à l’Université de Stanford. « Si les gens choisissent de ne pas se connecter [aux moteurs de recherche] pour éviter les contrôles d’âge, cela pourrait avoir un impact considérable sur les méthodes de recherche d’informations en ligne, rationalisées et intégrées », explique Lisa Given, professeure de sciences de l’information à l’Université RMIT en Australie. Pour Riana Pfefferkorn de Stanford : « En fin de compte, la technologie de vérification de l’âge présente un risque pour les enfants qu’elle est censée protéger. Elle entrave leur accès à l’information et peut les exposer à des risques de violation de la vie privée, d’usurpation d’identité et d’autres problèmes de sécurité. » Pour Emanuel Maiberg et Samantha Cole de 404media, les techniques de vérification d’âge s’apprêtent à « refondre en profondeur de l’infrastructure d’Internet ». Pornhub est pourtant, scandale après scandale, bien plus modéré qu’il n’a jamais été. Le risque que fait introduire la vérification d’âge est celui d’un développement de « sites qui ne tiennent aucun compte de la loi et où certains des contenus les plus nocifs disponibles en ligne leur sont activement proposés ». Au Texas, où Pornhub est désormais bloqué, c’est Xvideos qui s’impose désormais et d’autres sites hébergés dans des pays bien moins regardant, avec des contenus plus problématiques encore. Ce que proposent les lois de vérification d’âge, c’est de « ré-embrayer sur le piratage », estiment les journalistes de 404media, c’est-à-dire que le renforcement des règles risque surtout d’assombrir les pratiques faisant naître des galaxies de sites qu’il sera plus difficile de réguler, comme la lutte contre le piratage a contribué à l’exacerber. 

Dans le nouvel internet qu’introduit la vérification d’âge, l’enjeu n’est pas seulement qu’il va être pénible de devoir s’identifier partout en activant la vérification d’âge localement, mais bien plus qu’il n’y aura plus d’internet sans identification. Le mouvement, déjà largement amorcé partout par l’authentification généralisée ne va faire que se renforcer en tentant de réduire toujours plus les espaces de liberté. Au final, la vérification d’âge va surtout renforcer les grands acteurs, ceux seuls à même de développer ces technologies de contrôle. 

Reste à savoir si la vérification d’âge nous promet un internet plus sécurisé et plus sûr ? Cela risque d’être le cas pour les mineurs effectivement, qui partout autour du monde risquent d’avoir de moins en moins accès à internet et moins accès à l’information quelles que soient ses qualités. Mais, la vérification d’âge ne promet pas une amélioration de la protection pour tous, au contraire. Elle va surtout permettre d’ouvrir les vannes des machines pour tous les majeurs. Elle risque surtout de renforcer la modération pour les plus jeunes et de l’arrêter pour tous les autres. C’est ainsi qu’il faut lire les annonces d’OpenAI à permettre à ses chatbots de produire des contenus érotiques. C’est le sens qu’il faut d’ailleurs donner à un autre projet de loi américain, dénoncé par l’EFF, la loi GUARD, qui oblige à un contrôle d’âge qui s’imposerait à tous les chatbots d’IA destinés au public.Si l’accès aux chatbots va se fermer pour les mineurs, la crise des chatbots compagnons, elle, risque surtout de se résoudre par son accélération. 

Ce que promet la vérification d’âge, finalement, c’est un internet fermé aux enfants et aux adolescents et un internet beaucoup moins sûr pour tous les autres. Un peu comme si on concentrait la régulation sur le seul principe de l’âge et de la responsabilité individuelle. En fait, il est probable que ces lois renforcent encore le peu de prise qu’ont les utilisateurs sur les politiques de modération « unilatérales décidées par les plateformes », comme l’expliquait  le chercheur Tarleton Gillespie dans son livre, Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit – voir notre recension). 

Comme si tous les autres types d’intervention n’avaient pas d’importance. danah boyd ne disait pas autre chose : les projets de lois visant à exclure les plus jeunes des réseaux sociaux ne proposent de mettre en place aucune ceinture de sécurité, mais seulement de ne pas les accueillir dans les véhicules au risque qu’ils ne puissent plus se déplacer. « Les enfants regardent leurs parents plongés toute la journée sur leur téléphones et on est en train de leur dire qu’ils ne pourront y avoir accès avant 18 ans ! En fait, on fait tout pour ne pas interroger les processus de socialisation et leurs limites ». Nous mettons en place un solutionnisme techno-légal. « Le cadre réglementaire n’énonce pas d’exigences de conception spécifiques que les plateformes devraient éviter et n’observent que les résultats qu’elles doivent atteindre ». Le risque enfin, c’est qu’au prétexte du contrôle, nous enterrions toutes les autres modalités politiques, allant de l’éducation à la conception des plateformes. Avec la vérification d’âge, on propose finalement aux géants de concentrer leur modération sur l’exclusion des mineurs, au détriment de toute autre politique. 

Hubert Guillaud

Doge : la fin du cloisonnement des données

A l’heure où, aux Etats-Unis, le FBI, les services d’immigration et de police se mettent à poursuivre les ressortissants étrangers pour les reconduire aux frontières, sur Tech Policy Press, l’activiste Dia Kayyali rappelle que les Etats-Unis ont une longue histoire de chasse aux opposants politiques et aux étrangers. Du MacCarthysme au 11 septembre, les crises politiques ont toujours renforcé la surveillance des citoyens et plus encore des ressortissants d’origine étrangère. Le Brennan Center for Justice a publié en 2022 un rapport sur la montée de l’utilisation des réseaux sociaux dans ces activités de surveillance et rappelle que ceux-ci sont massivement mobilisés pour la surveillance des opposants politiques, notamment depuis Occupy et depuis 2014 pour le contrôle des demandes d’immigration et les contrôles aux frontières, rappelle The Verge. 

Le premier projet de loi du second mandat de Donald Trump était un texte concernant l’immigration clandestine, nous rappelle Le Monde. C’est un texte qui propose la détention automatique par les forces de l’ordre fédérales de migrants en situation irrégulière qui ont été accusés, condamnés ou inculpés pour certains délits, mêmes mineurs, comme le vol à l’étalage. 

La lutte contre l’immigration est au cœur de la politique du président américain, qui dénonce une “invasion” et annonce vouloir déporter 11 millions d’immigrants illégaux, au risque que le tissu social des Etats-Unis, nation d’immigrants, se déchire, rappelait The Guardian. Dès janvier, l’administration Trump a mis fin à l’application CBP One, seule voie pour les demandeurs d’asile désirant entrer légalement sur le territoire des Etats-Unis pour prendre rendez-vous avec l’administration douanière américaine et régulariser leur situation. La suppression unilatérale de l’application a laissé tous les demandeurs d’asile en attente d’un rendez-vous sans recours, rapportait Le Monde. 

Une opération de fusion des informations sans précédent

Cette politique est en train de s’accélérer, notamment en mobilisant toutes les données numériques à sa disposition, rapporte Wired. Le Doge est en train de construire une base de données dédiée aux étrangers, collectant les données de plusieurs administrations, afin de créer un outil de surveillance d’une portée sans précédent. L’enjeu est de recouper toutes les données disponibles, non seulement pour mieux caractériser les situations des étrangers en situation régulière comme irrégulière, mais également les géolocaliser afin d’aider les services de police chargés des arrestations et de la déportation, d’opérer. 

Jusqu’à présent, il existait d’innombrables bases de données disparates entre les différentes agences et au sein des agences. Si certaines pouvaient être partagées, à des fins policières, celles-ci n’ont jamais été regroupées par défaut, parce qu’elles sont souvent utilisées à des fins spécifiques. Le service de l’immigration et des douanes (ICE, Immigration and Customs Enforcement) et le département d’investigation de la sécurité intérieure (HSI, Homeland Security Investigations), par exemple, sont des organismes chargés de l’application de la loi et ont parfois besoin d’ordonnances du tribunal pour accéder aux informations sur un individu dans le cadre d’enquêtes criminelles, tandis que le service de citoyenneté et d’immigration des États-Unis (USCIS, United States Citizenship and Immigration Services) des États-Unis collecte des informations sensibles dans le cadre de la délivrance régulière de visas et de cartes vertes. 

Des agents du Doge ont obtenu l’accès aux systèmes de l’USCIS. Ces bases de données  contiennent des informations sur les réfugiés et les demandeurs d’asile, des données sur les titulaires de cartes vertes, les citoyens américains naturalisés et les bénéficiaires du programme d’action différée pour les arrivées d’enfants. Le Doge souhaite également télécharger des informations depuis les bases de données de myUSCIS, le portail en ligne où les immigrants peuvent déposer des demandes, communiquer avec l’USCIS, consulter l’historique de leurs demandes et répondre aux demandes de preuves à l’appui de leur dossier. Associées aux informations d’adresse IP des personnes qui consultent leurs données, elles pourraient servir à géolocaliser les immigrants. 

Le département de sécurité intérieur (DHS, Department of Homeland Security) dont dépendent certaines de ces agences a toujours été très prudent en matière de partage de données. Ce n’est plus le cas. Le 20 mars, le président Trump a d’ailleurs signé un décret exigeant que toutes les agences fédérales facilitent « le partage intra- et inter-agences et la consolidation des dossiers non classifiés des agences », afin d’entériner la politique de récupération de données tout azimut du Doge. Jusqu’à présent, il était historiquement « extrêmement difficile » d’accéder aux données que le DHS possédait déjà dans ses différents départements. L’agrégation de toutes les données disponibles « représenterait une rupture significative dans les normes et les politiques en matière de données », rappelle un expert. Les agents du Doge ont eu accès à d’innombrables bases, comme à Save, un système de l’USCIS permettant aux administrations locales et étatiques, ainsi qu’au gouvernement fédéral, de vérifier le statut d’immigration d’une personne. Le Doge a également eu accès à des données de la sécurité sociale et des impôts pour recouper toutes les informations disponibles. 

Le problème, c’est que la surveillance et la protection des données est également rendue plus difficile. Les coupes budgétaires et les licenciements ont affecté trois services clés qui constituaient des garde-fous importants contre l’utilisation abusive des données par les services fédéraux, à savoir le Bureau des droits civils et des libertés civiles (CRCL, Office for Civil Rights and Civil Liberties), le Bureau du médiateur chargé de la détention des immigrants et le Bureau du médiateur des services de citoyenneté et d’immigration. Le CRCL, qui enquête sur d’éventuelles violations des droits de l’homme par le DHS et dont la création a été mandatée par le Congrès est depuis longtemps dans le collimateur du Doge. 

Le 5 avril, le DHS a conclu un accord avec les services fiscaux (IRS) pour utiliser les données fiscales. Plus de sept millions de migrants travaillent et vivent aux États-Unis. L’ICE a également récemment versé des millions de dollars à l’entreprise privée Palantir pour mettre à jour et modifier une base de données de l’ICE destinée à traquer les immigrants, a rapporté 404 Media. Le Washington Post a rapporté également que des représentants de Doge au sein d’agences gouvernementales – du Département du Logement et du Développement urbain à l’Administration de la Sécurité sociale – utilisent des données habituellement confidentielles pour identifier les immigrants sans papiers. Selon Wired, au Département du Travail, le Doge a obtenu l’accès à des données sensibles sur les immigrants et les ouvriers agricoles. La fusion de toutes les données entre elles pour permettre un accès panoptique aux informations est depuis l’origine le projet même du ministère de l’efficacité américain, qui espère que l’IA va lui permettre de rendre le traitement omniscient. 

Le changement de finalités de la collecte de données, moteur d’une défiance généralisée

L’administration des impôts a donc accepté un accord de partage d’information et de données avec les services d’immigration, rapporte la NPR, permettant aux agents de l’immigration de demander des informations sur les immigrants faisant l’objet d’une ordonnance d’expulsion. Derrière ce qui paraît comme un simple accès à des données, il faut voir un changement majeur dans l’utilisation des dossiers fiscaux. Les modalités de ce partage d’information ne sont pas claires puisque la communication du cadre de partage a été expurgée de très nombreuses informations. Pour Murad Awawdeh, responsable de la New York Immigration Coalition, ce partage risque d’instaurer un haut niveau de défiance à respecter ses obligations fiscales, alors que les immigrants paient des impôts comme les autres et que les services fiscaux assuraient jusqu’à présent aux contribuables sans papiers la confidentialité de leurs informations et la sécurité de leur déclaration de revenus.

La NPR revient également sur un autre changement de finalité, particulièrement problématique : celle de l’application CBP One. Cette application lancée en 2020 par l’administration Biden visait à permettre aux immigrants de faire une demande d’asile avant de pénétrer aux Etats-Unis. Avec l’arrivée de l’administration Trump, les immigrants qui ont candidaté à une demande d’asile ont reçu une notification les enjoignants à quitter les Etats-Unis et les données de l’application ont été partagées avec les services de police pour localiser les demandeurs d’asile et les arrêter pour les reconduire aux frontières. Pour le dire simplement : une application de demande d’asile est désormais utilisée par les services de police pour identifier ces mêmes demandeurs et les expulser. Les finalités sociales sont transformées en finalités policières. La confidentialité même des données est détruite.

CBP One n’est pas la seule application dont la finalité a été modifiée. Une belle enquête du New York Times évoque une application administrée par Geo Group, l’un des principaux gestionnaires privés de centres pénitentiaires et d’établissements psychiatriques aux Etats-Unis. Une application que des étrangers doivent utiliser pour se localiser et s’identifier régulièrement, à la manière d’un bracelet électronique. Récemment, des utilisateurs de cette application ont été convoqués à un centre d’immigration pour mise à jour de l’application. En fait, ils ont été arrêtés. 

Geo Group a développé une activité lucrative d’applications et de bracelets électroniques pour surveiller les immigrants pour le compte du gouvernement fédéral qui ont tous été mis au service des procédures d’expulsion lancées par l’administration Trump, constatent nombre d’associations d’aides aux étrangers. “Alors même que M. Trump réduit les dépenses du gouvernement fédéral, ses agences ont attribué à Geo Group de nouveaux contrats fédéraux pour héberger des immigrants sans papiers. Le DHS envisage également de renouveler un contrat de longue date avec l’entreprise – d’une valeur d’environ 350 millions de dollars l’an dernier – pour suivre les quelque 180 000 personnes actuellement sous surveillance”. Ce programme “d’alternative à la détention en centre de rétention » que Noor Zafar, avocate principale à l’American Civil Liberties Union, estime relever plutôt d’une “extension à la détention”, consiste en des applications et bracelets électroniques. Les programmes de Geo Group, coûteux, n’ont pas été ouverts à la concurrence, rapporte le New York Times, qui explique également que ses programmes sont en plein boom. Ces applications permettent aux employés de Geo Group de savoir en temps réel où se trouvent leurs porteurs, leur permettent de délimiter des zones dont ils ne peuvent pas sortir sans déclencher des alertes. 

Une confiance impossible !

Ces exemples américains de changement de finalités sont emblématiques et profondément problématiques. Ils ne se posent pourtant pas que de l’autre côté de l’Atlantique. Utiliser des données produites dans un contexte pour d’autres enjeux et d’autres contextes est au cœur des fonctionnements des systèmes numériques, comme nous l’avions vu à l’époque du Covid. Les finalités des traitements des services numériques qu’on utilise sont rarement claires, notamment parce qu’elles peuvent être mises à jour unilatéralement et ce, sans garantie. Et le changement de finalité peut intervenir à tout moment, quelque soit l’application que vous utilisez. Remplir un simple questionnaire d’évaluation peut finalement, demain, être utilisé par le service qui le conçoit ou d’autres pour une toute autre finalité, et notamment pour réduire les droits des utilisateurs qui y ont répondu. Répondre à un questionnaire de satisfaction de votre banque ou d’un service public, qui semble anodin, peut divulguer des données qui seront utilisées pour d’autres enjeux. Sans renforcer la protection absolue des données, le risque est que ces exemples démultiplient la méfiance voire le rejet des citoyens et des administrés. A quoi va être utilisé le questionnaire qu’on me propose ? Pourra-t-il être utilisé contre moi ? Qu’est-ce qui me garantie qu’il ne le sera pas ? 

La confiance dans l’utilisation qui est faite des données par les services, est en train d’être profondément remise en question par l’exemple américain et pourrait avoir des répercussions sur tous les services numériques, bien au-delà des Etats-Unis. La spécialiste de la sécurité informatique, Susan Landau, nous l’avait pourtant rappelé quand elle avait étudié les défaillances des applications de suivi de contact durant la pandémie : la confidentialité est toujours critique. Elle parlait bien sûr des données de santé des gens, mais on comprend qu’assurer la confidentialité des données personnelles que les autorités détiennent sur les gens est tout aussi critique. Les défaillances de confidentialité sapent la confiance des autorités qui sont censées pourtant être les premières garantes des données personnelles des citoyens. 

Aurait-on oublié pourquoi les données sont cloisonnées ?

« Ces systèmes sont cloisonnés pour une raison », rappelle Victoria Noble, avocate à l’Electronic Frontier Foundation. « Lorsque vous centralisez toutes les données d’une agence dans un référentiel central accessible à tous les membres de l’agence, voire à d’autres agences, vous augmentez considérablement le risque que ces informations soient consultées par des personnes qui n’en ont pas besoin et qui les utilisent à des fins inappropriées ou répressives, pour les instrumentaliser, les utiliser contre des personnes qu’elles détestent, des dissidents, surveiller des immigrants ou d’autres groupes. »

« La principale inquiétude désormais est la création d’une base de données fédérale unique contenant tout ce que le gouvernement sait sur chaque personne de ce pays », estime Cody Venzke de l’Union américaine pour les libertés civiles (ACLU). « Ce que nous voyons est probablement la première étape vers la création d’un dossier centralisé sur chaque habitant.» Wired rapporte d’ailleurs que l’ACLU a déposé plainte contre l’Administration de la Sécurité Sociale (SSA) et le Département des Anciens Combattants (VA) qui ont ouvert des accès de données sensibles au Doge en violation de la loi sur la liberté d’information, après en avoir déjà déposé une en février contre le Trésor américain pour les mêmes raisons (alors que ce n’est pas nécessairement la seule manière de procéder. Confronté aux demandes du Doge, le régulateur des marchés financiers américains, rapporte Reuters, a pour l’instant pu créer une équipe de liaison spécifique pour répondre aux demandes d’information du Doge, afin que ses équipes n’aient pas accès aux données de l’autorité des marchés financiers). 

En déposant plainte, l’ACLU cherche notamment à obtenir des documents pour saisir exactement ce à quoi a accès le Doge. “Les Américains méritent de savoir qui a accès à leurs numéros de sécurité sociale, à leurs informations bancaires et à leurs dossiers médicaux”, explique une avocate de l’ACLU. 

Le cloisonnement des données, des bases, selon leurs finalités et les agences qui les administrent, est un moyen non seulement d’en préserver l’intégrité, mais également d’en assurer la sécurité et la confidentialité. Ce sont ces verrous qui sont en train de sauter dans toutes les administrations sous la pression du Doge, posant des questions de sécurité inédites, comme nous nous en inquiétons avec Jean Cattan dans une lettre du Conseil national du numérique. Ce sont les mesures de protection d’une démocratie numérique qui sont en train de voler en éclat. 

Pour Wired, Brian Barrett estime que les données qu’agrège le Doge ne sont pas tant un outil pour produire une hypothétique efficacité, qu’une arme au service des autorités. La question de l’immigration n’est qu’un terrain d’application parmi d’autres. La brutalité qui s’abat sur les étrangers, les plus vulnérables, les plus démunis, est bien souvent une préfiguration de son extension à toutes les autres populations, nous disait le philosophe Achille Mbembe dans Brutalisme. 

Et maintenant que les croisements de données sont opérationnels, que les données ont été récupérées par les équipes du Doge, l’enjeu va être de les faire parler, de les mettre en pratique. 

Finalement, le départ annoncé ou probable de Musk de son poste en première ligne du Doge ne signe certainement pas la fin de cette politique, toute impopulaire qu’elle soit (enfin, Musk est bien plus impopulaire que les économies dans les services publics qu’il propose), mais au contraire, le passage à une autre phase. Le Doge a pris le contrôle, et il s’agit désormais de rendre les données productives. L’efficacité n’est plus de réduire les dépenses publiques de 2 000 milliards de dollars, comme le promettait Musk à son arrivée. Il a lui-même reconnu qu’il ne visait plus que 150 milliards de dollars de coupe en 2025, soit 15 % de l’objectif initial, comme le soulignait Le Monde. Mais le débat sur les coupes et l’efficacité, sont d’abord un quolifichet qu’on agite pour détourner l’attention de ce qui se déroule vraiment, à savoir la fin de la vie privée aux Etats-Unis. En fait, la politique initiée par le Doge ne s’arrêtera pas avec le retrait probable de Musk. IL n’en a été que le catalyseur.

Elizabeth Lopatto pour The Verge explique elle aussi que l’ère du Doge ne fait que commencer. Malgré ses échecs patents et l’explosion des plaintes judiciaires à son encontre (Bloomberg a dénombré plus de 300 actions en justice contre les décisions prises par le président Trump : dans 128 affaires, ils ont suspendu les décisions de l’administration Trump). Pour elle, Musk ne va pas moins s’immiscer dans la politique publique. Son implication risque surtout d’être moins publique et moins visible dans ses ingérences, afin de préserver son égo et surtout son portefeuille. Mais surtout, estime-t-elle, les tribunaux ne sauveront pas les Américains des actions du Doge, notamment parce que dans la plupart des cas, les décisions tardent à être prises et à être effectives. Pourtant, si les tribunaux étaient favorables à « l’élimination de la fraude et des abus », comme le dit Musk – à ce stade, ils devraient surtout œuvrer à “éliminer le Doge” !

Ce n’est malgré tout pas la direction qui est prise, au contraire. Même si Musk s’en retire, l’administration continue à renforcer le pouvoir du Doge qu’à l’éteindre. C’est ainsi qu’il faut lire le récent hackathon aux services fiscaux ou le projet qui s’esquisse avec Palantir. L’ICE, sous la coupe du Doge, vient de demander à Palantir, la sulfureuse entreprise de Thiel, de construire une plateforme dédiée, explique Wired : “ImmigrationOS”, « le système d’exploitation de l’immigration » (sic). Un outil pour “choisir les personnes à expulser”, en accordant une priorité particulière aux personnes dont le visa est dépassé qui doivent, selon la demande de l’administration, prendre leurs dispositions pour “s’expulser elles-mêmes des Etats-Unis”. L’outil qui doit être livré en septembre a pour fonction de cibler et prioriser les mesures d’application, c’est-à-dire d’aider à sélectionner les étrangers en situation irrégulière, les localiser pour les arrêter. Il doit permettre de suivre que les étrangers en situation irrégulière prennent bien leur disposition pour quitter les Etats-Unis, afin de mesurer la réalité des départs, et venir renforcer les efforts des polices locales, bras armées des mesures de déportation, comme le pointait The Markup. 

De ImmigrationOS au panoptique américain : le démantèlement des mesures de protection de la vie privée

Dans un article pour Gizmodo qui donne la parole à nombre d’opposants à la politique de destructions des silos de données, plusieurs rappellent les propos du sénateur démocrate Sam Ervin, auteur de la loi sur la protection des informations personnelles suite au scandale du Watergate, qui redoutait le caractère totalitaire des informations gouvernementales sur les citoyens. Pour Victoria Noble de l’Electronic Frontier Foundation, ce contrôle pourrait conduire les autorités à « exercer des représailles contre les critiques adressées aux représentants du gouvernement, à affaiblir les opposants politiques ou les ennemis personnels perçus, et à cibler les groupes marginalisés. » N’oubliez pas qu’il s’agit du même président qui a qualifié d’« ennemis » les agents électoraux, les journalistes, les juges et, en fait, toute personne en désaccord avec lui. Selon Reuters, le Doge a déjà utilisé l’IA pour détecter les cas de déloyauté parmi les fonctionnaires fédéraux. Pour les défenseurs des libertés et de la confidentialité, il est encore temps de renforcer les protections citoyennes. Et de rappeler que le passage de la sûreté à la sécurité, de la défense contre l’arbitraire à la défense de l’arbitraire, vient de ce que les élus ont passé bien plus d’énergie à légiférer pour la surveillance qu’à établir des garde-fous contre celle-ci, autorisant toujours plus de dérives, comme d’autoriser la surveillance des individus sans mandats de justice.

Pour The Atlantic, Ian Bogost et Charlie Warzel estiment que le Doge est en train de construire le panoptique américain. Ils rappellent que l’administration est l’univers de l’information, composée de constellations de bases de données. Des impôts au travail, toutes les administrations collectent et produisent des données sur les Américains, et notamment des données particulièrement sensibles et personnelles. Jusqu’à présent, de vieilles lois et des normes fragiles ont empêché que les dépôts de données ne soient regroupés. Mais le Doge vient de faire voler cela en éclat, préparant la construction d’un Etat de surveillance centralisé. En mars, le président Trump a publié un décret visant à éliminer les silos de données qui maintiennent les informations séparément. 

Dans leur article, Bogost et Warzel listent d’innombrables bases de données maintenues par des agences administratives : bases de données de revenus, bases de données sur les lanceurs d’alerte, bases de données sur la santé mentale d’anciens militaires… L’IA promet de transformer ces masses de données en outils “consultables, exploitables et rentables”. Mais surtout croisables, interconnectables. Les entreprises bénéficiant de prêts fédéraux et qui ont du mal à rembourser, pourraient désormais être punies au-delà de ce qui est possible, par la révocation de leurs licences, le gel des aides ou de leurs comptes bancaires. Une forme d’application universelle permettant de tout croiser et de tout inter-relier. Elles pourraient permettre de cibler la population en fonction d’attributs spécifiques. L’utilisation actuelle par le gouvernement de ces données pour expulser des étrangers, et son refus de fournir des preuves d’actes répréhensibles reprochées à certaines personnes expulsées, suggère que l’administration a déjà franchi la ligne rouge de l’utilisation des données à des fins politiques. 

Le Doge ne se contente pas de démanteler les mesures de protection de la vie privée, il ignore qu’elles ont été rédigées. Beaucoup de bases ont été conçues sans interconnectivité par conception, pour protéger la vie privée. “Dans les cas où le partage d’informations ou de données est nécessaire, la loi sur la protection de la vie privée de 1974 exige un accord de correspondance informatique (Computer Matching Agreement, CMA), un contrat écrit qui définit les conditions de ce partage et assure la protection des informations personnelles. Un CMA est « un véritable casse-tête », explique un fonctionnaire, et constitue l’un des moyens utilisés par le gouvernement pour décourager l’échange d’informations comme mode de fonctionnement par défaut”. 

La centralisation des données pourrait peut-être permettre d’améliorer l’efficacité gouvernementale, disent bien trop rapidement Bogost et Warzel, alors que rien ne prouve que ces croisements de données produiront autre chose qu’une discrimination toujours plus étendue car parfaitement granulaire. La protection de la vie privée vise à limiter les abus de pouvoir, notamment pour protéger les citoyens de mesures de surveillance illégales du gouvernement. 

Derrière les bases de données, rappellent encore les deux journalistes, les données ne sont pas toujours ce que l’on imagine. Toutes les données de ces bases ne sont pas nécessairement numérisées. Les faire parler et les croiser ne sera pas si simple. Mais le Doge a eu accès à des informations inédites. “Ce que nous ignorons, c’est ce qu’ils ont copié, exfiltré ou emporté avec eux”. 

“Doge constitue l’aboutissement logique du mouvement Big Data” : les données sont un actif. Les collecter et les croiser est un moyen de leur donner de la valeur. Nous sommes en train de passer d’une administration pour servir les citoyens à une administration pour les exploiter, suggèrent certains agents publics. Ce renversement de perspective “correspond parfaitement à l’éthique transactionnelle de Trump”. Ce ne sont plus les intérêts des américains qui sont au centre de l’équation, mais ceux des intérêts commerciaux des services privés, des intérêts des amis et alliés de Trump et Musk.

La menace totalitaire de l’accaparement des données personnelles gouvernementales

C’est la même inquiétude qu’exprime la politiste Allison Stanger dans un article pour The Conversation, qui rappelle que l’accès aux données gouvernementales n’a rien à voir avec les données personnelles que collectent les entreprises privées. Les référentiels gouvernementaux sont des enregistrements vérifiés du comportement humain réel de populations entières. « Les publications sur les réseaux sociaux et les historiques de navigation web révèlent des comportements ciblés ou intentionnels, tandis que les bases de données gouvernementales capturent les décisions réelles et leurs conséquences. Par exemple, les dossiers Medicare révèlent les choix et les résultats en matière de soins de santé. Les données de l’IRS et du Trésor révèlent les décisions financières et leurs impacts à long terme. Les statistiques fédérales sur l’emploi et l’éducation révèlent les parcours scolaires et les trajectoires professionnelles. » Ces données là, capturées pour faire tourner et entraîner des IA sont à la fois longitudinales et fiables. « Chaque versement de la Sécurité sociale, chaque demande de remboursement Medicare et chaque subvention fédérale constituent un point de données vérifié sur les comportements réels. Ces données n’existent nulle part ailleurs aux États-Unis avec une telle ampleur et une telle authenticité. » « Les bases de données gouvernementales suivent des populations entières au fil du temps, et pas seulement les utilisateurs actifs en ligne. Elles incluent les personnes qui n’utilisent jamais les réseaux sociaux, n’achètent pas en ligne ou évitent activement les services numériques. Pour une entreprise d’IA, cela impliquerait de former les systèmes à la diversité réelle de l’expérience humaine, plutôt qu’aux simples reflets numériques que les gens projettent en ligne.«  A terme, explique Stanger, ce n’est pas la même IA à laquelle nous serions confrontés. « Imaginez entraîner un système d’IA non seulement sur les opinions concernant les soins de santé, mais aussi sur les résultats réels des traitements de millions de patients. Imaginez la différence entre tirer des enseignements des discussions sur les réseaux sociaux concernant les politiques économiques et analyser leurs impacts réels sur différentes communautés et groupes démographiques sur des décennies ». Pour une entreprise développant des IA, l’accès à ces données constituerait un avantage quasi insurmontable. « Un modèle d’IA, entraîné à partir de ces données gouvernementales pourrait identifier les schémas thérapeutiques qui réussissent là où d’autres échouent, et ainsi dominer le secteur de la santé. Un tel modèle pourrait comprendre comment différentes interventions affectent différentes populations au fil du temps, en tenant compte de facteurs tels que la localisation géographique, le statut socio-économique et les pathologies concomitantes. » Une entreprise d’IA qui aurait accès aux données fiscales, pourrait « développer des capacités exceptionnelles de prévision économique et de prévision des marchés. Elle pourrait modéliser les effets en cascade des changements réglementaires, prédire les vulnérabilités économiques avant qu’elles ne se transforment en crises et optimiser les stratégies d’investissement avec une précision impossible à atteindre avec les méthodes traditionnelles ». Explique Stanger, en étant peut-être un peu trop dithyrambique sur les potentialités de l’IA, quand rien ne prouve qu’elles puissent faire mieux que nos approches plus classiques. Pour Stanger, la menace de l’accès aux données gouvernementales par une entreprise privée transcende les préoccupations relatives à la vie privée des individus. Nous deviendrons des sujets numériques plutôt que des citoyens, prédit-elle. Les données absolues corrompt absolument, rappelle Stanger. Oubliant peut-être un peu rapidement que ce pouvoir totalitaire est une menace non seulement si une entreprise privée se l’accapare, mais également si un Etat le déploie. La menace d’un Etat totalitaire par le croisement de toutes les données ne réside pas seulement par l’accaparement de cette puissance au profit d’une entreprise, comme celles de Musk, mais également au profit d’un Etat. 

Nombre de citoyens étaient déjà résignés face à l’accumulation de données du secteur privé, face à leur exploitation sans leur consentement, concluent Bogost et Warzel. L’idée que le gouvernement cède à son tour ses données à des fins privées est scandaleuse, mais est finalement prévisible. La surveillance privée comme publique n’a cessé de se développer et de se renforcer. La rupture du barrage, la levée des barrières morales, limitant la possibilité à recouper l’ensemble des données disponibles, n’était peut-être qu’une question de temps. Certes, le pire est désormais devant nous, car cette rupture de barrière morale en annonce d’autres. Dans la kleptocratie des données qui s’est ouverte, celles-ci pourront être utilisées contre chacun, puisqu’elles permettront désormais de trouver une justification rétroactive voire de l’inventer, puisque l’intégrité des bases de données publiques ne saurait plus être garantie. Bogost et Warzel peuvent imaginer des modalités, en fait, désormais, les systèmes n’ont même pas besoin de corréler vos dons à des associations pro-palestiniennes pour vous refuser une demande de prêt ou de subvention. Il suffit de laisser croire que désormais, le croisement de données le permet. 

Pire encore, “les Américains sont tenus de fournir de nombreuses données sensibles au gouvernement, comme des informations sur le divorce d’une personne pour garantir le versement d’une pension alimentaire, ou des dossiers détaillés sur son handicap pour percevoir les prestations d’assurance invalidité de la Sécurité sociale”, rappelle Sarah Esty, ancienne conseillère principale pour la technologie et la prestation de services au ministère américain de la Santé et des Services sociaux. “Ils ont agi ainsi en étant convaincus que le gouvernement protégerait ces données et que seules les personnes autorisées et absolument nécessaires à la prestation des services y auraient accès. Si ces garanties sont violées, ne serait-ce qu’une seule fois, la population perdra confiance dans le gouvernement, ce qui compromettra à jamais sa capacité à gérer ces services”. C’est exactement là où l’Amérique est plongée. Et le risque, devant nous, est que ce qui se passe aux Etats-Unis devienne un modèle pour saper partout les garanties et la protection des données personnelles. 

Hubert Guillaud

Inférences : comment les outils nous voient-ils ?

Comment les systèmes interprètent-ils les images ? Ente, une entreprise qui propose de chiffrer vos images pour les échanger de manière sécurisée sans que personne d’autres que ceux que vous autorisez ne puisse les voir, a utilisé l’API Google Vision pour montrer comment les entreprises infèrent des informations des images. C’est-à-dire comment ils les voient, comment les systèmes automatisés les décrivent. Ils ont mis à disposition un site pour nous expliquer comment « ILS » voient nos photos, qui permet à chacun d’uploader une image et voir comment Google Vision l’interprète. 

Sommes-nous ce que les traitements disent de nous ?

Le procédé rappelle le projet ImageNet Roulette de Kate Crawford et Trevor Paglen, qui renvoyait aux gens les étiquettes stéréotypées dont les premiers systèmes d’intelligence artificielle affublaient les images. Ici, ce ne sont pas seulement des étiquettes dont nous sommes affublés, mais d’innombrables données inférées. Pour chaque image, le système produit des informations sur le genre, l’origine ethnique, la localisation, la religion, le niveau de revenu, les émotions, l’affiliation politique, décrit les habits et les objets, pour en déduire des passe-temps… mais également des éléments de psychologie qui peuvent être utilisés par le marketing, ce qu’on appelle les insights, c’est-à-dire des éléments permettant de caractériser les attentes des consommateurs. Par exemple, sur une des images en démonstration sur le site représentant une famille, le système déduit que les gens priorisent l’esthétique, sont facilement influençables et valorisent la famille. Enfin, l’analyse associe des mots clefs publicitaires comme albums photos personnalisé, produits pour la peau, offre de voyage de luxe, système de sécurité domestique, etc. Ainsi que des marques, qui vont permettre à ces inférences d’être directement opérationnelles (et on peut se demander d’ailleurs, pourquoi certaines plutôt que d’autres, avec le risque que les marques associéées démultiplient les biais, selon leur célébrité ou leur caractère international, comme nous en discutions en évoquant l’optimisation de marques pour les modèles génératifs).

Autant d’inférences probables, possibles ou potentielles capables de produire un profil de données pour chaque image pour leur exploitation marketing.

Comme l’explique le philosophe Rob Horning, non seulement nos images servent à former des modèles de reconnaissance d’image qui intensifient la surveillance, mais chacune d’entre elles produit également des données marketing disponibles pour tous ceux qui souhaitent les acheter, des publicitaires aux agences de renseignement. Le site permet de voir comment des significations sont déduites de nos images. Nos photos, nos souvenirs, sont transformés en opportunités publicitaires, identitaires et consuméristes, façonnées par des logiques purement commerciales (comme Christo Buschek et Jer Thorp nous l’avaient montré de l’analyse des données de Laion 5B). L’inférence produit des opportunités, en ouvre certaines et en bloque d’autres, sur lesquelles nous n’avons pas la main. En nous montrant comment les systèmes interprètent nos images, nous avons un aperçu de ce que, pour les machines, les signifiants signifient.

Mais tout n’est pas parfaitement décodable et traduisible, transparent. Les inférences produites sont orientées : elles ne produisent pas un monde transparent, mais un monde translucide. Le site They see your photos nous montre que les images sont interprétées dans une perspective commerciale et autoritaire, et que les représentations qu’elles produisent supplantent la réalité qu’elles sont censées interpréter. Il nous permet de voir les biais d’interprétation et de nous situer dans ceux-ci ou de nous réidentifier sous leur répétition.

Nous ne sommes pas vraiment la description produite de chacune de ces images. Et pourtant, nous sommes exactement la personne au coeur de ces descriptions. Nous sommes ce que ces descriptions répètent, et en même temps, ce qui est répété ne nous correspond pas toujours ou pas du tout.

Exemples d’intégration d’images personnelles dans TheySeeYourPhotos qui montrent les données qui sont inférées de deux images. Et qui posent la question qui suis-je ? Gagne-je 40 ou 80 000 euros par mois ? Suis-je athée ou chrétien ? Est-ce que je lis des livres d’histoire ou des livres sur l’environnement ? Suis-je écolo ou centriste ? Est-ce que j’aime les chaussures Veja ou les produits L’Oréal ?

Un monde indifférent à la vérité

L’autre démonstration que permet le site, c’est de nous montrer l’évolution des inférences publicitaires automatisées. Ce que montre cet exemple, c’est que l’enjeu de régulation n’est pas de produire de meilleures inférences, mais bien de les contenir, de les réduire – de les faire disparaître voire de les rendre impossibles. Nous sommes désormais coincés dans des systèmes automatisés capables de produire de nous, sur nous, n’importe quoi, sans notre consentement, avec un niveau de détail et de granularité problématique.

Le problème n’est pas l’automatisation publicitaire que ce délire de profilage alimente, mais bien le délire de profilage automatisé qui a été mis en place. Le problème n’est pas la qualité des inférences produites, le fait qu’elles soient vraies ou fausses, mais bien le fait que des inférences soient produites. La prévalence des calculs imposent avec eux leur monde, disions-nous. Ces systèmes sont indifférents à la vérité, expliquait le philosophe Philippe Huneman dans Les sociétés du profilage (Payot, 2023). Ils ne produisent que leur propre renforcement. Les machines produisent leurs propres mèmes publicitaires. D’un portrait, on propose de me vendre du cognac ou des timbres de collection. Mais ce qu’on voit ici n’est pas seulement leurs défaillances que leurs hallucinations, c’est-à-dire leur capacité à produire n’importe quels effets. Nous sommes coincés dans un régime de facticité, comme le dit la philosophe Antoinette Rouvroy, qui finit par produire une vérité de ce qui est faux.

Où est le bouton à cocher pour refuser ce monde ?

Pourtant, l’enjeu n’est pas là. En regardant très concrètement les délires que ces systèmes produisent on se demande surtout comment arrêter ces machines qui ne mènent nulle part ! L’exemple permet de comprendre que l’enjeu n’est pas d’améliorer la transparence ou l’explicabilité des systèmes, ou de faire que ces systèmes soient plus fiables, mais bien de les refuser. Quand on comprend la manière dont une image peut-être interprétée, on comprend que le problème n’est pas ce qui est dit, mais le fait même qu’une interprétation puisse être faite. Peut-on encore espérer un monde où nos photos comme nos mots ne sont tout simplement pas interprétés par des machines ? Et ce alors que la grande interconnexion de celles-ci facilite ce type de production. Ce que nous dit « They see your photos », c’est que pour éviter ce délire, nous n’avons pas d’autres choix que d’augmenter considérablement la confidentialité et le chiffrement de nos échanges. C’est exactement ce que dit Vishnu Mohandas, le développeur de Ente.

Hubert Guillaud

MAJ du 25/03/2025 : Il reste une dernière inconnue dans les catégorisations problématiques que produisent ces outils : c’est que nous n’observons que leurs productions individuelles sur chacune des images que nous leurs soumettons… Mais nous ne voyons pas les catégorisations collectives problématiques qu’ils peuvent produire. Par exemple, combien de profils de femmes sont-ils catalogués comme « faible estime de soi » ? Combien d’hommes catégorisés « impulsifs » ? Combien d’images de personnes passées un certain âge sont-elles caractérisées avec des mots clés, comme « alcool » ? Y’a-t-il des récurrences de termes selon le genre, l’âge putatif, l’origine ou le niveau de revenu estimé ?… Pour le dire autrement, si les biais individuels semblent innombrables, qu’en est-il des biais démographiques, de genre, de classe… que ces outils produisent ? L’exemple permet de comprendre très bien que le problème des biais n’est pas qu’une problème de données et d’entraînement, mais bien de contrôle de ce qui est produit. Ce qui est tout de suite bien plus problématique encore…

Dans les algorithmes bancaires

« Faux positifs » est une série de 3 épisodes de podcasts produits par Algorithm Watch et l’AFP, disponibles en français ou en anglais, et que vous trouverez sur la plupart des plateforme. Cette série pourrait être une enquête anodine et pourtant, c’est l’une des rares de disponible sur le sujet des défaillances des algorithmes bancaires. Les 3 épisodes explorent le problème du debanking ou débancarisation, c’est-à-dire le blocage et la fermeture automatisée de comptes bancaires, sans que vous n’y puissiez rien. Un phénomène qui touche des centaines de milliers de personnes, comme le montre cette grande enquête à travers l’Europe.

Dans les erreurs de la débancarisation

On ne sait pas grand chose des innombrables algorithmes qu’utilisent les banques, rappellent les journalistes de Faux positifs. La débancarisation repose sur des alertes automatisées développées par les banques et leurs prestataires sur les mouvements de comptes et leurs titulaires, mais elles semblent bien souvent mal calibrées. Et sans corrections appropriées, elles débouchent très concrètement sur la fermeture de comptes en banques. Le problème, comme souvent face aux problèmes des systèmes du calcul du social, c’est que les banques ne mettent en place ni garanties ni droits de recours pour ceux dont les comptes sont considérés comme suspects par les systèmes de calculs. Et le problème s’étend à bas bruit, car les clients chassés de leurs banques n’ont pas tendance à en parler.

Ça commence assez simplement par le blocage brutal du compte, racontent ceux qui y ont été confrontés. Impossible alors de pouvoir faire la moindre opération. Les usagers reçoivent un courrier qui leur annonce que leur compte sera clos sous deux mois et qu’ils doivent retirer leurs fonds. Bien souvent, comme dans d’autres problèmes du social, les banques annoncent être en conformité avec la réglementation dans leur décision voire nient le fait que la décision soit automatisée et assurent que la décision finale est toujours prise par un humain, comme l’exige la loi. Rien n’est pourtant moins sûr.

Comme ailleurs, les explications fournies aux usagers sont lacunaires, et elles le sont d’autant plus, que, comme quand on est soupçonné de fraude dans les organismes sociaux, le fait d’être soupçonné de malversation bancaire diminue vos possibilités de recours plutôt qu’elle ne les augmente. Visiblement, expliquent les journalistes, le blocage serait lié à des erreurs dans le questionnaire KYC (Know your customer, système de connaissance client), un questionnaire très exhaustif et intrusif, assorti de pièces justificatives, qui permet de certifier l’identité des clients et leur activité. Bien souvent, les défaillances sont liées au fait que l’activité ou l’identité des clients est mal renseignée. Certaines catégories, comme le fait de pratiquer l’échange de devises, sont considérées comme des activités à haut risques et sont plus susceptibles que d’autres de déclencher des alertes et blocages.

« Les saisines de l’autorité de surveillance des banques pour des plaintes liées à des fermetures de comptes en banques ont quadruplé en Espagne entre 2018 et 2022« , rapporte le pool de journalistes auteurs du podcast. « En novembre 2023, le New York Times a publié une enquête sur le même phénomène et au Royaume-uni, une hausse de 69% des plaintes a été constatée entre 2020 et 2024 par le médiateur des banques. En France, ce sont les associations du culte musulman qui ont tiré la sonnette d’alarme » et alertent sur la discrimination bancaire dont elles sont l’objet. Un tiers de ces associations auraient expérimenté des fermetures de comptes. Les associations cultuelles, les personnalités politiques et les réfugiés politiques semblent faire partie des catégories les plus débancarisées.

En 2024, le problème des associations cultuelles musulmanes n’est toujours pas réglé, confirment les associations, les empêchant de payer leurs loyers ou leurs charges. Ici aussi, les victimes se retrouvent face à un mur, sans recevoir d’explications ou de solutions. Si les banques ont le droit de fermer les comptes inactifs ou à découvert, elles doivent aussi respecter une réglementation très stricte pour lutter contre le blanchiment d’argent ou le financement du terrorisme, et les amendes sont très élevées pour celles qui ne respectent pas ces contraintes. En France, les banques doivent rapporter à Tracfin, la cellule de renseignement financier, les opérations douteuses qu’elles détectent. Les algorithmes bancaires repèrent des opérations sensées correspondre à certaines caractéristiques et seuils, développés par les banques ou des acteurs tiers, aux critères confidentiels. Ces logiciels de surveillance de la clientèle se sont déployés, et avec eux, les « faux positifs », rapportent les journalistes.

A la Banque postale, rapporte un cadre, chaque années, ce sont plusieurs dizaines de milliers d’opérations qui font l’objet d’alertes. Une fois analyse faite, si l’alerte se confirme, l’opération est déclarée à Tracfin, mais 95% des alertes ne débouchent sur aucun signalement. Dans les banques, à Paris, 17 à 20 000 personnes vérifient chaque jour ces alertes. Mais, visiblement, les rapports d’activité suspecte existent et ne sont pas sans conséquence sur les comptes. En fait, contrairement à ce qu’on pourrait penser, les faux positifs visent à surprotéger les banques contre les amendes réglementaires, en démontrant aux régulateurs qu’elles agissent, qu’importe si cette efficacité est très défaillante. Les faux positifs ne sont pas tant des erreurs, qu’un levier pour se prémunir des amendes. Finalement, les banques semblent encouragées à produire des faux positifs pour montrer qu’elles agissent, tous comme les organismes sociaux sont poussés à détecter de la fraude pour atteindre leurs objectifs de contrôle ou les systèmes de contrôle fiscaux automatisés sont poussés à atteindre certains niveaux d’automatisation. Le fait de débrancher des comptes, de soupçonner en masse semble finalement un moyen simple pour montrer qu’on agit. Pour la professeure Mariola Marzouk de Vortex Risk qui a quitté le secteur de la conformité réglementaire des banques, cette conformité est hypocrite et toxique. Les erreurs ne sont pas un bug, elles sont une fonctionnalité, qui protège les banques au détriment des usagers.

Faux positifs, la série de podcast d’Algorithm Watch et de l’AFP.

La débancarisation, outil bien commode de la réduction du risque

Le 2e épisode commence par revenir sur les Panama Papers et les scandales de l’évasion fiscale qui ont obligé les banques à renforcer leurs contrôles. Mais la véritable origine de la surveillance des comptes provient de la lutte contre le trafic de drogue, explique l’avocate Charlotte Gaudin, fondatrice de AML Factory, une entreprise qui aide les entreprises à lutter contre le blanchiment de capitaux et le financement du terrorisme, dans tous les secteurs, des banques, aux assurances, en passant par les notaires et avocats, aux entreprises de cryptomonnaies, qui « ont toutes l’obligation de surveiller leurs clients ». Pour Transparency International, les banques doivent surveiller les dépôts à risques, notamment provenance de pays à risques établis par le GAFI, le Groupe d’action financière, l’organisme mondial de surveillance du blanchiment de capitaux et du financement du terrorisme. Outre, le KYC, la surveillance des clients, il y aussi la surveillance des transactions (KYT, Know your transactions). Le KYC permet de générer un score client. Le KYT lui permet de regarder s’il y a des dépôts d’argents « décorélés de ce que vous êtes sensé gagner tous les mois ». Les dépôts d’espèces sont mécaniquement plus risqués que les dépôts par carte, par exemple. Quand un dépôt d’espèces semble suspect, la banque alerte Tracfin qui estime s’il faut prévenir la justice ou l’administration fiscale. Pour s’éviter des ennuis, la banque peut décider de fermer votre compte, sans avoir le droit de vous dire pourquoi pour que vous n’effaciez pas les preuves.

Le problème, c’est que cette réglementation font des banques des auxiliaires de police et de justice… Mais sans avoir les moyens ou les compétences de mener des enquêtes. Les banques, pour poursuivre leur but, gagner de l’argent, ont donc tendance à se débarrasser de tous clients qui pourraient les mettre en danger. « C’est ce qu’on appelle le « derisking » ». Pour Mariola Marzouk, « ces règles sont vraiment simplistes ». Elles peuvent dire qu’une ONG est à haut risque parce qu’elle envoie des fonds dans une zone de conflits. En janvier 2022, l’autorité bancaire européenne elle-même a lancé une alerte sur le risque du derisking. En 2023, le politicien britannique d’extrême-droite, Nigel Farage, s’est vu fermer ses comptes par sa banque et a lancé un appel à témoignage qui a rencontré beaucoup d’échos, montrant à nouveau l’étendue du problème. Tous les politiques sont jugés à hauts risques par ces systèmes et font l’objet de mesures de contrôles renforcés (on parle de PPE, Personnes politiquement exposées). Selon les données de l’autorité qui contrôle les banques et les marchés financiers au Royaume-Uni, 170 000 personnes ont vu leur compte en banque fermé en 2021-2022 en lien avec la lutte anti-blanchiment, alors que seulement 1083 personnes ont été condamné pour ce délit ces mêmes années selon l’Institut des affaires économiques britanniques.

En France aussi, les politiques sont sous surveillance. C’est arrivé au sénateur centriste du Tarn, Philippe Folliot, qui a même déposé une loi contre la fermeture abusive des comptes bancaires. Pour le sénateur, la débancarisation est liée à la déshumanisation, aux développement des robots bancaires et aux fermetures d’agences. Depuis la crise financière de 2008, le nombre de succursales bancaires en France est passé de 180 000 agences à 106 000 en 2023. Si l’on en croit le Canard Enchaîné, il y aurait d’autres raisons à la débancarisation du sénateur du Tarn, notamment les activités de sa compagne, d’autant que les banques semblent également utiliser les informations de la presse et des réseaux sociaux pour prolonger leurs informations. Mais quand bien même ces informations auraient pu jouer dans ce cas précis, les banques agissent ici sans mandat ni preuves. Cela montre, il me semble, la grande limite à confier à des acteurs des pouvoirs de police et de justice, sans assurer de possibilités de se défendre. Un peu comme l’on confie désormais aux Gafams la possibilité d’exclure des utilisateurs sans que ceux-ci ne puissent faire de recours. « Les banques de leur côté, ne nient pas qu’il puisse y avoir des difficultés, mais soulignent qu’elles ne font qu’appliquer la réglementation », souligne un acteur de la réglementation bancaire. Dans le cadre de PPE, se sont tous les proches qui sont placés sous-surveillance.

Pour l’expert américain Aaron Ansari de RangeForce, les décisions, aux Etats-Unis, sont automatisés en temps réel. Depuis les années 2010, quand un dépôt est effectué, les signalements sont immédiats… et si la marge d’erreur est faible, les comptes sont automatiquement fermés. En Europe, on nous assure que ce n’est pas le cas.

Sans issue ?

Le 3e épisode, évoque l’internationalisation du problème, en montrant que les banques peuvent débancariser des réfugiés politiques au prétexte qu’ils sont signalés comme terroristes par les pays autoritaires qu’ils ont fuit. La débancarisation est devenue un moyen pour exclure des opposants dans leurs pays et qui ont des effets au-delà de leurs pays d’origine.

Yasir Gökce, réfugié turc en Allemagne, estime que nombre d’opposants turcs en Europe sont débancarisés du fait que les banques utilisent des informations provenant de courtiers en données pour alimenter leurs algorithmes de débancarisation, sans toujours les trier. Des données turques assignent les opposants comme terroristes et ces termes restent dans les fiches nominatives des courtiers. Les banques les utilisent pour évaluer les risques, et à moins de prêter une attention particulière à ces données pour les désactiver, génèrent des scores de risque élevés…

Le grand problème, c’est que les citoyens confrontés à ces décisions n’ont pas de recours. Faire modifier leur fiches KYC ne leur est souvent même pas proposé. Pour Maíra Martini de Transparency International, « les institutions financières n’ont pas à rechercher de preuves. Ce n’est pourtant pas à elles de décider si des personnes sont ou pas criminelles ».

« Les institutions financières n’arrivent donc pas toujours à corriger les erreurs de leurs systèmes algorithmiques et faire appel de ces décisions fondées sur leurs calculs ou sur leur aversion au risque peut-être très compliqué. C’est un problème que l’on retrouve ailleurs : dans l’aide social, dans l’éducation, les ressources humaines. » Les citoyens ne savent pas à qui s’adresser pour demander un réexamen de leurs cas. En fait, bien souvent, la possibilité n’est même pas proposée. Dans les boucles absurdes des décisions automatisées, bien souvent, l’usager est laissé sans recours ni garantie. « Les boutons Kafka » qu’évoquait l’avocate hollandaise Marlies van Eck pour permettre aux administrés de s’extraire de situations inextricables, n’est toujours pas une option.

Maíra Martini estime que les institutions financières devraient motiver leurs décisions. Les autorités de contrôle devraient également mieux évaluer les fermetures de compte, demander aux banques des statistiques annuelles, pour connaître les types de comptes et de personnes touchées, la proportion de fermeture par rapport aux condamnations… Empêcher que les abus ne se cachent derrière l’envolée des « faux positifs ». Et que les « faux positifs » ne deviennent partout une solution à la minimisation des risques. Bref, peut-être un peu mieux surveiller le niveau de derisking afin qu’il ne soit pas le prétexte d’une discrimination en roue libre.

Hubert Guillaud

Prenez le temps d’aller écouter les 3 épisodes de « Faux positifs », pilotés par Naiara Bellio d’Algorithm Watch et Jean-Baptiste Oubrier pour l’Agence France-Presse. Signalons que les journalistes invitent les victimes de débancarisation à témoigner par message audio sur whatsapp au + 33 6 79 77 38 45 ou par mail : podcast@afp.com

La reconnaissance faciale : un projet politique

Suite de notre plongée dans le livre de Kashmir Hill, « Your face belongs to us ». Après avoir observé l’histoire du développement de la reconnaissance faciale, retour sur l’enquête sur le développement de Clearview, la startup de la reconnaissance faciale. 2e partie.


Clearview, un outil d’investissement idéologique

Le cœur du livre de Kashmir Hill, Your face belongs to us, est consacré à l’histoire de l’entreprise Clearview. Hill rappelle que lorsqu’elle entend parler de cette entreprise jusqu’alors inconnue, face au silence qu’elle reçoit de ses fondateurs, elle contacte alors des policiers qui lui en font immédiatement les louanges : Clearview parvient à identifier n’importe qui, lui expliquent-ils ! Pourtant, quand ils entrent une photo de la journaliste dans le moteur, celui-ci ne fournit aucune réponse, alors que de nombreuses images d’elle sont disponibles en ligne, ce qui devrait permettre de la réidentifier facilement. En fait, ce n’est pas que la journaliste n’est pas dans la base, mais que toute recherche sur elle est protégée et déclenche même une alerte quand quelqu’un s’y essaye. 

Cette anecdote permet de montrer, très concrètement, que ceux qui maintiennent la base disposent d’un pouvoir discrétionnaire immense, pouvant rendre des personnes totalement invisibles à la surveillance. Les constructeurs de Clearview peuvent voir qui est recherché par qui, mais également peuvent contrôler qui peut-être retrouvé. Cet exemple est vertigineux et souligne que les clefs d’un tel programme et d’un tel fichier sont terribles. Que se passera-t-il quand le suspect sera le supérieur d’un agent ? Qui pour garantir l’incorruptibilité d’un tel système ? On comprend vite que dans une société démocratique, un tel outil ne peut pas être maintenu par une entreprise privée, hormis si elle est soumise à des contrôles et des obligations des plus rigoureux – et le même problème se pose si cet outil est maintenu par une entité publique. Ce qui n’est absolument pas le cas de Clearview. 

Hill raconte longuement l’histoire de la rencontre des cofondateurs de Clearview. Elle souligne le fait que ceux-ci se rencontrent du fait de leurs opinions politiques, lors de réunions et de meetings en soutien à la candidature de Donald Trump à l’été 2016. Hoan Ton-That, le développeur et confondateur de Clearview, fasciné par le candidat républicain, prend alors des positions politiques racistes que ses amis ne lui connaissaient pas. C’est via les réseaux républicains qu’il rencontre des personnages encore plus radicaux que lui, comme Peter Thiel, le milliardaire libertarien qui sera le premier financeur du projet, ou encore Richard Schwartz, qui deviendra son associé. Si les deux cofondateurs de Clearview ne sont pas des idéologues, le produit qu’ils vont imaginer correspond néanmoins aux convictions politiques de l’extrême-droite américaine dont ils se revendiquent à cette époque. L’entreprise va d’ailleurs particulièrement attirer (et aller chercher) des investisseurs au discours politique problématique, comme Paul Nehlen, tenant du nationalisme blanc. 

C’est en voyant fonctionner l’application russe de reconnaissance faciale FindFace, qui permet de retrouver les gens inscrits sur VKontakte, le réseau social russe, que Ton-That a l’idée d’un produit similaire. En novembre 2016, il enregistre le site web smartcherckr.com. Le projet se présente alors comme un système de réidentification depuis une adresse mail ou une image, permettant d’inférer les opinions politiques des gens… dans le but « d’éradiquer les gauchistes » ! 

Si depuis les discours des fondateurs se sont policés, nous avons là des gens très conservateurs, qui tiennent des propos d’extrême-droite et qui vont concevoir un outil porteur de ces mêmes valeurs. La reconnaissance faciale et ceux qui la portent sont bien les révélateurs d’une idéologie : ils relèvent tout à fait du technofascisme que dénonce le journaliste Thibault Prévost dans son livre, Les prophètes de l’IA. Et nul ne peut faire l’économie du caractère fasciste que porte la possibilité de réidentifier n’importe qui, n’importe quand pour n’importe quelle raison. C’est d’ailleurs là l’héritage de la reconnaissance faciale, inspirée des théories racistes de Francis Galton, qui va donner naissance à la police scientifique d’Alphonse Bertillon, comme à l’eugénisme et à la phrénologie d’un Cesare Lombroso. L’analyse des traits distinctifs des être humains est d’abord et reste le moyen de masquer le racisme sous le vernis d’une rigueur qui se veut scientifique. Hill suggère (sans jamais le dire) que Clearview est un projet politique. 

Clearview, un outil de contournement du droit

Hill souligne un autre point important. Elle n’est pas tendre avec l’arrivisme du jeune informaticien australien Hoan Ton-That qui se fait un nom en créant des outils de phishing via des quizz pour Facebook et des jeux pour iPhone. Elle montre que celui-ci n’a pas beaucoup de conscience morale et que le vol des données, comme pour bien de porteurs de projets numériques, n’est qu’un moyen de parvenir à ses fins. Dès l’origine, Ton-That mobilise le scraping pour construire son produit. Derrière ce joli mot, la pratique consiste à moissonner des contenus en ligne, sauf que cette récolte consiste à ramasser le blé qui a poussé sur les sites web des autres, sans le consentement des sites que l’on pille ni celui des utilisateurs dont on vole les données. En juin 2017, une première version de l’outil de recherche de visage est lancée, après avoir pillé quelque 2,1 millions de visages provenant de plusieurs services en ligne, comme Tinder. A la fin 2018, elle comportera plus de 2 milliards d’images. L’entreprise qui a changé de nom pour Clearview, dispose alors d’un produit robuste. Seuls Facebook et Google disposent de plus de portraits que lui. 

Certes, Clearview a volé toutes les images disponibles. Facebook, Google ou Linked-in vont officiellement protester et demander l’effacement des images volées. Reste que les géants n’intentent aucun procès à la startup. Il faut dire que les entreprises de la Tech sont en effet refroidies par les échecs de Linked-in à lutter contre le scraping. Dans un bras de fer avec une entreprise qui a moissonné les données du réseau social, Linked-in a été débouté en 2017 par un jugement confirmé en appel en 2019. Le tribunal de Californie a déclaré qu’il était légal de collecter des informations publiques disponibles sur le net. Le jugement a gelé les ardeurs des géants à lutter contre un phénomène… qu’ils pratiquent eux-même très largement.  

Hill pointe également que Ton-That n’est pas un génie du développement. Comme nombre d’ingénieurs, non seulement il vole les données, mais il a recours à des outils existants pour développer son application, comme OpenFace. Ton-That n’a pas d’états d’âme. Si les géants de la Tech refusent de sortir un produit de réidentification, c’est parce qu’ils ont peur des retombées désastreuses d’un tel outil, en termes d’image. Ce n’est pas le cas de Ton-That. 

Reste que c’est bien la qualité de l’application qui va convaincre. Clearview permet d’identifier des gens dans la foule quelles que soient les conditions (ou presque). Pour tous ceux qui l’essayent, l’application semble magique. C’est à ce moment que les investisseurs et les clients se précipitent… D’abord et avant tout des investisseurs libertariens, très marqués politiquement. Pourtant, ceux-ci sont conscients que l’application risque d’avoir des problèmes avec les régulateurs et va s’attirer des poursuites en justice. Mais le risque semble plutôt les convaincre d’investir. Hill sous-entend par là un autre enjeu majeur : l’investissement s’affole quand les produits technologiques portent des enjeux de transformation légale. Si les capitaux-risqueurs ont tant donné à Uber, c’est certainement d’abord parce que l’entreprise permettait d’agir sur le droit du travail, en le contournant. C’est l’enjeu de modification des règles et des normes que promettent les outils qui muscle l’investissement. C’est parce que ces technologies promettent un changement politique qu’elles sont financées. Pour les investisseurs de Clearview, « pénétrer dans une zone de flou juridique constitue un avantage commercial ». Hill suggère une fois encore une règle importante. L’investissement technologique est bien plus politique qu’on ne le pense. 

Mais, il n’y a pas que les investisseurs qui vont voir dans Clearview un outil pour contourner les normes. Ses clients également. 

Après avoir tenté d’élargir le recrutement de premiers clients, Clearview va le resserrer drastiquement. Au-delà du symbole, son premier client va être la police de New York. Mais là encore, Clearview ne rencontre pas n’importe quels policiers. L’entreprise discute avec des officiers qui ont soutenu les théories problématiques de la vitre brisée, des officiers qui ont promu le développement du Big data dans la police et notamment les systèmes tout aussi problématiques de police prédictive. C’est donc par l’entremise de policiers radicaux, eux aussi très marqués à droite, que Clearview signe, en décembre 2018, un contrat avec la police de New York. Le contrat demande que l’entreprise prenne des engagements en matière de sécurité et de contrôle des agents qui l’utilisent. Le nombre de requêtes sur l’application décolle. Pourtant, après 6 mois de tests et plus 11 000 requêtes, la police de New York renonce à poursuivre le contrat. Elle aussi est inquiète de la perception par l’opinion publique. Sa direction a plus de pudeurs que les officiers qui ont permis le rapprochement entre la startup et la police. D’autres départements de police n’auront pas ces pudeurs. L’Indiana, la Floride, le Tennessee vont se mettre à utiliser Clearview. Viendront Londres puis le Département américain de la sécurité intérieure. Des agences du monde entier testent l’outil et l’adoptent : Interpol, la police australienne, canadienne… Clearview multiplie les contrats alors que l’entreprise est encore totalement inconnue du grand public. Malgré ces contrats publics, l’entreprise reste sous les radars. Assurément, parce que son usage permet là aussi pour ses clients de s’affranchir des règles, des normes et des modalités d’examen public en vigueur. Alors que la reconnaissance faciale est une technologie sulfureuse, l’abonnement discret à Clearview permet de le rendre invisible. La zone de flou de légalité profite à tous. 

Discrètement, la reconnaissance faciale est advenue

En 2017, un militant de l’ACLU entend parler de Rekognition, l’outil de reconnaissance faciale développé par Amazon et lance une campagne à son encontre. L’ACLU lance l’outil sur les photos de 535 membres du Congrès et en identifie faussement 28 comme des criminels connus des services de police. L’ACLU lance sa campagne pour interdire la surveillance des visages, que quelques villes adopteront, comme San Francisco ou Oakland. Pour Clearview, ces controverses sont préjudiciables. La startup va alors utiliser le même test sur son propre produit qui ne déclenche aucune erreur et identifie parfaitement les 535 membres du Congrès. D’ailleurs, quand on met une photo provenant du site This Person Does not exist dans Clearview, l’application ne produit aucun résultat ! 

Bien sûr, Kashmir Hill rappelle que des Américains qui ont été et continuent d’être indûment arrêtés à cause de la reconnaissance faciale. Mais ces rares exemples semblent n’avoir plus grand poids. Le Nist qui a testé quelque 200 algorithmes de reconnaissance faciale a montré qu’il y avait de fortes variations selon les produits. 

En décembre 2021, Clearview a soumis son algorithme au NIST pour évaluation. Son logiciel de reconnaissance facial a obtenu parmi les meilleurs résultats. 

Pour les médias, ces variations dans les résultats des outils de reconnaissance faciale montrent que la reconnaissance faciale est biaisée, mais elles montrent plutôt qu‘il y a de bons algorithmes et de mauvais. Le NIST dispose de 2 sortes de tests, le premier pour comparer deux images et déterminer si le système est capable d’identifier une même personne et le second pour chercher un visage particulier dans une base de données remplie de visages. Contrairement à ce que l’on pense, les pires biais se trouvent plutôt dans le premier cas, où les systèmes ont du mal avec à reconnaître les sujets féminin, noirs ou asiatiques. « Reste que, aussi précis qu’ils soient, les algorithmes de reconnaissance faciale déployés dans des sociétés inégalitaires et structurellement racistes vont produire des résultats racistes ». Les personnes faussement arrêtées par la reconnaissance faciale étaient toutes noires, rappelle Hill. Ce qui est une preuve supplémentaire, non seulement de ses défauts, mais plus encore de son ancrage idéologique. 

L’exemple du développement de Clearview nous rappelle en tout cas qu’il n’y a pas de neutralité technologique. Les outils ne sont pas des outils qui dépendent des usages qu’on en fait, comme le dit l’antienne. Ils ont des fonctionnalités spécifiques qui embarquent des idéologies. L’essor de Clearview nous montre très bien qu’il est un instrument au service d’un projet politique. Et que quelques soient ses défauts ou ses qualités, la reconnaissance faciale sert des objectifs qui ne sont pas que ceux, financiers, d’une classe sociale qui a intérêt à son succès, mais bien avant tout, ceux, politiques, d’idéologues qui ont un projet. Et ce projet, on l’a vu, n’est pas celui de construire une société apaisée, mais son exact contraire : faire avancer, dans l’ombre, les technologies nécessaires à l’avènement de la dissolution de l’Etat de droit.

(à suivre)

La reconnaissance faciale, l’enjeu du siècle

Avec cet article, nous nous lançons dans un dossier que nous allons consacrer à la reconnaissance faciale et au continuum sécuritaire. Première partie.

Your face belongs to us (Random House, 2023), le livre que la journaliste du New York Times, Kashmir Hill, a consacré à Clearview, l’entreprise leader de la reconnaissance faciale, est une plongée glaçante dans la dystopie qui vient. 

Jusqu’à présent, j’avais tendance à penser que la reconnaissance faciale était problématique d’abord et avant tout parce qu’elle était défaillante. Elle est « une technologie qui souvent ne marche pas », expliquaient Mark Andrejevic et Neil Selwyn (Facial Recognition, Wiley, 2022), montrant que c’est souvent dans son implémentation qu’elle défaille. La juriste, Clare Garvie, faisait le même constat. Si l’authentification (le fait de vérifier qu’une personne est la même que sur une photo) fonctionne mieux que l’identification (le fait de retrouver une personne dans une banque d’image), les deux usages n’ont cessé ces dernières années de montrer leurs limites.

Mais les choses évoluent vite.

L’une des couvertures du livre de Kashmir Hill.

« Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien »

Dans leur livre, AI Snake Oil, les spécialistes de l’intelligence artificielle, Arvind Narayanan et Sayash Kapoor, soulignent pourtant que le taux d’erreur de la reconnaissance faciale est devenu négligeable (0,08% selon le NIST, l’Institut national des normes et de la technologie américain). « Quand elle est utilisée correctement, la reconnaissance faciale tend à être exacte, parce qu’il y a peu d’incertitude ou d’ambiguïté dans la tâche que les machines doivent accomplir ». Contrairement aux autres formes d’identification (identifier le genre ou reconnaître une émotion, qui sont bien plus sujettes aux erreurs), la différence cruciale c’est que l’information requise pour identifier des visages, pour les distinguer les uns des autres, est présente dans les images elles-mêmes. « Le plus grand danger de la reconnaissance faciale vient du fait qu’elle fonctionne plutôt très bien » et c’est en cela qu’elle peut produire énormément de dommages. 

Le risque que porte la reconnaissance faciale repose tout entier dans la façon dont elle va être utilisée. Et de ce côté là, les dérives potentielles sont innombrables et inquiétantes. Gouvernements comme entreprises peuvent l’utiliser pour identifier des opposants, des personnes suspectes mais convaincues d’aucuns délits. Certes, elle a été utilisée pour résoudre des affaires criminelles non résolues avec succès. Certes, elle est commode quand elle permet de trier ou d’organiser ses photos… Mais si la reconnaissance faciale peut-être hautement précise quand elle est utilisée correctement, elle peut très facilement être mise en défaut dans la pratique. D’abord par ses implémentations qui peuvent conduire à y avoir recours d’une manière inappropriée et disproportionnée. Ensuite quand les images ne sont pas d’assez bonnes qualités, au risque d’entraîner tout le secteur de la sécurité dans une course sans limites à toujours plus de qualité, nécessitant des financements disproportionnés et faisant peser un risque totalitaire sur les libertés publiques. Pour Narayanan et Kapoor, nous devons avoir un débat vigoureux et précis pour distinguer les bons usages des usages inappropriés de la reconnaissance faciale, et pour développer des gardes-fous pour prévenir les abus et les usages inappropriés tant des acteurs publics que privés. 

Certes. Mais cette discussion plusieurs fois posée n’a pas lieu. En 2020, quand la journaliste du New York Times a commencé ses révélations sur Clearview, « l’entreprise qui pourrait mettre fin à la vie privée », le spécialiste de la sécurité, Bruce Schneier avait publié une stimulante tribune pour nous inviter à réglementer la ré-identification biométrique. Pour lui, nous devrions en tant que société, définir des règles pour déterminer « quand une surveillance à notre insu et sans notre consentement est permise, et quand elle ne l’est pas », quand nos données peuvent être combinées avec d’autres et quand elles ne peuvent pas l’être et enfin savoir quand et comment il est permis de faire de la discrimination biométrique et notamment de savoir si nous devons renforcer les mesures de luttes contre les discriminations qui vont se démultiplier avec cette technologie et comment. En France, à la même époque, le sociologue Laurent Mucchielli qui avait fait paraître son enquête sur la vidéosurveillance (Vous êtes filmés, Dunod, 2018 – voir notre compte-rendu de l’époque, désabusé), posait également sur son blog des questions très concrètes sur la reconnaissance faciale : « Quelle partie de la population serait fichée ? Et qui y aurait accès ? Voilà les deux problèmes. » Enfin, les deux professeurs de droit, Barry Friedman (auteur de Unwarranted : policing without permission, 2017) et Andrew Guthrie Ferguson, (auteur de The Rise of Big Data policing, 2017) condamnaient à leur tour, dans une tribune pour le New York Times, « la surveillance des visages » (c’est-à-dire, l’utilisation de la reconnaissance faciale en temps réel pour trouver où se trouve quelqu’un) mais reconnaissaient que l’identification faciale (c’est-à-dire la réidentification d’un criminel, uniquement pour les crimes les plus graves), elle, pourrait être autorisée. Ils y mettaient néanmoins une condition : la réidentification des visages ne devrait pas être autorisée sans décision de justice et sans sanction en cas d’utilisation abusive. Mais, à nouveau, ce n’est pas ce qui s’est passé. La reconnaissance faciale s’est déployée sans contraintes et sans limites. 

Les dénonciations comme les interdictions de la reconnaissance faciale sont restées éparses. Les associations de défense des libertés publiques ont appelé à des moratoires et mené des campagnes pour l’interdiction de la reconnaissance faciale, comme Ban Facial Recognition aux Etats-Unis ou Reclaim your face en Europe. Souvent, ces interdictions restent circonscrites à certains types d’usages, notamment les usages de police et de surveillance d’État, oubliant les risques que font courir les outils de surveillance privée. 

Reste que le débat public sur son implémentation et ses modalités est inexistant. Au lieu de débats de sociétés, nous avons des « expérimentations » qui dérogent au droit, des déploiements épars et opaques (plus de 200 autorités publiques par le monde sont clientes de Clearview qui n’est qu’un outil parmi une multitude de dispositifs plus ou moins efficaces, allant de la reconnaissance faciale, à la vidéosurveillance algorithmique), et surtout, un immense déni sur les enjeux de ces technologies. Au final, nous ne construisons aucune règle morale sur son utilité ou son utilisation. Nous faisons collectivement l’autruche et son utilisation se déploie sans cadres légaux clairs dans un continuum de technologies sécuritaires et problématiques, allant des drones aux technologies de contrôle de l’immigration.

Une histoire de la reconnaissance faciale : entre amélioration par à-coups et paniques morales à chaque amélioration

Dans son livre, Your face belongs to us, Kashmir Hill alterne à la fois une histoire de l’évolution de la technologie et une enquête sur le développement de Clearview.

Sur cette histoire, Hill fait un travail qui met en exergue des moments forts. Elle rappelle d’abord que le terme de vie privée, définit à l’origine comme le droit d’être laissé tranquille par les juristes américains Samuel Warren et Louis Brandeis, était inspiré par la création de la pellicule photographique par Kodak, qui promettait de pouvoir sortir l’appareil photo des studios où il était jusqu’alors confiné par son temps de pause très long. Dans cette longue histoire de la reconnaissance faciale, Hill raconte notamment l’incroyable histoire du contrôle des tickets de trains américains dans les années 1880, où les contrôleurs poinçonnaient les tickets selon un codage réduit (de 7 caractéristiques physiques dont le genre, l’âge, la corpulence…) permettant aux contrôleurs de savoir si le billet contrôlé correspondait bien à la personne qui l’avait déjà présenté. Bien évidemment, cette reconnaissance humaine et basique causa d’innombrables contestations, tant ces appréciations d’un agent à un autre pouvaient varier. Mais la méthode aurait inspiré Herman Hollerith, qui va avoir l’idée de cartes avec des perforations standardisées et va adapter la machine pour le recensement américain, donnant naissance à l’entreprise qui deviendra IBM. 

Hill surfe sur l’histoire de l’IA, des Perceptrons de Marvin Minsky, à Panoramic, l’entreprise lancée dans les années 60 par Woody Bledsoe, qui va être la première, à la demande de la CIA, à tenter de créer un outil de reconnaissance des visages simplifié, en créant une empreinte de visages comme autant de points saillants. Elle raconte que les améliorations dans le domaine vont se faire avec l’amélioration de la qualité et de la disponibilité des images et de la puissance des ordinateurs, à l’image des travaux de Takeo Kanade (dans les années 70, pour l’entreprise japonaise NEC), puis de Matthew Turk qui va bénéficier de l’amélioration de la compression des images. Accusé d’être à la tête d’un programme Orwellien, Turk s’en défendra pourtant en soulignant qu’enregistrer les informations sur les gens qui passent devant une caméra est surtout bénin. A croire que notre déni sur les conséquences de cette technologie remonte à loin.

En 2001, lors du Super Bowl, plusieurs entreprises, dont Viisage Technology et Raytheon, communiquent sur le fait qu’elles ont sécurisé l’accès au stade grâce à la reconnaissance faciale, identifiant 19 spectateurs avec un passé criminel. Viisage a récupéré la technologie de Turk et l’a commercialisé pour des badges d’identification pour entreprises. Ces déploiements technologiques, financés par les agences fédérales, commencent à inquiéter, notamment quand on apprend que des entreprises y ont recours, comme les casinos. Reste que la technologie est encore largement défaillante et peine bien souvent à identifier quiconque.

Mais le 11 septembre a changé la donne. Le Patriot Act permet aux agences du gouvernement d’élargir leurs accès aux données. Joseph Atick, cofondateur de Visionics, une autre entreprise du secteur, propose sa technologie aux aéroports pour rassurer les voyageurs. Il sait que celle-ci n’est pas au point pour identifier les terroristes, mais il a besoin des données pour améliorer son logiciel. Bruce Schneider aura beau dénoncer le « théâtre de la sécurité« , l’engrenage sécuritaire est lancé… Face à ses déploiements, les acteurs publics ont besoin d’évaluer ce qu’ils achètent. Jonathon Philips du National Institute of Standards and Technology (Nist) créée une base de données de visages de très bonne qualité sous différents angles, « Feret », pour tester les outils que vendent les entreprises. Il inaugure un concours où les vendeurs de solutions sont invités à montrer qui parvient à faire le mieux matcher les visages aux photos. En 2001, le premier rapport du Nist montre surtout qu’aucune entreprise n’y parvient très bien. Aucune entreprise n’est capable de déployer un système efficace, mais cela ne va pas les empêcher de le faire. Les meilleures entreprises, comme celle d’Atick, parviennent à faire matcher les photos à 90%, pour autant qu’elles soient prises dans des conditions idéales. Ce qui tient surtout de l’authentification faciale fonctionne également mieux sur les hommes que sur les femmes, les personnes de couleurs ou les jeunes. En 2014, le FBI lance à son tour un concours pour rendre sa base d’images de criminels cherchable, mais là encore, les résultats sont décevants. La technologie échoue dès qu’elle n’est pas utilisée dans des conditions idéales.

En 2006, le juriste de l’ACLU James Ferg-Cadima découvre dans une grande surface la possibilité de payer depuis son empreinte digitale. Face à de tels dispositifs, s’inquiète-t-il, les consommateurs n’ont aucun moyen de protéger leurs empreintes biométriques. Quand son mot de passe est exposé, on peut en obtenir un nouveau, mais nul ne peut changer son visage ou ses empreintes. Le service « Pay by Touch », lancé en 2002 fait faillite en 2007, avec le risque que sa base d’empreintes soit vendue au plus offrant ! Avec l’ACLU, Ferg-Cadima œuvre alors à déployer une loi qui oblige à recevoir une permission pour collecter, utiliser ou vendre des informations biométriques : le Biometric Information Privacy Act (Bipa) que plusieurs Etats vont adopter.

En 2009, Google imagine des lunettes qui permettent de lancer une recherche en prenant une photo, mais s’inquiète des réactions, d’autant que le lancement de Street View en Europe a déjà terni son image de défenseur de la vie privée. La fonctionnalité de reconnaissance faciale existe déjà dans Picasa, le service de stockage d’images de Google, qui propose d’identifier les gens sur les photos et que les gens peuvent labelliser du nom de leurs amis pour aider le logiciel à progresser. En 2011, la fonctionnalité fait polémique. Google l’enterre. 

A la fin des années 90, l’ingénieur Henry Schneiderman accède à Feret, mais trouve que la base de données est trop parfaite pour améliorer la reconnaissance faciale. Il pense qu’il faut que les ordinateurs soient d’abord capables de trouver un visage dans les images avant qu’ils puissent les reconnaître. En 2000, il propose d’utiliser une nouvelle technique pour cela qui deviendra en 2004, PittPatt, un outil pour distinguer les visages dans les images. En 2010, le chercheur Alessandro Acquisti, fasciné par le paradoxe de la vie privée, lance une expérience en utilisant PittPatt et Facebook et montre que ce croisement permet de ré-identifier tous les étudiants qui se prêtent à son expérience, même ceux qui n’ont pas de compte Facebook, mais qui ont été néanmoins taggés par leurs amis dans une image. Acquisti prédit alors la « démocratisation de la surveillance » et estime que tout le monde sera demain capable d’identifier n’importe qui. Pour Acquisti, il sera bientôt possible de trouver le nom d’un étranger et d’y associer alors toutes les données disponibles, des sites web qu’il a visité à ses achats en passant par ses opinions politiques… et s’inquiète du fait que les gens ne pourront pas y faire grand chose. Pour le professeur, d’ici 2021 il sera possible de réidentifer quelqu’un depuis son visage, prédit-il. Acquisti s’est trompé : la fonctionnalité a été disponible bien plus tôt !  

En 2011, PittPatt est acquise par Google qui va s’en servir pour créer un système pour débloquer son téléphone. En décembre 2011, à Washington se tient la conférence Face Facts, sponsorisée par la FTC qui depuis 2006 s’est doté d’une petite division chargée de la vie privée et de la protection de l’identité, quant, à travers le monde, nombre d’Etats ont créé des autorités de la protection des données. Si, suite à quelques longues enquêtes, la FTC a attaqué Facebook, Google ou Twitter sur leurs outils de réglages de la vie privée défaillants, ces poursuites n’ont produit que des arrangements amiables. A la conférence, Julie Brill, fait la démonstration d’un produit de détection des visages que les publicitaires peuvent incorporer aux panneaux publicitaires numériques urbains, capable de détecter l’âge où le genre. Daniel Solove fait une présentation où il pointe que les Etats-Unis offrent peu de protections légales face au possible déploiement de la reconnaissance faciale. Pour lui, la loi n’est pas prête pour affronter le bouleversement que la reconnaissance faciale va introduire dans la société. Les entreprises se défendent en soulignant qu’elles ne souhaitent pas introduire de systèmes pour dé-anonymiser le monde, mais uniquement s’en servir de manière inoffensive. Cette promesse ne va pas durer longtemps…

En 2012, Facebook achète la startup israélienne Face.com et Zuckerberg demande aux ingénieurs d’utiliser Facebook pour « changer l’échelle » de la reconnaissance faciale. Le système de suggestions d’étiquetage de noms sur les photos que les utilisateurs chargent sur Facebook est réglé pour n’identifier que les amis, et pas ceux avec qui les utilisateurs ne sont pas en relation. Facebook assure que son outil ne sera jamais ouvert à la police et que le réseau social est protégé du scraping. On sait depuis que rien n’a été moins vrai. Après 5 ans de travaux, en 2017, un ingénieur de Facebook provenant de Microsoft propose un nouvel outil à un petit groupe d’employés de Facebook. Il pointe la caméra de son téléphone en direction d’un employé et le téléphone déclame son nom après l’avoir reconnu. 

A Stanford, des ingénieurs ont mis au point un algorithme appelé Supervision qui utilise la technologie des réseaux neuronaux et qui vient de remporter un concours de vision par ordinateur en identifiant des objets sur des images à des niveaux de précision jamais atteints. Yaniv Taigman va l’utiliser et l’améliorer pour créer DeepFace. En 2014, DeepFace est capable de faire matcher deux photos d’une même personne avec seulement 3% d’erreurs, même si la personne est loin dans l’image et même si les images sont anciennes. En 2015, DeepFace est déployé pour améliorer l’outil d’étiquetage des images de Facebook. 

En 2013, les révélations d’Edward Snowden changent à nouveau la donne. D’un coup, les gens sont devenus plus sensibles aux incursions des autorités à l’encontre de la vie privée. Pourtant, malgré les efforts de militants, le Congrès n’arrive à passer aucune loi à l’encontre de la reconnaissance faciale ou de la protection de la vie privée. Seules quelques villes et Etats ont musclé leur législation. C’est le cas de l’Illinois où des avocats vont utiliser le Bipa pour attaquer Facebook accusé d’avoir créer une empreinte des visages des 1,6 millions d’habitants de l’Etat. 

Cette rapide histoire, trop lacunaire parfois, semble s’arrêter là pour Hill, qui oriente la suite de son livre sur le seul Clearview. Elle s’arrête effectivement avec le déploiement de l’intelligence artificielle et des réseaux de neurones qui vont permettre à la reconnaissance faciale de parvenir à l’efficacité qu’elle espérait.

Reste que cette rapide histoire, brossée à grands traits, souligne néanmoins plusieurs points dans l’évolution de la reconnaissance faciale. D’abord que la reconnaissance faciale progresse par vague technologique, nécessitant l’accès à de nouvelles puissances de calcul pour progresser et surtout l’accès à des images en quantité et en qualité.

Ensuite, que les polémiques et paniques nourrissent les projets et les relancent plutôt que de les éteindre. Ceux qui les développent jouent souvent un jeu ambivalent, minimisant et dissimulant les capacités des programmes qu’ils déploient. 

Enfin, que les polémiques ne permettent pas de faire naître des législations protectrices, comme si la législation était toujours en attente que la technologie advienne. Comme si finalement, il y avait toujours un enjeu à ce que la législation soit en retard, pour permettre à la technologie d’advenir.  

(à suivre)

Réguler la surveillance au travail

Comme nous le disions dans la précédente partie de notre dossier sur la surveillance au travail, les technologies numériques ont permis une expansion sans précédent du volume et du type de données collectées sur les travailleurs. La capacité à les analyser permet aux employeurs de tirer d’innombrables conclusions sur la productivité de leurs salariés… 

Pourtant, concrètement, ces analyses sont bien souvent problématiques quand ce n’est pas défaillantes. En rendant fonctionnelles les statistiques, les indicateurs rétroagissent sur les comportements. La granularité et l’individualisation des métriques permettent de multiplier et d’accroître les pressions au travail, tous les dysfonctionnements étant renvoyés aux pratiques individuelles, « faisant peser toutes les contraintes sur le plus petit et le plus faible maillon de la chaîne », comme l’explique la sociologue Karen Levy dans son livre. Enfin, parce que dans le contexte du travail, les connaissances acquises par les données réorganisent et renforcent d’abord des déséquilibres de pouvoirs majeurs. La régulation de la surveillance n’arrive pas à limiter la recherche de l’amélioration de la production que la surveillance vise à faire advenir. Nous sommes confrontés à une surveillance qui se démultiplie sans parvenir à renforcer les protections légales des travailleurs, seules à même de les protéger d’une exploitation renforcée. 

La lutte contre la surveillance devrait nous mobiliser

« Des caméras alimentées par l’IA qui suivent l’attention des camionneurs aux scanners portables qui surveillent la vitesse d’emballage et de tri des colis des employés des entrepôts d’Amazon, en passant par les logiciels de vidéoconférence qui surveillent les conversations des employés pendant les réunions, dans de nombreux secteurs les entreprises utilisent de plus en plus d’outils automatisés pour collecter des données sur les travailleurs, puis utilisent ces données pour prendre des décisions automatisées sur les tâches et les horaires des travailleurs, les salaires, les promotions, la discipline et même les licenciements », explique le politologue Alexander Hertel-Fernandez sur le blog du LPE Project. Hertel-Fernandez est l’auteur d’une étude sur le management automatisé et la surveillance des travailleurs qui montre que les 2/3 des travailleurs Américains sont sous surveillance sur leur lieu de travail. Cette surveillance est désormais aussi commune pour les cols bleus que pour les cols blancs. Bien qu’elle soit souvent invisible, masquée sous les outils numériques que tous utilisent au quotidien, elle n’est pas sans conséquences : elle a un impact sur la santé et la sécurité des travailleurs.

Pour le chercheur, la montée de la surveillance nécessite d’établir des protections adaptées qui devraient recevoir du soutien de tous les travailleurs, tant celle-ci transcende les classes sociales, les professions et les secteurs. Les organisations du travail ont largement documenté comment cette surveillance érode les droits à l’action collective, intensifie les rythmes de travail, discrimine les femmes, les travailleurs âgés ou les travailleurs handicapés. Le problème pourtant, c’est que le régulateur manque de données sur cette surveillance, d’où l’importance de son enquête. Celle-ci montre d’ailleurs, que le facteur prédictif principal de l’adoption de la surveillance électronique est la taille de l’entreprise : plus l’entreprise est grande, plus la surveillance est intense et variée. L’étude montre également que plus les travailleurs sont soumis à une surveillance intensive, plus l’anxiété grimpe, notamment parce que l’intensité de la surveillance signifie d’abord une intensification des cadences. Ce couplage intensification/anxiété se retrouve dans tous les secteurs, et pas seulement les plus documentés, comme la logistique ou l’industrie. Enfin, les effets négatifs sur la santé et le bien être sont plus forts là où la surveillance est mobilisée pour renforcer la discipline et limiter l’expression. Pour le chercheur, ces résultats suggèrent que ce n’est pas nécessairement la surveillance qui est problématique, mais la manière dont elle est utilisée par le management. Parmi les mesures à prendre pour rétablir l’équilibre, le politologue suggère d’améliorer la transparence de la surveillance, des indicateurs de productivité et des quotas. Mais si le problème est l’intensité de la surveillance, la documenter ne suffira pas à la faire refluer. 

L’impossible transparence de la surveillance

Pourtant, c’est à l’exact inverse que l’on assiste. La surveillance et ses indicateurs relèvent partout d’une opacité qui ne cesse de se renforcer, comme pour toujours mieux s’invisibiliser, à l’image des calculs d’Uber qui ne cessent d’évoluer pour échapper à la documentation comme à la régulation. En 2020, les livreurs de la plateforme Shipt, qui appartient à la chaîne de grande distribution américaine Target, ont vu leurs salaires s’effondrer. Ils ont alors créé un outil pour comprendre l’évolution de l’algorithme, expliquait la chercheuse Dana Calacci pour IEEE Spectrum, qui rappelle que l’asymétrie d’information est un moyen de contrôle (et ce d’autant que ces travailleurs indépendants, par contrat, n’ont pas de droits sur les données). Les livreurs ont utilisé les résultats de l’Observatoire des algorithmes des travailleurs, qui corroboraient l’effondrement de rémunération constaté, pour appuyer leurs revendications pour un salaire minimum garanti. Dans un rapport, le Worker Info Exchange estime que les applications de covoiturage et de livraisons devraient être contraintes de publier des données sur la charge de travail des chauffeurs et les rémunérations, d’autant que le déficit de données actuel pourrait même dissimuler d’importants vols de salaires (et pas seulement des pourboires). Des exemples qui rappellent qu’il n’y a pas d’alternative à la transparence des données, ce qui n’empêche pas celle-ci de continuer à échapper à tous. Accéder aux données reste le premier levier pour observer la surveillance et la limiter.

Image : Page d’accueil de l’observatoire algorithmique des travailleurs.

L’année dernière, le LPE Project avait publié plusieurs articles pour questionner les limites de la surveillance. La chercheuse Karen Levy y montrait que non seulement la surveillance s’opacifie, mais que les autorités en favorisent l’extension, plutôt que de chercher à la contraindre et à la limiter. La sociologue parle d’ailleurs « d’interopérabilité de la surveillance » pour pointer la compatibilité des différentes formes de surveillance, que ce soit celle des autorités de contrôle, comme celle des employeurs ou celle des tiers auxquels les employeurs accordent des accès. 

L’extension, l’intensification et l’élargissement de la surveillance se fait au détriment des employés, pris en tenaille par de nouvelles injonctions liées aux objectifs multiples et contradictoires de tous ceux qui ont accès aux données produites par ces surveillances. Les surveillances “gouvernementales, patronales et commerciales” se superposent pour créer de nouvelles rigidités au travail. Le problème est que cette conjonction d’objectifs complémentaires laisse peu d’espace aux travailleurs pour résister à ces pressions concomitantes, pour résister à “un régime de surveillance supérieur à la somme de ses parties”. La surveillance est d’autant plus opaque qu’elle sert les intérêts de trop d’acteurs pour devenir transparente. Cette surveillance alimente en données des acteurs avec lesquels les entreprises ont des partenariats commerciaux, comme leurs clients. Mais pas seulement. Outre la police et les services sociaux, de plus en plus d’intermédiaires de données tentent d’en tirer profit, à l’image de services de crédits qui proposent des avances sur salaires aux employés. 

La surveillance produit les cadences, modifie les conditions d’emploi

La spécialiste de l’économie des plateformes, Sarrah Kassem , auteure de Work and Alienation in the Platform Economy: Amazon and the Power of Organization, expliquait quant à elle que les travailleurs des entrepôts d’Amazon sont dépendants d’un « régime de productivité algorithmique », qui les pousse à respecter des taux « d’unités par heure », c’est-à-dire rien d’autre que des cadences, imposées par les tâches, les volumes, et les moyennes productives des autres employés auxquelles chacun est comparé. Si les solidarités collectives et les résistances sont possibles, elles sont rendues très difficiles, du fait des innombrables types de contrats qui se rencontrent dans les entrepôts (fixes, intérimaires, sous-traitants, indépendants… avec des horaires fluctuants…) et des manœuvres anti-syndicales d’Amazon. 

Dans les chaînes de production numériques hyper-taylorisées du Mechanical Turk d’Amazon par contre, la surveillance, elle, est totale. La grande précarité du travail et l’absence de relation avec les autres travailleurs rend l’organisation collective encore plus compliquée, même si, à l’initiative des travailleurs, des espaces alternatifs de solidarité et de lutte ont parfois réussi à émerger. Pour le chercheur Reed Shaw, qui s’est lui aussi intéressé aux entrepôts d’Amazon, la surveillance modifie les conditions d’emploi. Si le taux de blessure y est deux fois supérieur à la moyenne nationale, c’est que l’unité de mesure du travail d’Amazon, focalise sur le temps pendant lequel les travailleurs sont inactifs entre deux colis scannés. Le nombre d’unités traitées par heure favorise l’intensification du travail qui génère en réponse une augmentation du risque de blessure et d’accident. Pour Shaw, c’est l’intensification que le taylorisme numérique produit le coupable : c’est donc sur la régulation des cadences qu’il faut pouvoir agir. D’autant que les systèmes de mesures ne s’adaptent pas à certains types d’employés, comme les femmes enceintes ou les travailleurs handicapés, qui sont encore plus sévèrement punis par les systèmes qui évaluent les cadences sans aménagements. Pour Shaw, “la surveillance généralisée des employés devrait être considérée comme modifiant le contexte de l’emploi d’une manière qui menace un large éventail de lois et de protections du droit du travail”. 

Vers une surveillance sans échappatoire

Pour le professeur de droit Matthew Bodie, co-auteur de Reconstructing the Corporation: From Shareholder Primacy to Shared Governance, la surveillance des employés procède d’une nouvelle collecte de données et propose une nouvelle création de valeur permettant aux employeurs de tirer une nouvelle valeur de la relation de travail, explique-t-il, sans qu’il n’y ait de recours ni de droits pour les travailleurs fournisseurs de données, ni de modalités pour exercer leur pouvoir collectifs sur ces données. Pour Bodie, la frontière traditionnelle entre les informations de travail et les informations personnelles, est en train de devenir totalement floue. Toutes sortes d’informations personnelles peuvent désormais être convoquées comme “pertinentes” pour évaluer la performance individuelle au travail : notre santé, nos relations avec nos collègues, nos opinions politiques, notre consommation de caféine, notre disposition au conflit… (sans que cette “pertinence” ne soit jamais évaluée, comme le soulignaient les chercheurs Mona Sloane, Rumman Chowdhury et Emmanuel Moss dans un excellent article qui dénonçait la prétention à la connaissance des systèmes). La réponse instinctive à ce problème consisterait à renforcer la protection de la vie privée sur les lieux de travail, mais cette réponse ne convainc pas Bodie, notamment parce qu’il suffit d’un pseudo consentement imposé dans une relation de travail par nature déséquilibrée pour vider ce renforcement de sa substance. 

“La relation aux données ne cesse de devenir de plus en plus déséquilibrée”, constate le chercheur. C’est par les données sur les chauffeurs et leurs clients que les entreprises de covoiturage fixent les prix et affectent les chauffeurs, sans que les conducteurs puissent avoir la main sur ce qui leur est soustrait. Bodie est pessimiste : désormais, “la relation de travail nécessite un flux de données trop important pour espérer ne jamais l’arrêter”. Selon lui, les travailleurs ont besoin de plus de droits sur leurs données et leur utilisation, à l’image de ceux que déploient le RGDP en Europe (comme le droit de limitation des finalités ou les droits d’opposition à certains types de prise de décision automatisée). Reste pourtant à trouver les modalités d’action collectives. Ici, Bodie dresse un comparatif avec l’hypersurveillance des athlètes de haut niveau, qui, malgré la démultiplication d’information sur leurs performances, gardent des droits sur leurs données voire des voix collectives pour négocier la portée de la collecte de données par les équipes. Les organisations syndicales devraient avoir la capacité de négocier avec les employeurs par l’accès aux données et leur partage – mais seulement 6% des employés du secteur privé sont syndiqués aux États-Unis. Les travailleurs sans représentation collective n’ont donc aucune perspective de pouvoir collectif sur la collecte. D’autres structures organisationnelles pourraient également faire levier, allant de l’actionnariat salarié aux coopératives de plateformes, en passant par la codétermination…  et invite à imaginer des “conseils de données” habilitées à examiner toute collecte ou utilisation de données des employés. “Nous devons donner aux travailleurs la possibilité d’avoir leur mot à dire dans la gestion des données et les droits sur les données qu’ils fournissent.” Oui ! Mais là encore la contribution ne trouve pas le levier de cette activation. 

On pourrait croire à lire ces billets, que le RGPD est l’alpha et l’omega de la solution. C’est oublier pourtant, comme le rappelle son intitulé complet, que celui-ci n’est pas qu’une protection vis-à-vis du traitement des données à caractère personnelles, mais qu’il organise également leur libre circulation, sous conditions.

Les calculs sont surtout opaques pour invisibiliser leurs incohérences et  renforcer leur opacité

Ce que ces billets disent assez imparfaitement, c’est ce que change cette surveillance, ses impacts et les modalités de cet impact. Ce qui se joue dans le renforcement de la surveillance au travail est pourtant très fort au niveau RH et plus encore au niveau de la question salariale. Les données sont de plus en plus utilisées pour produire des indicateurs de performances souvent problématiques sur de plus en plus d’employés, comme s’en émouvait un article du Washington Post prédisant l’arrivée du licenciement algorithmique. La surveillance a un impact direct sur l’employabilité, le recrutement et sur la rémunération. C’est ce qu’expliquait dans un autre billet du LPE Project la professeure de droit Veena Dubal. Dans le monde des plateformes de livraison ou de transport, la rémunération n’est pas fixe. Elle est à la fois “imprévisible, variable et personnalisée”. En cas de forte demande par exemple, les prix des courses vont augmenter et les revenus des coursiers également. Mais il n’y a pas que cette tension entre l’offre et la demande qui explique les variations, et même quand c’est cette explication qui domine, les variations demeurent incohérentes. En fait, la rémunération algorithmique n’est pas du tout une forme applicative et parfaite du marché, comme elle voudrait nous le faire croire. Au contraire.

Les incohérences sont nombreuses, explique Dubal. Parfois vous pouvez obtenir une prime si vous acceptez un trajet supplémentaire, mais bien souvent cette prime n’est pas proposée à un collègue qui a le même historique de circulation. La modularité des incitations de ce type varie sans arrêt, sans que les travailleurs ne parviennent à comprendre leur logique. A l’inverse, vous pouvez attendre ce trajet et cette prime liée à un certain nombre de courses à accomplir, sans que l’algorithme ne vous donne de course, alors que d’autres conducteurs en obtiennent. Le problème, c’est que tout cela n’est pas une question de marché, de malchance ou de hasard, mais bien le résultat d’un calcul. La manipulation des données des conducteurs permet de leur faire croire que les variations de leurs rémunérations tiennent d’un Casino, expliquait dans Fortune Stephanie Vigil, conductrice pour DoorDash, qui rappelle par exemple que les pourboires que les clients donnent ne sont pas attribués directement à leurs livreurs, mais obscurcies par les plateformes pour que les chauffeurs ne privilégient pas les courses avec pourboire. Pour elle, les conducteurs doivent récupérer l’accès à leurs données, comme le défend l’association DriverRights. Les bas salaires et les pourboires sont devenus la règle chez les plateformes de livraison de nourriture, rappelait Inayat Sabhikhi de One Faire Wage dans Points, l’année dernière, rappelant qu’elles ont toutes pratiqué le vol de pourboires et que toutes les organisations réclament désormais la transparence sur ceux-ci… sans l’obtenir. 

La surveillance pour produire des discriminations

De plus en plus de travailleurs du transport et de la logistique sont confrontés à un salaire constamment fluctuant lié à la gestion algorithmique du travail, explique encore Dubal. “Dans le cadre de ces nouveaux régimes de rémunération, les travailleurs perçoivent des salaires différents – calculés à l’aide de formules opaques et en constante évolution reflétant l’emplacement, le comportement, la demande, l’offre et d’autres facteurs de chaque conducteur – pour un travail globalement similaire.” Le problème de ces situations, n’est pas seulement celui d’une rémunération variable basée sur la performance, mais la conjonction de cette variabilité avec une autre : celle de la répartition du travail basée non seulement sur le comportement des travailleurs, mais également sur d’autres critères liés eux à la profitabilité que le calcul opère pour l’entreprise entre tous les critères. Elle produit une “discrimination salariale algorithmique” (voir également son papier de recherche) qui permet aux entreprises de personnaliser et différencier les salaires d’une manière inconnue à ceux que ce calcul impacte, en les payant pour qu’ils se comportent de la manière dont l’entreprise le souhaite, à la limite de ce qu’ils sont disposés à accepter. L’asymétrie d’information laisse à l’entreprise toute latitude d’ajustement. Enfin, “la discrimination salariale algorithmique crée un marché du travail dans lequel des personnes qui effectuent le même travail, avec les mêmes compétences, pour la même entreprise, en même temps, peuvent percevoir une rémunération horaire différente”, le tout via un système obscur qui ne permet ni de prédire ni de comprendre sa rémunération. 

Pourtant, rappelle la chercheuse, les lois internationales du travail rappellent qu’à travail égal salaire égal, et que les entreprises ne peuvent pas introduire de règles nouvelles ou opaques pour obscurcir le calcul du salaire. “Si un mineur devait être payé en fonction de la quantité de charbon qu’il extrayait, la société minière ne pouvait pas peser le charbon après l’avoir fait passer à travers un tamis”. Pourtant, c’est ce que font les calculs algorithmiques. Ils ruinent les logiques d’équité, notamment parce que le salarié ne peut pas connaître les critères que l’entreprise a déterminé pour évaluer son travail ou le planifier, et que le calcul rend le salaire de chaque personne différent, même si le travail est le même au même moment, comme c’est le cas entre les conductrice et les conducteurs d’Uber : les femmes gagnant 7% de moins que les hommes. 

En plus de saper l’équité salariale, la rémunération algorithmique est sans cesse changeante, ce qui fait que des pratiques rémunératrices peuvent ne plus le devenir d’une manière qui semble aléatoire au travailleur, alors qu’elles sont calculées. Les conducteurs parlent d’une “mécanique de casino”. Pour la chercheuse, le fait de reconnaître les coursiers comme des salariés ou de fixer des prix planchers pourraient améliorer les choses bien sûr. Mais la rémunération variable automatisée nécessite, elle, une réglementation supplémentaire. La contre-collecte de données (organisés par les travailleurs indépendants pour documenter les algorithmes auxquels ils n’ont pas accès, à l’image de ce que le Worker Info Exchange a mis en place pour et avec les chauffeurs d’Uber) ou les appels à une plus grande transparence des calculs oeuvrent dans le bon sens, mais sont également insuffisants. La chercheuse invite à aller plus loin via une “abolition de l’extraction de données au travail”. L’extraction de données au travail n’est pas nécessaire à la gestion du travail, rappelle-t-elle en invitant à en finir avec le calcul algorithmique au travail. Radical ! 

Réguler le croisement de données

Sans être aussi radical qu’elle, il me semble que le problème, ici, tient du fait que nous sommes en train d’autoriser des croisements de données qui ne devraient pas l’être. A l’ère de l’Intelligence artificielle, les entreprises ont intégré l’idée que pour améliorer leurs calculs, elles devaient disposer de toujours plus de données et que de leurs croisements sortiront des indicateurs de performance toujours plus optimaux. Mais on ne s’est jamais posé la question de savoir si certains croisements n’étaient pas souhaitables, voire contraires à l’esprit du droit du travail. Que se passe-t-il quand le calcul du salaire est corrélé au planning afin d’optimiser les deux, voire l’un plus que l’autre, comme le montrait le scandale Orion à la SNCF, où dans les entrepôts du hub logistique néerlandais, où les informations de planning sont corrélées avec le calcul de primes, pour les limiter. C’est typiquement ce que montre Veena Dubal quand elle souligne que la prime devient inaccessible à un chauffeur parce que son obtention vient en conflit avec l’objectif de réduction des coûts que programme également le système d’Uber. Pour ma part, il me semble qu’à l’heure où l’on promet de pouvoir croiser toutes les données les unes avec les autres, il est temps de se demander quelles données RH ne doivent pas être croisées entre elles. Pour poser la question des limites à la surveillance, il est nécessaire de regarder ce que produit l’interconnexion de ces données et de montrer qu’il y a des croisements de données, des calculs qui ne devraient pas être possibles. A l’heure où les entreprises partent du principe que toutes les données sont associables pour produire de meilleurs calculs et de meilleurs indicateurs, la piste qui n’est jamais évoquée dans cette libération des calculs, c’est la régulation de leurs croisements. Peut-être que certains croisements ne devraient pas être rendus possibles, parce qu’ils transforment profondément l’esprit de la loi qui régit le code du travail. En tout cas, à l’heure où tous les croisements de données sont autorisés, nous interroger sur ce qui ne devrait pas être corrélé est assurément un exercice qui pêche par son absence.

Pas de transparence sans lutte sociale

En fait, les appels à la transparence se démultiplient sans être suivis d’effets, d’abord parce que le régulateur n’incite pas à la transparence, mais surtout, parce qu’à elle-seule, la transparence ne suffit pas à produire le progrès social.  

En septembre, la Stanford Social Innovation Review publiait un dossier sur les questions de technologies au travail. Parmi les contributions, celle de Christina Colclough et Kate Lappin revenait sur la nécessité de se mobiliser pour que le développement technique au travail soit plus maîtrisé qu’il n’est (on avait déjà rencontré les stimulantes réflexions de Christina Colclough en défense de l’algogouvernance). « Les systèmes numériques au travail sont souvent présentés comme augmentant l’efficacité et la productivité et rendant les décisions plus neutres, en supprimant la subjectivité humaine. Mais trop souvent, les algorithmes reproduisent et intensifient les inégalités et les préjugés, conduisent à une demande croissante de productivité des travailleurs et utilisent les données des employés de manière à la fois opaque et abusive. Aujourd’hui, les travailleurs n’ont aucune idée des données qui sont collectées par devers eux ni de la manière dont elles sont utilisées pour évaluer leurs performances, alors que des jugements sont souvent effectués par des systèmes automatisés tiers, dont les fonctionnements ne sont jamais explicités ». Alors que les cas problématiques documentés sont nombreux, la même cause produit les mêmes effets : « lorsque les travailleurs n’ont pas accès aux algorithmes utilisés par les employeurs, il est presque impossible de prouver qu’il y a eu discrimination ». La transparence en matière de salaires et de conditions de travail est censée être la règle, mais les systèmes numériques propriétaires sapent ce principe. 

Construire des syndicats puissants pour dominer le bossware de l’IA.

Pour l’améliorer, plusieurs initiatives sont mobilisables, comme la formation en négociation sur la numérisation dispensée par le syndicat Public Service International ou encore le guide de la gouvernance des systèmes algorithmiques au travail du Why Not Lab, le cabinet de conseil de Colclough, qui permet aux syndicats d’adresser des questions aux directions sur les systèmes utilisés ou encore la clause du droit d’entrée numérique que les syndicats proposent d’introduire dans les conventions collectives, afin que les technologies utilisées par les employeurs soient mieux documentées. Les deux autrices défendent une gouvernance inclusive des systèmes avec ceux qui sont affectés par eux. Le Community and Public Sector Union australien qui représente les travailleurs qui gèrent le système de protection sociale a négocié avec succès un ensemble de clauses dans sa nouvelle convention collective pour permettre aux travailleurs sociaux de dénoncer des utilisations d’algorithmes contraire à l’éthique, afin qu’à l’avenir un scandale comme celui du robot-dette (un programme gouvernemental qui a envoyé des demandes de remboursement de dettes à plus de 400 000 bénéficiaires de prestations sociales) ne puisse plus être possible. Reste, rappellent les deux chercheuses et militantes, qu’aucun des progrès obtenus par des travailleurs n’a été obtenu facilement : tous sont le résultat d’une lutte soutenue, et celle-ci doit désormais se faire jusqu’aux outils numériques !

Un autre article sur la surveillance des lieux de travail, explique que celle-ci n’a plus du tout comme enjeu le déploiement de caméras de surveillance. La surveillance des cadences et des comportements est désormais l’objet d’innombrables dispositifs embarqués… La pandémie a favorisé l’essor de systèmes de surveillance, comme le montrait un rapport de Data & Society sur « le patron perpétuel ». Le rapport de Coworker sur le déploiement des « petites technologies de surveillance », mais omniprésentes (qu’on évoquait dans cet article) rappelait déjà que c’est un essaim de solutions qui se déversent désormais sur les employés. A l’image des outils de surveillance des postures comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon et qui transforment la question de la sécurité au travail en score que les employés doivent respecter. 

Le patron perpétuel, un rapport de Data & Society

Les conséquences sont diverses : augmentation de la discrimination, de la surveillance, atteintes à la vie privée et aux droits d’organisation collective, marchandisation des données, impossibilité de se déconnecter… « La surveillance n’est pas simplement une pratique commerciale invasive, mais un principe opérationnel visant à contrôler les travailleurs et à optimiser les profits ». 

Le Bossware : « une pratique commerciale déloyale »

Avec sa verve à nulle autre pareille, Cory Doctorow explique que les logiciels du patronat sont aussi défaillants que l’a été la gestion scientifique du travail inventée par « l’escroc » Frederic Taylor. Taylor a fait croire aux riches industriels qu’il pouvait augmenter la productivité des ouvriers en « transformant leur travail en une sorte de kabuki de l’obéissance ». Les employés n’étaient pas plus efficaces, mais avaient l’air plus obéissants, ironise-t-il, à la plus grande satisfaction de leurs patrons. Les employeurs ont pourtant bien remarqué que leurs revenus ne s’amélioraient pas avec le taylorisme, mais Taylor leur a fait croire que c’était parce que cette gestion scientifique n’était pas encore assez aboutie. « Plus ses conseils étaient mauvais, plus il y avait de raisons de le payer pour plus de conseils ». « Le taylorisme est une arnaque parfaite pour les riches et les puissants. Il alimente leurs préjugés et leur méfiance envers leurs employés, et leur confiance mal placée en leur propre capacité à comprendre le travail de leurs employés mieux que leurs employés. » 

Ce management scientifique du travail est désormais disponible sous formes d’innombrables applications, explique Doctorow. C’est ce qu’on appelle le « bossware », le matériel du patron. « Les travailleurs indépendants sont au cœur du bossware ». Alors que le travailleur indépendant rêve de devenir son propre patron, il est en fait totalement dépendant d’un téléphone qui le surveille et le discipline en continue. Et l’IA vient renouveler cette bulle du bossware, qui continue à venir convaincre les patrons que l’IA va pouvoir faire votre travail à votre place, comme il a été convaincu que la gestion scientifique du travail allait améliorer la productivité. 

Pour Alvaro Bedoya, commissaire à la Commission fédérale du travail américaine (FTC) qui s’intéresse à la protection des travailleurs, cette gestion algorithmique du travail devrait être considérée comme illégale, explique-t-il dans une stimulante défense. En moyenne, rappelle ce dernier, un employé d’un centre d’appels est soumis à au moins 5 formes de surveillance qui pèsent sur lui, le dénigrent et ne tolèrent aucune discussion. A savoir, une surveillance vidéo sous IA, une surveillance vocale sous IA qui prétend mesurer leur empathie, une IA qui chronomètre leurs appels, une autre qui analyse les sentiments durant l’appel et une dernière qui évalue la réussite des employés à atteindre des objectifs arbitraires. Bedoya estime que ces surveillances pourraient être qualifiées de pratiques commerciales déloyales… Prouver une pratique commerciale déloyale nécessite de démontrer qu’elle cause un « préjudice substantiel », qu’elle ne peut pas être « raisonnablement évitée » et qu’elle n’est pas corrigée par un « avantage compensatoire ». Dans son discours, Bedoya fait valoir que la gestion algorithmique du travail satisfait à ces trois critères… et que la FTC qui est chargée de réguler les pratiques commerciales déloyales devrait être capable d’agir. Par exemple, il est clair que l’augmentation des cadences que produit le bossware conduit à des préjudices sur la santé des employés. Que l’autoritarisme des applications de surveillance des chauffeurs-livreurs ne peut pas être évité. Enfin, elles ne proposent aucun avantage compensatoire, au contraire. La gestion algorithmique du travail produit surtout des sanctions arbitraires, comme quand les opérateurs de centres d’appels qui ont un accent, du Sud des Etats-Unis ou des Philippines, sont évalués négativement par les IA qui sont chargés de détecter leur émotion. « Les travailleurs devraient avoir le droit de savoir quelles données les concernant sont collectées, par qui elles sont partagées et comment elles sont utilisées. Nous devrions tous avoir ce droit. »

« Les gens riches peuvent rester irrationnels plus longtemps que vous ne pouvez rester solvables. Les marchés ne résoudront pas ce problème, mais le pouvoir des travailleurs le peut », conclut Doctorow.

Reste que démontrer l’arbitraire et pire encore l’absurdité des calculs reste extrêmement difficile. 

Dans un autre billet, l’infatigable Doctorow revient sur le travail d’un groupe de chercheurs et de hackers européens, Reversing Works (une division spécialisée du collectif AI Forensics, ex-Tracking Exposed), qui ont contribué à un travail d’ingénierie inversée sur l’application de livraison italienne Glovo/Foodinho, multicondamnée par les autorités italiennes pour atteinte à la vie privée. Dans un rapport publié par l’Institut syndical européen en novembre 2023, on apprenait que l’application démultipliait l’utilisation de données problématiques, surveillait les travailleurs au-delà de leurs heures de travail, utilisait un score de notation des travailleurs et envoyait d’innombrables informations confidentielles à des tiers. Pour Doctorow, ce mode d’enquête et de révélation présente un réel potentiel pour les organisations syndicales qui cherchent à protéger les travailleurs et promet également de développer des outils d’action directe qui permettent aux travailleurs de retrouver du pouvoir. « Ce n’est qu’en s’emparant des moyens de calcul que les travailleurs et les syndicats peuvent renverser la situation face au système de domination, à la fois en modifiant directement les conditions de leur emploi et en produisant les preuves nécessaires à ces démonstrations. Autant d’outils que les régulateurs pourraient également utiliser pour forcer les employeurs à rendre ces changements permanents. » Comme l’expliquait le collectif dans un communiqué, le RGPD est insuffisamment utilisé par les syndicats, notamment parce que « la vie privée est un droit individuel qui n’est pas considéré comme un outil de lutte des travailleurs », alors qu’il permet de contester nombre de pratiques déloyales. 

Reste que la production de « contre-données » – comme l’ont fait Reversing Works avec Glovo, le Worker Info Exchange ou le Stop-Club au Brésil ou encore Driver’s seat, une coopérative de chauffeurs qui aide les conducteurs à utiliser leurs données pour optimiser leurs revenus – n’est pas si simple. Le problème, bien sûr, c’est que ces collectes sont compliquées et fragiles à mettre en place et leurs résultats pas toujours assurés. En 2021 par exemple, des livreurs de Doordash avaient mis au point un outil pour observer les pourboires qu’ils recevaient sur l’application pour veiller à ce que l’entreprise ne les accapare pas… jusqu’à ce que l’entreprise ferme l’accès aux données. Sans compter que bien souvent, le législateur ne permet pas aux employés de produire des données en parallèle de celles de l’employeur. 

Pas plus qu’il n’oblige les entreprises au partage de données à leurs employés et à leurs représentants… Le problème, c’est que le RGPD en consacrant exclusivement un droit aux données personnelles a oublié d’armer le droit aux données collectives. C’est bien souvent au prétexte que les données mobilisées par les entreprises sont personnelles que les collectifs de travail et les syndicats ne peuvent y avoir accès, alors que leur traitement collectif, lui, est possible pour les entreprises. 

Limiter les cadences comme on lutte contre le morcellement des horaires

Autre piste d’action pour limiter la surveillance au travail : mettre des seuils aux cadences que la convergence des systèmes de surveillance numérique tentent d’optimiser ! La réponse consiste alors pour le régulateur à poser des limites aux cadences (à l’image d’une récente loi californienne et de la décision de la Cnil contre Amazon Logistic) tout comme il intervient parfois pour définir des limites aux morcellement horaires du travail en définissant par exemple des durées minimales de travail journalier. 

Reste que légiférer pour faire que les outils de contrôle du travail rendent des comptes est difficile, comme le montre l’échec de la loi new-yorkaise à imposer des audits aux outils d’embauches automatisés qui continuent à proposer peu de recours et de garantie aux chercheurs d’emplois (voir notre article sur la question, qui pointait les limites de la régulation des outils de recrutement automatisés). 

Autre risque : le caractère discrétionnaire et opaque des promotions et avantages, à l’image du titre de « Master » qu’Amazon attribue à certains travailleurs du Mechanical Turk selon un score de confiance confidentiel : une forme de plafond de verre algorithmique que dénonçait la chercheuse Lilly Irani. Même chose quand Amazon finalement note les travailleurs de ses entrepôts selon leur rapidité d’exécution ou leur taux d’erreur, sans prendre en compte les particularités de ses employés, indifférent aux situations, au genre, au handicap… ou au taux d’accident provoqué. Ajoutez à cela le fait que les données permettent de fixer des objectifs dynamiques, des performances changeantes et opaques… et vous avez un cocktail de paramètres opaques qui vient directement impacter et fragiliser le droit du travail. 

Il n’y aura pas de limites à la surveillance sans consacrer un droit d’accès aux données pour les travailleurs

Qui décide de la signification que les traitements produisent depuis les données ? Telles sont les questions que pose un intéressant travail sur la dataification du travailleur réalisé par la chercheuse Alexandra Mateescu pour Data & Society. La chercheuse y rappelle simplement que le management algorithmique ne peut pas remplacer les règles qui garantissent des droits équitables, comme le pointait déjà l’AI Now Institute. Quant à l’information des salariés sur la collecte et le traitement des données les concernant, elle est bien souvent insuffisante pour remédier aux problèmes. Le management algorithmique ne peut pas remplacer les droits des travailleurs, bien au contraire, il les sape. 

Pour dépasser ces problèmes, nombre de travailleurs tentent de s’organiser pour reprendre la main sur leurs données, explique Alexandra Mateescu. Mais ces tentatives nécessitent de leur part une organisation, une expertise et des moyens dont ils ne disposent pas toujours. 

Les syndicats sont néanmoins de plus en plus conscients de l’impact des données et tentent de plus en plus souvent d’inclure des dispositions relatives à celles-ci dans leurs négociations, comme le montrait la chercheuse Lisa Kresge dans un rapport pour le Labor Center de Berkeley. Une coalition de syndicats de services publics européens a mis en place un espace de ressource (en français) pour faciliter les négociations sur les enjeux numériques. Reste que la question des données et de leur accès demeure trop souvent secondaire dans les négociations syndicales. On le comprend. Mais il n’y aura pas de limites à la surveillance sans consacrer un droit d’accès et de traitement pour les travailleurs et leurs représentants. 

Hubert Guillaud

Ce que la surveillance change au travail

Cette semaine, avant de revenir à nouveau sur ce que transforme la surveillance au travail, on republie un article de fond, publié en janvier 2023, une lecture du livre de la sociologue américaine Karen Levy qui a observé comment la surveillance a transformé le monde des routiers américains. La grande force du livre, c’est qu’on observant un secteur particulier, Karen Levy nous explique les conséquences de la surveillance, bien au-delà du monde de la route. En voiture !

Dans son livre, Data Driven : Truckers, Technology and the new workplace surveillance (Princeton University Press, 2023, non traduit), la sociologue Karen Levy a enquêté sur les routiers américains à l’époque où leur a été imposé les systèmes de surveillance électronique (Electronic logging devices, ELD, devenus obligatoires depuis 2017 ; en France on parle de chronotachygraphes numériques, devenus obligatoires dans les camions neufs depuis 2006). Ces systèmes électroniques (qui ressemblent à des autoradio), capturent des données sur l’activité des camions et donc des routiers. Ils poursuivent une longue histoire de la régulation du transport, qui depuis les années 30, d’abord avec des journaux papiers que les conducteurs étaient censés tenir, tente de tracer le travail des routiers pour mieux le contrôler. C’est donc très tôt, dès le développement du transport routier, que le régulateur a cherché à s’attaquer à la fatigue et au surtravail des routiers. L’introduction du numérique ici, utilise un des grands arguments de sa légitimation : l’infalsifiabilité !

Le numérique commande, le numérique surveille, le numérique punit

Le livre de Karen Levy s’intéresse à comment la surveillance numérique transforme le lieu de travail et la nature du travail des routiers. Son titre s’amuse de la formule très usitée de Data Driven, qui évoque les entreprises où toutes les approches sont “conduites par la donnée”, c’est-à-dire pilotées par les technologies et l’analyse de données. Ici, l’enjeu est de regarder comment les données conduisent désormais les camions et le sens de ce changement de pilote, de cette transformation par le numérique. Ce qui change avec les données, c’est la manière dont elles mettent en application les métriques qu’elles produisent, dont elles les imposent pour gouverner la réalité. L’enjeu est d’interroger comment « l’exécution numérique » (traduction très imparfaite du digital enforcement, c’est-à-dire l’usage de la technologie pour imposer et faire respecter les règles) repose sur un ensemble de directives légales et organisationnelles qui bouleversent l’autonomie traditionnelle des conducteurs routiers. Ici, le numérique joue un rôle particulier et qu’on lui prête souvent : celui d’imposer, de commander, d’ordonner. Il est le garant de l’application des règles, il est le moyen pour contraindre et soumettre l’individu aux commandements légaux et hiérarchiques dont il dépend. Il est à la fois l’outil de mesure et de contrôle. Il assure un calcul dont l’humain sera tenu pour responsable. 

Pourtant, « les règles ne sont pas toujours des règles », rappelle Karen Levy. Elles sont bien souvent façonnées par des réalités sociales, culturelles et économiques et ne sont jamais aussi simples qu’elles paraissent : même une limitation de vitesse engendre des formes de tolérances. Les pratiques de travail s’ajustent plus ou moins aux règles et obligations qui leurs incombent, certaines étant plus strictes que d’autres, plus réprimées, plus surveillées. Le problème, c’est que ce respect sélectif des règles est le lieu de l’arbitraire et des discriminations. Et quand une autorité décide de renforcer une disposition réglementaire par la technologie sans prendre en compte le fossé des pratiques, elle perturbe l’ordre social.

Image : la couverture du livre de Karen Levy.

La technologie est de plus en plus convoquée pour réduire le fossé entre la loi et la pratique, comme si ce fossé pouvait se réduire par un simple renforcement, une boîte de Skinner pour altérer nos comportements, à l’image des rats de laboratoires qu’on dresse à coups de récompenses et de décharges électriques. Elle est souvent convoquée pour rendre les règles plus strictes, plus difficiles à briser. Pourtant, estime Karen Levy, les technos n’empêchent pas les comportements déviants. Elle permet parfois de mieux les détecter, les documente et oblige ceux qui y ont recours à devoir en rendre compte. Elle permet peut-être de dissuader les comportements sanctionnés, de les réprimer, mais certainement bien plus de les déporter et de les transformer. 

Nos représentations de l’avenir du travail balancent entre un futur ou nous disposons de plus d’autonomie, aidés par les machines, et son exact inverse, celui où le moindre de nos comportements est scruté, prédit et optimisé par la machine. La vérité est que le futur du travail ressemble surtout aux pratiques d’aujourd’hui et aux pratiques d’hier, rappelle avec raison la sociologue. L’avenir du travail reste construit sur les mêmes fondations : à savoir « la motivation, l’efficacité, la minimisation des pertes, l’optimisation des process et l’amélioration de la productivité ». Et pour atteindre ces différents objectifs, la stratégie la plus commune reste la surveillance accrue des travailleurs. Qu’importe si elle marche assez mal…

Ce qui change avec la surveillance numérique, c’est qu’elle est capable de s’introduire dans de nouveaux types d’espaces (et la cabine du chauffeur routier en est un bon exemple). Elle est capable de produire de nouveaux types de données, plus granulaires, depuis de nouveaux capteurs (biométriques notamment) pour produire toujours plus de métriques… qui permettent de produire de nouvelles analyses qui impactent la gestion des travailleurs en temps réel et de manière prédictive. Des analyses bien souvent produites via des systèmes opaques et asymétriques, conçus d’abord au bénéfice exclusif des employeurs. Enfin, cette surveillance produit de nouveaux enchevêtrements, par exemple quand le télétravail capture des données relatives à la vie privée ou à la santé… qui posent de nouveaux enjeux en termes de sécurité ou de vie privée.

Si les chauffeurs routiers ont longtemps eu plus de liberté et d’autonomie que bien des travailleurs en cols bleu, cela a bien changé, raconte la chercheuse. Certes, la route est restée avant tout une identité, où règne une culture d’appartenance très marquée, éminemment viriliste, très libertarienne. Mais la surveillance électronique a réduit l’autonomie des routiers – et c’est bien souvent ce qu’elle produit, partout où elle s’impose : elle produit de nouvelles régulations de l’autonomie, de nouvelles négociations autour de la liberté. Pour Karen Levy, les technologies déstabilisent bien plus les relations de pouvoir qu’elles ne renforcent l’autorité du surveillant. Son livre est une très bonne parabole des transformations du monde du travail par la technologie, qui font écho à d’autres travaux, par exemple, à ceux du sociologue David Gaborieau sur le monde de la logistique transformée par la commande vocale et les PDA.

Le business dégradé de la route

En 2018, aux Etats-Unis, 37 millions de camions sont enregistrés dans un but commercial, accomplissant des milliards de kilomètres chaque année pour transporter 20 milliards de tonnes de fret. Cette industrie emploi 8 millions de personnes, dont 3,6 millions de chauffeurs, dont 2 millions sont chargés du transport longue distance. Comme nombre d’industrie, le transport est une industrie contrôlée et les prix y sont assez standardisés. Pourtant, le secteur a connu plusieurs chocs de dérégulation depuis la fin des années 70. Dans les années 80, les tarifs d’expédition se sont effondrés de 25% alors que de nouveaux transporteurs entraient sur le marché. Des centaines de camionneurs ont connu la crise et perdus leurs jobs. Pour les autres, leurs salaires ont chuté de 44% (entre 1977 et 1987). Pour compenser cette perte de salaire, les camionneurs ont dû allonger leurs heures de travail. La dérégulation des années 80 a été un cataclysme, explique la sociologue. Dans les années 80 un camionneur pouvait se faire 110 000 $ par an, quand il n’en gagne en moyenne plus que 47 000 aujourd’hui. Bas salaires et surtravail ont transformé le transport en « atelier clandestin sur roue ».

Les routiers sont les plus tués ou blessés des travailleurs américains : 1 travailleur sur 6 tué au travail aux Etats-Unis est un camionneur, et ce chiffre se dégrade malgré le déploiement de toujours plus de mesure de sécurité (sans compter les autres problèmes de santé qui les touchent particulièrement, comme le fait qu’ils fassent peu d’exercice qui conduit la profession à avoir la plus forte incidence de taux d’obésité du pays, comme une forte pratique médicamenteuse, et les déplacements incessants qui rendent difficiles l’accès à un médecin, pour une population qui vieillit plus qu’elle ne rajeunit : l’âge moyen est de 46 ans et augmente. 2/3 des conducteurs sont blancs, même si la proportion de conducteurs noirs et latinos augmente…). Si conduire un camion est l’un des jobs le plus courant dans la plupart des États américains, le turnover y est phénoménal. Chez les grands transporteurs, il est de 100% sur l’année et chez les petits, il est très élevé également. Pour les entreprises, qui en ont pris leur parti, il est devenu plus simple de s’adapter au turnover que de chercher à traiter le problème. 90% des entreprises ont au maximum 6 camions, et un grand nombre de routiers (10%) sont indépendants, c’est-à-dire sont les propriétaires de leur propre camion. Pourtant, le marché est surtout détenu désormais par de très grandes entreprises : 20% des entreprises de transport contrôlent 80% des actifs de l’industrie. Derrière cette description, on voit que la figure du camionneur, chevalier solitaire des autoroutes, tient désormais plus d’une représentation que d’une réalité.

Le surtravail des routiers est le résultat direct de la façon dont ils sont payés, rappelle Levy. Ils sont payés au kilomètres : à l’origine, c’était bien sûr pour aligner leurs objectifs à ceux de leurs entreprises, les pousser à maximiser le temps de conduite. Pourtant, depuis toujours les routiers ne font pas que conduire… Ils inspectent et réparent leur camion, ils remplissent le réservoir, font des pauses, se coordonnent avec les expéditeurs et les réceptionneurs, et surtout passent beaucoup de temps à attendre lors des chargements et déchargements de leurs cargaisons (les conducteurs parlent de « temps de détention »). Mais les routiers ne gagnent pas d’argent sur ces moments. Avant la dérégulation des années 80, un grand nombre de routiers étaient payés à l’heure pour les tâches où ils ne conduisaient pas, mais la concurrence a fait disparaître ces petits avantages. Alors que les syndicats ont été un puissant levier de la profession pendant longtemps (au début des années 70, le transport était la plus syndiquée des industries américaines, avec plus de 80% de travailleurs syndiqués… En 2000, ce taux n’est plus que de 25%, et il est à moins de 10% aujourd’hui), ils sont désormais un repoussoir. Politiquement, les routiers sont surtout majoritairement libertariens. La route est devenue un mauvais métier, mais est resté un métier avec une identité, une fierté et une empreinte culturelle forte, particulièrement masculiniste.

Plus de surveillance, plus de pression !

Si la régulation est de retour, plus que de s’intéresser aux conditions de travail, elle s’est surtout intéressée au contrôle des véhicules. Concernant les employés, elle s’est concentrée sur un seul aspect : le temps consacré à la conduite. Le surtravail et le manque de sommeil sont endémiques dans une profession payée au kilomètre. Les semaines de 65 heures ou plus sont nombreuses, les nuits de 5 heures sont courantes. Chaque année, les accidents de la route impliquant des camions tuent 5 000 personnes et blessent 150 000 personnes.

Pour résoudre ces problèmes, les autorités ont cherché à réguler la durée de travail, en imposant des pauses et des durées de conduites, des limites. Restait à en assurer le contrôle. Dès les années 40, les autorités ont imposés aux conducteurs de tenir un journal de bord où ils devaient consigner leur temps de travail, sous la forme d’un graphe (des documents soigneusement et uniquement destinés au contrôle, pas à la paye !). Ce contrôle souvent documenté a posteriori a longtemps été assez permissif, permettant beaucoup d’arrangements pour tenir les délais imposés par les employeurs. Mais plus qu’imposer une solution économique, le régulateur a imposé une solution technique afin de rendre plus difficile aux routiers de falsifier l’enregistrement de leur temps de travail. Envisagée dès 2003, l’imposition des ELD électroniques sera longue et progressive. Annoncée dès 2012, elle sera effective et obligatoire en décembre 2017 seulement (permettant aux employeurs de se préparer : en 2016, 80% des grands transporteurs s’étaient déjà équipés contre seulement 30% des petits).

Image : un chronotachygraphe numérique.

Cette obligation a été bien sûr très contestée. Pour les routiers, ces objets sont avant tout un affront à leur vie privée, à leur dignité, à leur indépendance… Pour eux, ces objets et la surveillance qu’ils imposent, les considère comme des criminels ou des enfants. Pourtant, rappelle Karen Levy, le problème n’est pas qu’ils falsifiaient leurs journaux de bords papiers (assez marginalement visiblement), mais que l’industrie soit tout entière orientée pour leur demander de contourner les règles. Le renforcement du contrôle s’impose alors sur le moins puissant de la chaîne industrielle du transport : le chauffeur. Il est considéré comme un menteur dont le comportement doit être redressé, plutôt que comme un professionnel qui doit faire face à des injonctions contradictoires. Surtout, plutôt que de résoudre le problème de la paye au kilomètre, la surveillance l’entérine, sans s’intéresser par exemple au temps d’attente sur les docks (63% des camionneurs rapportent qu’ils peuvent y passer plus de 3 heures).

Pour finir, rapporte Levy, la surveillance n’a pas résolue le problème qu’elle était censée résoudre. La surveillance rend-t-elle les routes plus sures ? Certes, les appareils ont amélioré la conformité des conducteurs aux règles. Avant l’obligation des appareils, les violations du nombre d’heures de travail étaient constatées lors de 6% des contrôles quand elle est descendue à 2,9% depuis. Le gain est notable, mais le problème n’était pas si prégnant que le clame le discours des autorités. Les études n’ont pas trouvé non plus que les appareils électroniques permettaient de réduire le nombre d’accidents (au contraire, les accidents ont tendance à augmenter, notamment chez les petits transporteurs). Les appareils n’ont pas permis de résoudre le temps d’attente des routiers, qui est bien souvent la source d’une prise de risque supplémentaire pour tenir ses délais et ne pas dépasser des horaires qu’ils doivent plus strictement respecter. En fait, l’inflexibilité qu’introduit la surveillance électronique a surtout généré plus de pression sur les conducteurs : les infractions pour conduite dangereuse ont augmenté de 35%.

Derrière la régulation, la gestion : un contrôle social étendu pour aligner les travailleurs aux objectifs des organisations

Les appareils, imposés par le régulateur et pour la régulation, n’ont pas été que des outils de régulation, mais sont vite devenus des outils de gestion. Alors que les camions ont longtemps été immunisé d’une surveillance étroite par les managers, les appareils ont changé cela. « La surveillance numérique conduit à deux importantes dynamiques de changement dans la façon dont les routiers sont gérés par leurs entreprises. D’abord, la surveillance résume les connaissances organisationnelles, les extrait de leurs contextes locaux ou biophysiques (c’est-à-dire ce qu’il se passe sur la route, dans le corps et autour du conducteur) pour les agréger dans des bases de données qui fournissent aux managers de nouveaux indicateurs pour évaluer le travail des routiers. » Ces indicateurs permettent aux managers de construire un contre-narratif de celui de leurs employés, une autre interprétation qui peut venir contredire l’employé, permettant de surveiller la réalité de ses déclarations en regardant sur le GPS où il se trouve précisément. Ensuite, « les entreprises resocialisent les données de surveillance abstraites en les réinsérant dans des contextes sociaux et en créant des pressions sociales sur les camionneurs pour qu’ils se conforment aux exigences organisationnelles. » Par exemple en encourageant une comparaison entre conducteurs sur celui qui conduit le mieux ou celui qui conduit en dépensant le moins de carburant. Le but, ici, clairement, est d’ajouter de nouvelles pressions sur le conducteur pour qu’il se conforme à ses tâches.

La surveillance des travailleurs n’est pas nouvelle. La techno permet aux employeurs d’avoir une meilleure visibilité sur les tâches et par là de mieux discipliner les travailleurs. Les nouveaux outils ont pour but de capturer des informations toujours plus fines et de nouvelles informations (comme les données biométriques) en abaissant le coût de cette surveillance. Ce faisant, la surveillance rationalise le travail : le découpe en microprocessus, le décontextualise, et convertit le travail en pratiques objectivables et calculables. En fait, les ELD se sont révélés plutôt intéressantes pour les employeurs qui ont déployés avec ces outils des systèmes de management de flotte qui leur permettent d’avoir des informations plus précises sur l’activité des routiers, de connaître en temps réel la géolocalisation des camions, mais aussi d’avoir des informations sur leurs modes de conduites (freinage, consommation de carburant…) ainsi que des informations sur la maintenance et le diagnostic du véhicule. Ces systèmes ont renforcé la communication entre le camionneur et son employeur. Enfin, ces données permettent également de faire de la prédiction de risque.

Les entreprises se servent de ces données pas seulement pour elles, mais également pour d’autres. Ces données sont souvent rendues visibles ou accessibles à leurs clients, pour renforcer la fluidité de la chaîne logistique et prévoir l’arrivée des cargaisons. En fait, ces outils sont utilisés pour aller au-delà de ce que proposait la loi (ainsi, celle-ci n’impose un enregistrement de la localisation qu’une fois toutes les 60 minutes, alors que les dispositifs procèdent à un enregistrement en continu). Les dispositifs ont changé la nature de qui détenait l’information. Désormais, les conducteurs n’ont plus l’exclusivité de l’information contextuelle, ce qui modifie leur relation avec leurs employeurs et donc leur indépendance. Les firmes ont même à leur disposition de nouvelles informations dont les conducteurs ne disposent pas, comme des informations sur leur conduite (freinages intempestifs, consommation d’essence…). Les outils permettent enfin une surveillance et une communication plus intensive et plus fréquente, et également plus immédiate, en temps réel, par exemple en informant immédiatement d’une durée de conduite trop longue par rapport à son stricte cadre horaire. Avec le déploiement de la technologie, c’est souvent l’autonomie qui recule : les employés devant répondre et être pénalisés pour chaque problème qui remonte des pipelines informationnels.

Ces nouveaux flots d’information conduisent à de nouvelles stratégies de gestion des hommes, que ce soit par l’évaluation des performances des conducteurs comme leur comparaison entre eux. Les données sont ainsi « resocialisées », c’est-à-dire que les métriques sur les conducteurs sont partagées entre eux pour créer une pression sociale pour les pousser à se conformer aux règles. Beaucoup de gestionnaires de flotte postent ou classent les conducteurs selon leur score de conduite pour créer une pression sociale comparative et pousser les conducteurs à s’améliorer. Certaines entreprises les couplent avec de petites primes financières. Parfois, ces incitations dépassent le cadre de l’entreprise : quelques rares entreprises procèdent à des cérémonies ou des banquets, invitant les familles des conducteurs ou remettant la prime à leurs femmes pour renforcer cette pression sociale. Pour Karen Levy « le contrôle social basé sur les données dépend toujours beaucoup du fait qu’il se situe dans des forces sociales “douces” comme les soins familiaux – contrairement au récit courant selon lequel la gestion basée sur les données est abstraite et impersonnelle ».

Image d’un tableau de bord pour gérer une flotte de camion via OverDriveOnline.

Les dispositifs de contrôle des chauffeurs ne sont donc pas qu’une technologie de conformité réglementaire. Ils sont avant tout des outils de contrôle organisationnel qui visent à aligner les incitations pour que les travailleurs se conforment aux objectifs de profits des organisations.

Nouvelles données, nouveaux profits

La production de nouvelles données nécessite qu’elles soient rendues productives. Elles sont donc vendues ou partagées bien au-delà de l’entreprise. Avec les clients par exemple, mais aussi avec d’autres acteurs, comme les assureurs pour réduire le montant des primes. Elles peuvent également permettre de générer de nouveaux revenus, comme c’est le cas de tout un écosystème d’applications numériques dédiées à la conduite. Désormais, les routiers peuvent réserver des places dans des parking dédiés, via des applications comme Trucker Path. Sur la même application d’ailleurs, des entreprises vendent des correspondances de chargement, pour remplir les camions sur des segments de disponibilités, à la manière des chauffeurs sur Uber. D’autres utilisent ces données pour prédire de la maintenance, détecter l’état des routes, ou améliorer les délais de chargement/déchargement et les temps d’attente, comme Motive. Cette surveillance et ces nouvelles métriques pour améliorer la productivité ont bien plus profité aux gros transporteurs qu’aux petits, estime Karen Levy.

Mais surtout, la surveillance imposée par les autorités et celles des entreprises sont « profondément interopérables », même si elles accomplissent des buts différents. Elles sont « profondément compatibles », et l’une facilite le développement de l’autre. En fait, la collecte de données est elle-même au croisement des intérêt des autorités, des entreprises et d’acteurs tiers qui vont la faire fructifier. Les usages des données se chevauchent et s’entretiennent dans un ensemble d’intérêts légaux, socioculturels, économiques et techniques. « Ces synergies rende les systèmes de surveillance publics et privés pragmatiquement inséparables. La superposition d’intérêts de surveillance par le biais de systèmes interopérables se traduit par une plus grande capacité de surveillance nette que celle que l’État ou la société pourraient atteindre par eux-mêmes, créant un assemblage hybride de régimes de surveillance qui s’appliquent mutuellement. »

Karen Kelly a ensuite un long développement sur la manière dont les dispositifs changent le travail des officiers chargés du contrôle des temps de travail des camionneurs, soulignant combien ce qui devait être facilité est en fait devenu plus difficile. Les inspections sont devenues difficiles, notamment parce qu’il est plus dur pour les inspecteurs de recueillir les données depuis une multitude d’appareils et de formats différents nécessitant des manipulations parfois complexes, dans des situations où ils ne sont pas mis en situation d’autorité (il leur faut pénétrer dans les cabines des conducteurs et bien souvent recevoir leur aide), les conduisant finalement à des inspections moins poussées et moins rigoureuses qu’avant. Sans surprise, les dispositifs qui devaient d’abord améliorer le contrôle par les autorités ne l’a pas vraiment rendu possible. Il a plutôt déporté le contrôle ailleurs et autrement.

Résister à la surveillance ?

La chercheuse évoque également la résistance des routiers au déploiement des appareils. La littérature sur les formes de résistances est nourrie, que ce soit sur l’évitement, l’obfuscation en passant par la surveillance inversée pour surveiller les dispositifs de surveillance, voir le sabotage… Chez les conducteurs, Levy note qu’on trouve des procédés pour tenter d’altérer l’enregistrement des données (mettre du scotch sur une caméra, tenter de créer des interférences avec le système, ou par l’utilisation de dispositifs de brouillages de GPS…), la manipulation des données (qui nécessite souvent la complicité de l’entreprise, mais qui est difficile car les logiciels des dispositifs signalent les données éditées), les tentatives pour exploiter les limites techniques des systèmes (en s’appuyant sur ce que les dispositifs ne savent pas mesurer ou détecter, par exemple en se connectant au dispositif depuis un compte fantôme ou celui d’un autre utilisateur quand le conducteur a atteint sa limite de conduite, ou encore en jouant sur le travail non enregistré, comme les temps d’attente de chargement ou de repos) et la résistance sociale et organisationnelle (comme de quitter les firmes qui déploient des systèmes trop invasifs ou des grèves contre le déploiement des dispositifs – mais qui n’ont pas été très suivies -… d’autres formes d’oppositions aux contrôles se sont développées comme de ne pas présenter d’autres documents exigés, ou de collecter des factures de péage ou d’essence sans dates pour dérouter les contrôleurs).

Mais nombre de stratégies sont rapidement éventées et rendues impossibles par l’évolution des systèmes. Karen Levy concède qu’il est plus difficile de briser les règles avec des appareils électroniques de surveillance. Les stratégies de résistance collectives sont défaites par les outils de mesures individuels. Et les stratégies de résistance individuelle relèvent d’un « microluddisme sans grand effet », comme je le disais ailleurs. Pour Karen Levy, les routiers sont pris dans des injonctions contradictoires qui renforcent la pression qu’ils rencontrent. Leurs employeurs les poussent à tricher alors que les systèmes rendent la triche moins accessible. En fait, quand ils en arrivent à conduire avec un faux compte de conducteur, ou quand ils n’enregistrement pas correctement les heures de non-conduite, les routiers renforcent surtout les structures économiques qui les exploitent. Les routiers qui résistent s’autorisent surtout à travailler plus longtemps et donc plus dangereusement. En fait, derrière la résistance, il faut comprendre contre qui et contre quoi on résiste, au bénéfice de qui ? Le routier qui roule en s’enregistrant sur l’ELD depuis un compte fantôme ne s’oppose pas à la loi, il négocie sa relation avec son employeur qui lui fournit les ressources pour ce subterfuge. Dans le monde de la route, résister, c’est faire appelle à une identité d’indépendance, qui n’est plus mise au service du conducteur, mais bien de l’entreprise. L’autorité est déplacée : ce n’est plus l’autorité de régulation qui est injuste ou l’employeur qui est autoritaire, mais la machine dont il faut se défier. Pour Levy, la résistance dans le monde des transports est surtout un exercice d’auto-exploitation, une victoire fantôme qui donne l’illusion qu’on est encore maître de la relation de pouvoir qui s’impose au conducteur. Le routier s’oppose désormais à la machine plutôt qu’aux injonctions impossibles de son supérieur.

La promesse de l’autonomisation masque toujours la réalité de la surveillance

Levy livre ensuite un excellent chapitre sur la menace de l’autonomisation, à savoir la perspective de déploiement de véhicules autonomes. La chercheuse souligne que la menace de l’autonomisation et la disparition à terme des conducteurs humains est très exagérée : nous en sommes très loin. Nous sommes loin d’une « apocalypse robotique » sur nos routes. Le risque d’une transformation et d’une dégradation de l’emploi des routiers est bien plus certain que leur disparition.

L’automatisation de la conduite oublie que le travail du routier ne consiste pas seulement à conduire un camion d’un endroit à un autre. Il est là également pour inspecter et maintenir le véhicule, protéger son chargement, charger et décharger, parler aux clients… L’automatisation menace certaines tâches, plus qu’elle n’est appelée à remplacer des emplois entiers. James Bessen nous a montré que si remplacement il y a, il prend du temps. Les guichets distributeurs d’argents n’ont pas remplacé les guichetiers des banques tout de suite, c’est seulement une fois la vague d’automatisation passée que l’emploi dans le secteur bancaire s’est réduit et transformé. L’avenir consiste bien plus en une démultiplication de technologies d’assistances que dans une automatisation radicale (à l’image des 5 niveaux de l’autonomie des véhicules, qui permettent, comme le dit d’une manière très imagée la chercheuse : de lever le pied, de lever les mains, de lever les yeux puis de lever le cerveau avant de lever l’être humain du siège du conducteur…). Le risque à terme du déploiement de véhicules autonomes devrait surtout permettre de précariser plus encore la profession. Si demain les chauffeurs n’ont rien à faire en cabine ou s’ils pilotent des camions à distance, ce sont des gens moins expérimentés que l’on pourra embaucher pour cela. La seule promesse de l’automatisation reste toujours d’améliorer les gains de productivité.

Enfin, rappelle la chercheuse, l’ironie de l’automatisation ne doit pas oublier le paradoxe qu’elle génère : les compétences se détériorent lorsqu’elles ne sont pas utilisées, tout le contraire de ce qu’on attend de l’humain face à la machine. Les humains sont très mauvais à devoir rester attentifs sans agir : « si vous construisez des véhicules où les conducteurs sont rarement obligés de prendre les commandes, alors ils répondront encore plus rarement encore lorsqu’ils devront prendre les commandes ». Pour le dire autrement, enlever ce qui est facile à accomplir d’une tâche par l’automatisation peut rendre plus difficile l’accomplissement des tâches plus difficiles. Enfin, les promesses de l’autonomisation des véhicules tiennent surtout d’un fantasme. Il y a 10 ans, dans la Technology Review, Will Knight nous avertissait déjà que les voitures autonomes ne sont pas pour demain (j’en parlais là). 10 ans plus tard et malgré plus 100 milliards d’investissements, elles ne vont toujours nulle part, expliquait récemment Max Chafkin pour Bloomberg. Contrairement à ce qu’on nous a raconté, les humains sont de très bons conducteurs par rapport aux robots. Une voiture autonome panique devant un pigeon sur la route. Aucune démo en condition réelle ne s’est avérée concluante, pas même chez Tesla. Pour l’un des pontes du domaine, le sulfureux Anthony Levandowski, le pape de la voiture autonome : “Vous auriez du mal à trouver une autre industrie qui a investi autant de dollars dans la R&D et qui a livré si peu”. La voiture du futur est dans l’impasse. Comme le dit Paris Marx dans son livre, Road to Nowhere (Verso, 2022, non traduit), ou dans d’excellentes interviews, les échecs dans l’innovation dans le transport sont majeures. Voiture autonome, covoiturage, services de micromobilité, voiture électrique, hyperloop… n’ont rien transformés ! Karen Levy rappelle qu’en 2018, Uber a fini par fermer sa division qui travaillait sur le camion autonome. L’idée de créer des réseaux de véhicules sur des voies spécifiques conduit par des humains à distance a fait également long feu : Ford a fermé sa division quand après des essais, le constructeur a constaté qu’il perdait facilement le signal des camions rendant leur pilotage à distance impossible. Quel que soit l’angle par lequel on la prend, l’autonomisation demeure surtout une promesse qui n’engage que ceux qui souhaitent y croire.

En route vers l’hypersurveillance !

Dans les années 60, Manfred Clynes et Nathan Kline ont lancé le terme et l’idée de cyborg, un hybride de robot et d’humain qui devait permettre aux corps de s’adapter aux contraintes du voyage spatial. L’idée était de modifier le corps humain pour qu’il s’adapte à des environnements hostiles. Plus qu’une modification ou même une augmentation des capacités par des systèmes qui se portent (wearables), l’avenir de l’automatisation semble résider bien plus dans une surveillance continue et de plus en plus intime des individus. Caméras, capteurs et habits viennent mesurer en continue les données biologiques des conducteurs pour évaluer leur niveau de stress ou de fatigue (les projets sont innombrables : comme ceux de SmartCap, Rear View Safety, Optalert, Maven Machines, Actigraph…). Outre ces outils, on voit fleurir aussi des caméras pointées vers le conducteur pour surveiller son regard et sa fatigue (Seeing Machine ou Netradyne). Il est probable que ces systèmes s’imposent rapidement, estime la chercheuse, via des obligations légales comme celles qui ont imposées les ELD, ou comme des fonctions additionnelles aux outils de gestion de flotte (à l’image des fonctions qui analyses les comportements de conduite chez Blue Tree Systems). Récemment, le National Transportation Safety Board américain, l’organisme de régulation du transport, a jugé que le système d’autopilote de Tesla n’était pas suffisant pour assurer l’engagement du conducteur et a suggéré de lui ajouter un système de surveillance du regard des conducteurs. L’Europe a exigé que des systèmes de surveillance des conducteurs soient installés dans tous les véhicules neufs vendus dès 2026 et une législation similaire est en discussion aux Etats-Unis. Le renforcement de la surveillance est en marche.

Ces machines ne serviront pas seulement à l’alerte, à la détection de la fatigue, mais également comme preuve en cas d’accident, et surtout comme outils pour renforcer encore l’intensification du travail et le contrôle de l’attention. Pour Karen Levy, nous sommes sur la pente glissante des technologies, dont le seul avenir consiste à entrer dans le cerveau des conducteurs pour vérifier qu’ils ne pensent pas à autre chose qu’à conduire ! « Il y a quelque chose de viscéralement agressif lié au micro-management permis par ces technologies ».

L’enjeu de l’IA dans le transport consiste surtout à pointer les faiblesses humaines, via une surveillance constante, intime, viscérale. Si la menace du remplacement des chauffeurs par des robots est lointaine, celle d’une « hybridation forcée », une invasion intime de la technique dans le travail et le corps des routiers, semble bien plus réaliste. « L’IA dans le transport aujourd’hui, ne vous fout pas dehors de la cabine, il envoie des textos à votre boss et à votre femme, envoie une lumière dans vos yeux et vous fout des coups de pieds au cul ». Les conducteurs sont toujours dans la cabine, mais avec des systèmes qui les surveillent, transformant la relation entre le travailleur et la machine en un ensemble conflictuel.

En fait, estime Levy, l’automatisation et la surveillance sont complémentaires. L’un ne se substitue pas à l’autre. « L’automatisation n’est pas la solution pour diminuer la surveillance », au contraire, elle la renforce. Les camions devraient continuer à être conduits par des humains pour longtemps, mais ceux-ci risquent d’être de plus en plus en conflit avec la technique, à défaut de pouvoir l’être avec leurs donneurs d’ordres. Avec la technique, quelques emplois disparaissent, d’autres s’améliorent, mais la plupart deviennent pire qu’ils n’étaient avant. La technologie a tendance à les rendre moins pénible, certes, mais bien plus intenses qu’ils n’étaient. Avec les outils numériques, le travailleur est surveillé d’une façon « plus intime et plus intrusive » qu’auparavant – à l’image de systèmes qui observent tout l’habitacle, et donc le comportement des autres passagers également. La techno surveille, harcèle et impose une responsabilité supplémentaire à ceux sur qui elle s’abat, qui doivent répondre de la moindre de leur défaillance que relèvent les indicateurs qui les monitorent. Certes, ces systèmes peuvent être déjoués. Même les systèmes qui surveillent la position du regard peuvent l’être avec des lunettes, mais ces détournements ne peuvent être que circonscrits.

A nouveau plus d’automatisation implique d’abord plus de surveillance. Reste que la grande question qui n’est jamais débattue est de savoir jusqu’où la surveillance doit aller ? Le storytelling de l’automatisation promet toujours que nous allons être libérés des tâches les plus ingrates pour nous concentrer sur les plus intéressantes. Mais ce n’est pas la réalité, rappelle la chercheuse. En réalité, les routiers font face à une double menace des technologies. La première, c’est leur déplacement, qui est plus lent et graduel que prévu, mais qui est bien réel, et ce déplacement est d’abord celui d’une précarisation qui prévoit qu’à terme n’importe qui pourra faire ce travail pour bien moins cher qu’aujourd’hui. De l’autre, c’est l’intensification de la surveillance, et avec elle, la dégradation de la qualité, de l’autonomie et de la dignité du travail.

De l’exécutabilité du travail

Dans Against Security (Princeton University Press, 2014, non traduit), le sociologue Harvey Molotch explique que trop souvent on impose des solutions top-down aux problèmes sociaux. Ces solutions sont basées sur comment certains pensent que le monde fonctionne. Trop souvent, « on efface les mécanismes tacites et les modes de contournements que les gens utilisent pour que les choses soient faites », explique-t-il. On impose un ordre apparent au détriment de l’ordre réel. En renforçant les règles par la surveillance numérique, on renforce cet ordre apparent, et on ignore les causes sociales, économiques et politiques des problèmes. Les dispositifs numériques introduits dans les camions supposent qu’on ne peut pas faire confiance aux conducteurs et que la seule solution consiste à limiter leur autonomie, plutôt que de la renforcer. Les dispositifs de surveillance n’ont rien changé à ce qui motive les routiers à contourner les règles, ils n’ont rien fait bouger des problèmes de  l’industrie du transport, à savoir le manque de protections des travailleurs, les problèmes liés à la façon dont le paiement est structuré… Au mieux, ils empêchent quelques abus, mais il reste possible aux routiers et à leurs employeurs d’exploiter les limites des outils de surveillance – en renforçant encore et toujours la responsabilité des routiers. Pour Karen Levy, s’il y a des solutions aux problèmes du transport, elles ne sont pas technologiques. La technologie n’est qu’une façon superficielle de masquer un problème qui ne s’adresse jamais à ses causes profondes. L’enjeu devrait être bien plus de regarder la structuration économique du transport pour rendre sa décence au travail des routiers. Le premier enjeu pour mettre fin à ces « ateliers clandestins sur roue » consiste à payer les routiers pour leur travail, et non pas seulement pour les kilomètres qu’ils abattent, en prenant en compte et en payant les temps d’attente et de services. On en est loin. Les réponses technologiques semblent partout plus simples à déployer que les réponses sociales et économiques… et ce d’autant plus que les déploiement techniques ne remettent jamais en cause les infrastructures de pouvoir existantes, au contraire.

Karen Levy suggère qu’on pourrait utiliser les données produites par les systèmes de surveillance pour mieux adresser les problèmes, comme la question du temps de détention. Pour elle, nous devrions réorienter la collecte de données pour passer d’outils de contrôle individuels à des moyens de réforme collective, même si, rappelle-t-elle, assigner des chiffres ne créée pas d’une manière magique la volonté politique d’en adresser l’enjeu. Les preuves ne suffisent pas toujours, comme le disait très justement Mimi Onuoha en parlant de l’immense documentation existante sur le racisme et la discrimination. Sans accompagnement social, économique, culturel et légaux, les mesures ne produisent rien. « Si nous construisons des outils qui permettent aux patrons de surveiller l’activité des travailleurs, nous devrions les accompagner de protections légales renforcées pour ces travailleurs », explique très justement Karen Levy, et « nous soucier de leur intégration dans la culture du travail ». Or, cette culture n’est pas la même partout.

Une intéressante étude a montré que les routiers ne répondaient pas tous de la même manière à la publication de leurs performances mesurées par les systèmes. Dans les entreprises où la culture au travail est très individualiste, ces publications tendent à favoriser la compétition entre employés. Dans les entreprises où la culture du travail est plus collectiviste, ces performances ont l’effet opposé et poussent le collectif à limiter la compétition. Le but de la démonstration n’est pas de montrer que les entreprises devraient se défier des cultures du travail coopératives, que de montrer que les effets de la surveillance ne sont pas uniformes, qu’ils privilégient un mode de rapport au monde sur d’autres, une culture et une idéologie sur d’autres. Sévir sur la rupture des règles sans reconnaître que les travailleurs sont contraints de le faire, consiste seulement à les conduire à des situations intenables dont ils seront tenus pour seuls responsables. C’est un peu comme si finalement ce type de régulation technique n’avait pour but que d’absoudre le régulateur (le politique) et l’organisation (l’économique) pour faire peser toutes les contraintes sur le plus petit et plus faible maillon de la chaîne : l’individu. Au final, celui-ci n’a plus d’autres choix que d’enfreindre la règle de sa responsabilité, sous la pression de la loi, de la technique, de la chaîne économique. « La meilleure façon de penser au changement technologique n’est pas de se concentrer uniquement sur la technologie, mais de renforcer les institutions sociales et les relations qui l’entourent », conclut Levy. Certes. Mais dans la perspective d’une amélioration de la productivité sans limite, il est finalement plus simple pour toute la société, de renvoyer toutes les injonctions contradictoires et les responsabilités sur le dernier maillon de la chaîne de responsabilité. Au final, c’est au routier de gérer toutes les contradictions que la société lui impose. Et dans tous les cas, il perd !

*

La monographie de Karen Levy est une belle illustration des contradictions où s’enferme le monde du travail moderne. Elle montre que dans ces transformations, le travailleur n’a aucun levier sur les conséquences du développement du numérique au travail. Partout, le numérique réduit ses marges de manœuvre pour résister à l’intensification, pour garder de  l’autonomie, pour limiter le contrôle et lutter contre la précarisation. Le travailleur est renvoyé à un conflit solitaire avec la machine, au détriment d’un conflit avec ceux qui les  exploitent et les déploient et au détriment de toute collectivisation du conflit. Même le simple enjeu d’arriver à limiter le niveau de surveillance, pour qu’elle reste proportionnelle, est débordée par les capacités de la technique. Avec une surveillance qui vise à repousser les injonctions contradictoires entre le légal et l’économique sur les épaules des seuls individus plutôt qu’au niveau de la société, la technologie fait reculer la justice, et donc avec elle, notre possibilité même de faire société.

Hubert Guillaud

A propos du livre de Karen Levy, Data Driven, Truckers, Technology, and the new workplace surveillance, Princeton University Press, 2023.

Vers une surveillance au travail sans limite

La surveillance des comportements et l’accélération des cadences jusqu’à leurs limites ?

Vous avez certainement vu passer cette vidéo dans vos flux. C’est une image vidéo de l’intérieur d’un café où un système de reconnaissance d’image analyse différents éléments, comme le temps d’attente des clients, le nombre de cafés que servent les vendeurs ou le fait que les tables soient propres. Des systèmes de ce type, développés par Hoptix ou Neurospot, se proposent de surveiller les employés et leurs comportements, mais également affirment être capables d’analyser les conversations entre serveurs et clients, par exemple pour détecter le nombre de fois où ils proposent aux clients des suggestions supplémentaires à leurs commandes pour les convertir directement en bonus sur leurs fiches de paye. Les logiciels promettent de suivre la préparation de commande, leur rapidité, la gestion de la clientèle. Neurospot propose même aux patrons de recevoir « des alertes instantanées lorsqu’une insatisfaction client est détectée », s’énerve Contre-Attaque. 

Image : capture d’écran d’une vidéo de surveillance d’un café par Neurospot qui montre le temps que les clients passent à leur place et le nombre de cafés que servent les employés.

Comme dans tous les autres secteurs, la collecte de données au travail procède toujours d’une justification positive. Elle est accomplie pour comptabiliser les heures travaillées, quantifier le travail, s’assurer du respect des délais, améliorer la facturation… D’un côté, les entreprises cherchent à augmenter leur collecte de données personnelles pour améliorer la sécurité au travail par exemple, de l’autre les travailleurs suspectent que ces nouvelles collectes permettent une surveillance et un cadencement accru quand ce n’est pas une utilisation punitive, comme c’est déjà le cas dans la logistique pour ceux qui ne suivent pas les cadences. C’est ce qu’expliquait la journaliste Anna Kramer pour le défunt site d’information Protocol, en revenant sur le développement d’outils de surveillance des postures, qui peuvent effectivement identifier les mouvements à risques, mais qui risquent surtout de renvoyer les employés à leurs responsabilités pour mieux soustraire l’entreprise à ses propres responsabilités. 

En fait, en matière de sécurité au travail, l’évidence rappelle surtout que le corps humain n’est pas conçu pour répéter à un rythme rapide les tâches requises par de nombreux emplois de la logistique. Pourtant, avec des appareils de mesure des postures, comme StrongArm ou Modjul qui commencent à coloniser les entrepôts de Walmart et d’Amazon, la question de la sécurité au travail devient un score que les employés doivent respecter, quand ils ne sont pas renvoyés à une forme de compétition entre eux. Les outils d’analyses intégrés fournissent une mine de données granulaires sur chaque travailleur en surveillant les mouvements, les inclinaisons, les torsions, les portages que chacun accomplit. Le problème est que ces données pourraient aider les entreprises à se soustraire à leurs responsabilités et à accabler les travailleurs individuellement. Par exemple en poussant les entreprises à se séparer des travailleurs les moins sûrs ou ceux dont les scores sont mauvais et qui risquent de se blesser, plutôt que d’avoir à revoir leurs protocoles et cadencements. Pour les responsables de StrongArm ou de Modjul, ces données ne doivent pas être utilisées de manières punitives, mais doivent permettre d’identifier les emplois et postes qui posent problèmes pour les améliorer. Or, rien dans leur usage n’assure que les entreprises ne les utiliseront pas pour accabler les travailleurs. Les blessures dans les entrepôts d’Amazon, pourtant très automatisés, sont élevées et n’ont cessé d’augmenter ces dernières années (6 à 9 blessures pour 100 employés chez Amazon contre 3 à 4 pour 100 employés chez Walmart). Reste que si votre travail vous oblige à vous pencher pour être réalisé, un appareil vibrant n’y changera rien. C’est la tâche et le poste de travail qu’il faut revoir où les situations où les gens ont tendance à être en difficulté. 

Pour Debbie Berkovitz, experte en protection des salariés, ces appareils ne font qu’informer de ce que ces entreprises savent très bien : elles connaissent déjà les personnes qui ont des douleurs et les postes qui génèrent des douleurs et des blessures. Pour l’ergonome Richard Gogins, le problème n’est pas nécessairement les mauvais mouvements et les mauvaises positions, c’est souvent les objectifs élevés et les cadences trop fortes qui poussent les gens à faire de mauvais mouvements. 

Dans trop de situations encore, finalement, quand un employé se blesse, c’est trop souvent sa responsabilité qui est convoquée plus que celle de l’employeur. Les douleurs générées par le travail restent bien plus souvent prises en charge par la collectivité et les individus que par l’entreprise qui les provoque, comme le soulignait l’excellente enquête du journaliste Jules Thomas pour Le Monde, qui rappelait que les accidents du travail sont d’abord la réalité persistante de la dégradation du travail. La précarité, le manque de prévention dans nombre de secteurs qui paraissent peu propices aux accidents graves viennent renforcer leur invisibilisation, du fait de leur sous-déclaration. Une sous-déclaration qui est à la fois le fait des entreprises, mais également des salariés précarisés. Reste que quand les employés sont abîmés par le travail, c’est d’abord eux qui en supportent les conséquences, d’abord et avant tout en ne pouvant plus accomplir ce travail. Les risques professionnels sont profondément liés à l’intensification, rappelle le sociologue Arnaud Mias qui souligne, lui aussi, que le travail devient insoutenable par déni de diversité du fait de la standardisation des indicateurs. En comparant tous les employés entre eux, la moyenne de leurs performances à tendance à discriminer ceux qui s’en éloignent. A terme, le risque est que les données favorisent le stakhanovisme. La compétition entre travailleurs qu’induit la surveillance des indicateurs de productivité risque de favoriser l’exclusion de tous ceux qui n’entrent pas dans la course parce que trop vieux, trop faibles… Le pilotage par les indicateurs de productivité risque de renforcer partout les discriminations. 

Si facile, si pratique ! Une surveillance institutionnalisée en roue libre !

Le problème est que la surveillance des employés, démultipliée par les innombrables outils du panoptique numérique disponibles, semble être devenue un champ de développement du contrôle sans plus aucun obstacle, sans plus aucune limite. Pourquoi ? Ce n’est pas seulement parce que « la surveillance est le business model du numérique », comme disait Bruce Schneier. Mais plus encore parce que les outils la rendent possible et incroyablement facile ! 

C’est ce qu’explique le chercheur Wolfie Christl qui, via le laboratoire Cracked Lab, enquête sur la montée de la surveillance au travail en observant simplement les fonctionnalités proposées par les outils numériques que les entreprises utilisent. Il vient de produire une étude sur Dynamics 365, une suite d’applications de Microsoft qui permet de construire des applications pour surveiller les travailleurs de terrain, comme les réparateurs, les agents de sécurité, de nettoyage, les aides à domicile… Christl montre que le système applicatif permet de structurer, diriger et microgérer le travail, en l’alignant sur des processus strictement cadrés et définis qui vont de la surveillance des déplacements en passant par le contrôle des tâches ou du comportement, jusqu’à la synthèse d’indicateurs qui permettent d’évaluer l’ensemble et de les comparer aux résultats des autres employés. Le système permet même de gérer des alertes si les processus ne sont pas respectés où si le salarié s’éternise. Chaque tâche peut-être spécifiée selon des instructions et des durées… Et les applications peuvent générer des plannings qui se mettent à jour à la demande, en tenant compte de la disponibilité, de l’emplacement, des temps de trajet prévus et des profils de compétences des travailleurs, ainsi que de l’historique des travailleurs ou de la satisfaction des clients. Bien sûr, tous ces développements sont facultatifs, mais les fonctionnalités s’entremêlent pour créer des possibilités de suivi accrues. Si la localisation peut-être désactivée par exemple, Microsoft recommande cependant de l’utiliser et même de l’enregistrer toutes les « 60 à 300 secondes », puisque cette localisation va être utile pour nombre de calculs : durées, trajets, plannings… Pour le chercheur, les processus standardisés, les objectifs de performance rigides et la planification automatisée risquent d’intensifier le travail sans limites. Wolfie Christl parle de « fouets numériques »pour évoquer le développement d’un rapport soumis aux indicateurs, tant des patrons que des employés. Mais dans cette vision moderne de l’esclavage, quand l’employé se rebelle contre les capteurs, il est renvoyé à son utilisation individuelle, comme quand il jette la commande vocale qui siffle ses ordres à son oreille, il n’a plus le moyen d’abattre le système qui le dirige. 

Un autre rapport du chercheur étudie le développement des logiciels de points de vente dans les magasins de détails, les restaurants et les hôtels. Là encore, le suivi de performance s’étend jusqu’au contrôle comportemental. Sur les tableaux de bords d’indicateurs, les employeurs peuvent classer les travailleurs « du meilleur au pire », identifier les « moins rentables » et prédire leur productivité future. Ces systèmes disent être capables de prévenir la fraude et peuvent placer des employés sur des listes de surveillance. Ils peuvent répartir les tâches automatiquement, sous minuteurs, avec d’innombrables alertes pour mettre la pression. La logique industrielle du taylorisme de la chaîne de montage colonise toutes les professions, conclut le chercheur. Mais les systèmes sont encore loin d’être parfaits, souligne-t-il. Bien souvent, les enregistrements défectueux et les tâches non documentées conduisent à des problèmes qui renvoient à la responsabilité de l’employé plus qu’à celle des systèmes. Quand la machinerie défaille, c’est le comportement de l’employé qui est pointé du doigt par la machine : c’est toujours lui dont la performance est dégradée et enregistrée comme problématique. Christl remarque encore que ces logiciels sont certes configurables. Les employeurs peuvent décider de les utiliser de manière plus ou moins intrusive, par exemple en ne faisant pas s’afficher les minuteurs (ce qui ne signifie pas que les tâches ne sont pas chronométrées). Mais ils peuvent également les rendre plus intrusives, en les intégrant à un logiciel RH ou en exportant les données vers d’autres plateformes d’analyses. Le panoptique est un espace de réglage en boucle sur lui-même, très simple à mettre en place. 

Image : exemple d’un tableau de productivité d’employés travaillant dans une chaîne de restaurant. Via Cracked Labs.

Ce que montrent les enquêtes du chercheur en observant les outils mis à disposition des employeurs, c’est qu’ils institutionnalisent la surveillance pour produire des métriques, des ratios, des indicateurs pour piloter la productivité de l’activité. La surveillance est normalisée, inéluctable. Et son accélération également, puisque de meilleurs indicateurs produiront nécessairement une meilleure productivité, qu’importe si cela passe trop souvent par des indicateurs défaillants. 

Outre les défaillances des systèmes, le panoptique de surveillance élargit également les possibilités d’abus, explique Christl dans un nouveau rapport. Rien n’est plus facile désormais que d’espionner les employés, réprimer la dissidence, appliquer une surveillance excessive ou imposer des mesures disciplinaires arbitraires. En permettant un accès à une grande étendue de données, l’asymétrie de pouvoir entre les organisations et les employés s’agrandit… au risque d’une surveillance sans plus aucune limite. 

Image : un tableau de bord qui classe les employés à risque selon leur activité. 
Via Cracked Labs. 

Vers le « despotisme à la demande » : la surveillance est la conséquence de la dégradation de l’emploi !

Dans son livre, Temporaire : comment Manpower et McKinsey ont inventé le travail précaire (Les arènes, 2021), Louis Hyman, avait montré que l’invention du travail intérimaire puis temporaire était une entreprise idéologique. Peu à peu, pour les entreprises, la stabilité de l’emploi est devenu un problème plutôt qu’un but. L’invention du contrat à durée déterminée (CDD) en 1979 en France n’était pas qu’une solution à la crise économique. Il marque aussi le début d’une dérégulation des conditions de travail qui ne va pas cesser de s’accélérer avec la montée de l’externalisation, la micro-entreprise, les contrats zéro-heures, l’ubérisation…  Pour caractériser cette montée d’un travail temporaire de plus en plus flexible, le sociologue Alex J. Wood parle quant à lui de « despotisme à la demande ». Dans son livre éponyme (Cornell University Press, 2020, non traduit), le sociologue ne parle pas beaucoup des outils numériques visiblement, il observe seulement l’impact qu’ont eu les horaires flexibles et le temps partiel sur la disciplinarisation des travailleurs. La disparition de la sécurité qu’offrait un travail à temps plein a conduit les travailleurs précaires à se discipliner pour obtenir leurs quotas d’heures. Pour obtenir les heures promises, ils doivent accepter les contraintes qui vont avec, comme les horaires fragmentés et une disponibilité à la demande, en temps réel. Wood montre d’ailleurs que les employés qui se soumettent le mieux aux injonctions sont aussi ceux qui obtiennent, en récompense, les meilleurs horaires. La précarisation renforce l’autoritarisme des organisations.  La sociologue Madison Van Oort dans son livre, Worn out : how retailers surveil and exploit workers in the digital age and how workers are fighting back (Épuisé : Comment les détaillants surveillent et exploitent les travailleurs à l’ère numérique et comment les travailleurs ripostent, MIT Press, 2023, non traduit) dresse le même constat en observant l’impact de l’outillage numérique dans les enseignes de la Fast Fashion, comme H&M ou Zara. Elle montre que, là aussi, les employés travaillent à la demande, notamment depuis des applications de planning automatisées profondément imprédictibles et qui font peser sur leurs épaules toute l’insécurité de l’emploi. 

Couverture du livre Worn Out de Madison Van Oort
Image : couverture du livre de Madison Van Oort, Worn out.

Les technologies numériques transforment en profondeur le secteur des services à bas salaires, explique Madison Van Oort. Pour elle, la fast fashion, qui est une forme de commerce industriel, est le secteur emblématique d’une industrie totalement orientée par les données et qui promeut partout la jetabilité. Non seulement les produits sont aussi vites produits, vendus que remplacés, mais les employés subissent le même traitement (dans le secteur, 60% des employés des magasins sont embauchés de manière temporaire, l’essentiel l’est à temps partiel). Et la chercheuse suggère que cette vision du monde, cette chosification, est façonnée par la numérisation, par le fait que tout est considéré comme des données – le designer italien Stefano Diana estimait que cette mise à distance qui transforme tout en chiffre nous ôte toute empathie.  Or la fast fashion est bien l’enfant de la numérisation. La révolution de l’interconnexion a permis d’accélérer la production et la circulation de la chaîne d’approvisionnement et a permis la consécration d’une production temps réel. Une production directement pilotée depuis ce qui se vend et non plus depuis ce que les commerçants proposent. Une production plus réactive, capable de répondre aux demandes des clients. La fast fashion est bien sûr connue pour exploiter tous les travailleurs de la chaîne d’approvisionnement, notamment ceux qui fabriquent les vêtements à l’autre bout du monde. Mais c’est également le cas de ceux chargés de vendre les produits disponibles en continu. 

Au XXe siècle, à l’époque des grands magasins, un vendeur était embauché pour ses compétences et on attendait de lui qu’il soit proche des clients pour mieux les conseiller. A l’époque des magasins de marques, on n’attendait plus des vendeurs qu’ils soient commerciaux, seulement un intense travail émotionnel pour vendre l’expérience que propose la marque en magasin. Mais à l’époque de la fast fashion, le vendeur n’est plus qu’un magasinier constamment sous surveillance numérique. Cette prolétarisation s’explique par le fait que la relation au client a été déléguée aux machines. Dans le monde de la fast fashion, les employés ont été dépossédés de la vente parce que les connaissances sur les clients ont été automatisées via les outils du marketing numériques. Ce sont eux qui prédisent les préférences des consommateurs et qui pilotent la relation clients. La sociologue explique que le travail émotionnel (que définissait la sociologue Arlie Russel Hochschild), celui qui connecte l’employé au client, qui prédit les désirs du consommateur, est désormais automatisé. Les magasins ont été dépossédés de cette compétence, renvoyée au travail des équipes marketing.  L’analyse des données est omniprésente. Elle permet de personnaliser l’inventaire des magasins selon les ventes, mais pilote également la vie des employés, puisque ces mêmes données vont produire les moments d’affluences et décider des besoins en personnels, décider des plannings imprévisibles et également rendre les employés plus remplaçables et interchangeables qu’ils n’étaient. Ce n’est pas tant que les habits proposés sont si peu chers qu’ils se vendent d’eux-mêmes, mais que le marketing automatisé met les ventes sous stéroïdes et produit une accélération en chaîne. Les vendeurs ne sont plus que des employés à la demande, qui sont là pour mettre les vêtements en place et nettoyer le magasin. Plier, ranger, nettoyer. Faire tourner les flux. Ils sont là pour faire ce que les robots ne savent pas faire. « En numérisant la connaissance des désirs des consommateurs, le travail de vente au détail de la fast-fashion a été déqualifié et accéléré, et les travailleurs sont devenus jetables. Et ont pu être contrôlés de manière toujours plus impersonnelle. » Pour Van Oort, la montée de la surveillance des travailleurs de terrain est consubstantielle au développement du marketing numérique permettant de mieux connaître les consommateurs. Son analyse montre qu’il y a des effets d’entraînements dans toute la chaîne de la numérisation. 

Comment l’automatisation renforce la prolétarisation qui renforce la surveillance

Pour Madison Van Oort, c’est la technologie qui a rendu ces conditions de travail possible. Après avoir construit une production en temps réel, informée par les données de ventes, le savoir produit par la datafication a été appliqué aux magasins. Les outils de planning automatisés (comme ceux développés par Kronos, devenu UKG, Ultimate Kronos Group, l’un des leaders du secteur) sont composés d’innombrables modules pour adapter les ressources humaines aux besoins. Pourtant, comme le pointait la journaliste Esther Kaplan dans un article pour Harper’s Magazine en 2015, la première conséquence de l’introduction de ces outils de plannings reste bien souvent de démultiplier les emplois à temps partiels, comme l’ont connu les employés de la chaîne de vêtements Forever 21 lorsque leurs magasins s’en sont équipés ! Van Oort rappelle que le planning automatisé est né chez McDonald dès les années 70, mais c’est pourtant avec le déploiement d’outils logiciels dédiés que ceux-ci vont changer le commerce de détail (et bien d’autres secteurs…), notamment en popularisant le temps partiel afin d’améliorer les rendements et les profits. 

Les systèmes de planning automatisés calculent pour chaque employé, branche, secteur, des ratios de productivité et font des prédictions de besoins de main d’œuvre très précis, pouvant aller jusqu’à recommander des employés, sans qu’on sache parfaitement depuis quels critères – or, certains critères de ce calcul peuvent être profondément problématiques, qu’ils soient discriminatoires ou qu’ils s’ajustent pour optimiser les salaires vers le bas, en minimisant les primes. Van Oort ne creuse hélas pas la question, mais remarque néanmoins que l’efficacité high-tech de ces outils est très souvent survendue. Ces systèmes d’agendas automatisés ont beaucoup de mal à prendre en compte les contraintes des employés (garde d’enfants, etc.) et les employés en contournent les rigidités en proposant d’échanger leurs astreintes via des messageries partagées. Les problèmes que génèrent les planning partagés conduisent à renforcer les astreintes : les employés doivent être tout le temps connectés pour répondre aux astreintes, les accepter comme pour les rejeter ou les faire circuler. Cela transforme les relations de travail, crée des tensions entre les employés qui sont tous à chercher à faire des heures que la machine ne leur donne pas. Les conflits d’emploi du temps sont permanents, mais ils ne sont pas tant avec la direction qu’avec les autres employés, vus comme concurrents. 

Alors que les employés des grands magasins étaient souvent employés à vie, intéressés aux ventes par des commissions, ceux de la fast fashion sont d’abord précarisés, souvent employés à bas coûts et à temps partiel. Alors que dans les grands magasins les employés se plaignaient de faire trop d’heures, ceux de la fast fashion se plaignent de n’en avoir pas assez. Aux horaires instables répondent des paies qui le sont également. « Avec les horaires flexibles, les risques et l’instabilité du commerce reposent sur les épaules des travailleurs ». Le stress aussi, ce sont eux qui sont confrontés à des calendriers toujours changeants. 

Ce que la sociologue suggère, c’est que l‘acceptation de la flexibilité conduit automatiquement à accepter une flexibilité renforcée qui, grâce à l’optimalité des calculs, ne cesse de s’étendre. Il n’y a pas d’alternative aux horaires fixes et réguliers, rappelle-t-elle. « Le planning automatisé crée une profonde insécurité et beaucoup d’imprévisibilité ». Il est la première brique qui renforce le développement du travail à la demande. La chercheuse souligne également que la surveillance à toujours tendance à s’étendre et qu’elle se renforce d’un outil l’autre, d’une interconnexion l’autre. Les scanners biométriques complètent les agendas automatisés (et techniquement, s’y intègrent comme des plug-ins), la surveillance vidéo complète la surveillance logicielle des caisses… L’introduction d’une forme de surveillance en entraîne une autre et elles se renforcent les unes les autres. 

Pourtant, la surveillance n’est jamais aboutie. Dans le panoptique, la réalité est que les outils dysfonctionnent souvent, au détriment des employés. Quand le scanner bug, c’est les heures de travail des employés qui ne sont pas comptabilisés. Quand les besoins de personnels sont calculés au plus justes, ce sont les employés qui voient leurs cadences s’accélérer ou leur charge de travail augmenter. 

La surveillance développe une forme de paranoïa qui se renforce avec la surveillance. Plus les travailleurs sont précarisés et plus ils sont considérés comme des criminels potentiels, et inversement. Or, comme le suggère Richard Hollinger un spécialiste de la criminalité des employés, pour réduire le vol en interne, il suffit d’abord d’augmenter les heures de travail et d’améliorer les rémunérations ! Les employés veulent d’abord un travail fixe et régulier et un travail qui paye bien. La surveillance est bien une conséquence de la dégradation du travail qui renforce l’autoritarisme des organisations. Nous construisons des lieux de travail où tout est sous surveillance (les produits, les consommateurs, les employés). La normalisation de la surveillance, son institutionnalisation, exacerbe les inégalités. Le turn over des employés est aussi fort que celui des produits. « Des conditions de travail injustes conduisent à des politiques de surveillances injustes ». L’un permet l’autre, l’un renforce l’autre et inversement. Le Precarity Lab de l’université du Michigan parle d’ailleurs de « technoprécarité » pour expliquer que le numérique amplifie les conditions d’exploitations.  

Le numérique floute les distinctions entre management, marketing et surveillance. Mais la surveillance ne pose pas qu’une question de respect de l’intimité ou de la vie privée, elle pose également une question de justice, qui semble aujourd’hui se perdre dans le délire d’un contrôle, en roue libre, qui ne rend pas compte de ses effets. Les données au travail sont de plus en plus instrumentalisées pour servir voire renforcer l’asymétrie des rapports de travail.

Surveillance prédictive : le risque d’une surveillance de moins en moins factuelle ! 

En plus du délire du contrôle que la numérisation facilite, sans plus en voir les conséquences… il faut également ajouter des mesures prédictives particulièrement défaillantes qui viennent encore renforcer et justifier la surveillance. C’est le cas par exemple de Visier, une startup qui compte de nombreux clients, de Adobe à Uber… Visier promet de prédire le burn-out comme la démission. Le système, entraîné sur des profils d’employés démissionnaires, promet de calculer ce risque sur tous les autres employés en utilisant toutes les données disponibles, notamment les emails professionnels échangés, les relations aux autres employés, les publications sur les réseaux sociaux… pour mesurer l’engagement, l’absentéisme, la performance, le délai entre les promotions, l’activité sur Linked-in… Le problème, c’est que ces prédictions générales ont du mal à se prononcer sur les individus, explique la journaliste Hilke Schellmann dans son livre, The Algorithm (Hachette, 2024, non traduit). En fait, ces systèmes se concentrent sur des données internes pour tenter de faire des prédictions, comme d’évaluer l’évolution des fonctions, le niveau de salaire, la performance ou le niveau de responsabilité. Comme souvent, les données y rappellent la force de l’évidence : une personne au même poste pendant 2 ans a tendance à vouloir partir ! Le problème est qu’il n’y a pas que des raisons internes au départ des gens, il y a beaucoup de raisons externes sur lesquelles les entreprises n’ont pas toujours de données (situation familiale, proposition d’embauche externe, niveau de salaire et de tension du secteur…) et beaucoup de raisons internes sur lesquelles les données n’ont pas prises (comme la toxicité du management, même si des proxies plus ou moins fiables peuvent être trouvés, comme la durée d’un manager en poste ou le temps de rétention du personnel sous ses ordres – mais là encore, rien n’est moins fiable : un manager a ainsi été identifié comme toxique parce que ceux qui rejoignaient son équipe avaient tendance à changer de poste dans les 7 à 8 mois, alors que c’était surtout lui qui les aidait à évoluer dans l’entreprise). Mais ces prédictions de risque sont tout aussi problématiques que nombre d’autres prédictions. Et leur amélioration peut vite devenir discriminante, par exemple en portant plus d’attention aux jeunes hommes non mariés qui ont plus tendance à changer de job que les jeunes femmes mariées. Au final, ces systèmes là encore fonctionnent assez mal. Schellmann prend l’exemple d’une responsable RH de Pepsi pour laquelle le logiciel de Visier indiquait qu’elle avait 0,03% de chance de partir dans les 20 prochains mois et qui a quitté l’entreprise bien avant ce délai ! 

Là encore, l’analyse de données, par nature, s’abstrait du contexte. La prédiction défaille. Comme le disent Arvind Narayanan et Sayash Kapoor dans leur livre, AI Snake Oil (Princeton University Press, 2024, non traduit), la prédiction cumule trop de biais pour être fiable. Trop souvent, les prédictions abusent de proxies, de variables de substitutions, ce qui démultiplie les erreurs en cascade. Trop souvent, les prédictions cherchent des modèles qui n’existent pas. Les deux chercheurs estiment d’ailleurs que la promotion d’employés au hasard mais selon un taux fixe pourrait avoir plus de conséquences positives que la recherche illusoire de critères de promotion perfectibles. Les prévisions ne sont pas un modèle objectif. Elles restent probabilistes, quand leur mise en œuvre cherche à les rendre déterministes, au risque de prendre pour la réalité des calculs d’abord défaillants, qui entremêlent entre eux des suppositions en cascade.  

La surveillance numérique des lieux de travail propose un panoptique idéal, où la surveillance du travailleur est omniprésente et infatigable. La surveillance est mécanique. L’exosquelette numérique est moins là pour nous aider à faire des tâches que pour surveiller le moindre de nos faits et gestes. Dans ce panoptique, les traitements de données, les données inférées parlent pour les employés, au risque de ne leur laisser aucun droit. Ni droits à explications, ni droit à contester les décisions automatisées qui ne leurs sont mêmes pas expliquées comme telles. 

Sans limites, la surveillance ne propose que de renforcer l’autoritarisme des organisations. 

❌