Le journaliste philosophe David Weinberger (@dweinberger, blog) étudie depuis longtemps les effets d’internet sur la connaissance. Il est actuellement écrivain en résidence (« à temps partiel et temporaire ») chez Google (et il tient un autre blog sur le sujet de l’apprentissage automatisé, lié à sa résidence). Pour le magazine Aeon (@aeonmag), il tente d’expliquer l’impact que le Machine Learning risque d’avoir sur la connaissance et sur notre rapport au monde. Son dernier livre, Everyday Chaos : Technology, Complexity, and How We’re Thriving in a New World of Possibility (Le chaos quotidien : technologie, complexité et comment nous nous épanouissons dans un nouveau monde de possibilité, non traduit, Harvard Business Review Press, 2019), est également consacré à ce sujet.

« Dans ses bons jours, le monde ressemble à un chemin de fer bien géré : les choses se passent selon des principes, des lois, des règles et des généralisations que nous, humains, comprenons et pouvons appliquer à des cas particuliers. Nous pardonnons les retards occasionnels des trains, car ils sont les exceptions qui confirment la règle. Mais à d’autres moments, nous faisons l’expérience d’un monde qui ressemble à un carambolage sur une autoroute. Les mêmes lois s’y appliquent, mais il y a tellement de facteurs à prendre en compte qu’on ne peut prédire le prochain carambolage et que nous ne pouvons pas expliquer les « détails » de celui-ci – détails qui pourraient permettre pourtant à une voiture de s’en sortir avec une aile tordue, alors qu’une autre exploserait en boule de feu. »

Nous vivons dans un monde dans lequel les interdépendances entre d’innombrables particularités dépassent le pouvoir d’explications des règles qui les déterminent. D’un côté, on maudit un résultat, de l’autre, il nous émerveille.

L’apprentissage automatique pourrait révéler que le monde quotidien est plus accidentel que régi par des règles. « Si tel est le cas, c’est parce que l’apprentissage automatique tire son pouvoir épistémologique de son absence de généralisations que nous, les humains, pouvons comprendre ou appliquer ».

« L’opacité des systèmes d’apprentissage automatique soulève de sérieuses inquiétudes quant à leur fiabilité et leur tendance à la partialité. Mais le constat brut qu’ils fonctionnent pourrait nous amener à une nouvelle compréhension et expérience de ce qu’est le monde et de notre rôle dans celui-ci. »

Et le philosophe de rappeler, avec beaucoup de clarté et de pédagogie, que l’apprentissage automatique fonctionne d’une manière radicalement différente de la programmation traditionnelle. « Les programmes traditionnels sont en effet l’apothéose de la compréhension du monde et de l’expérience », puisqu’ils reposent sur des règles, à l’image de notre compréhension d’un chemin de fer bien géré. Dans un programme traditionnel qui reconnaît des chiffres écrits à la main, le programmeur doit indiquer à l’ordinateur que 1 s’écrit comme une ligne droite verticale, 8 avec deux cercles l’un sur l’autre… Cela peut fonctionner correctement, mais le programme risque de mal reconnaître un pourcentage élevé de chiffres écrits par des mains malhabiles dans un monde imparfait. Les modèles d’apprentissage automatiques sont au contraire des programmes écrits par des programmes qui apprennent à partir d’exemples. Pour créer un modèle d’apprentissage automatique capable de reconnaître des chiffres écrits à la main, les développeurs ne disent rien à la machine des formes de ces chiffres. Ils lui donnent des milliers d’exemples de chiffres manuscrits, chacun étiqueté correctement du nombre qu’ils représentent. Le système découvre alors des relations statistiques entre les pixels qui composent les images partageant une même étiquette. Une série de pixels en ligne plus ou moins verticale ajoute un poids statistique à l’image en tant que 1, et diminue la probabilité qu’il s’agisse d’un 3.

« Dans les applications réelles d’apprentissage automatique, le nombre de réponses possibles peut dépasser de loin les 10 chiffres, la quantité de données à prendre en compte est vraiment énorme et les corrélations entre les points de données sont si complexes que nous, les humains, sommes souvent incapables de les comprendre. Par exemple, le métabolisme humain est un ensemble incroyablement complexe d’interactions et d’effets interdépendants. Imaginez donc que l’on crée un système d’apprentissage automatique capable de prédire comment le système du corps humain va réagir à des causes complexes. » Ce modèle devient alors l’endroit où médecins, chercheurs, profanes et hypocondriaques se rendent pour poser des questions et jouer à « Et si ? ». Le modèle devient alors la source la plus importante de connaissances sur le corps humain, même si nous ne pouvons pas comprendre comment il produit ses résultats.

Le risque d’un monde inexplicable

Deux histoires sont alors possibles. La première affirme que l’inexplicabilité est un inconvénient avec lequel nous devons apprendre à vivre afin d’obtenir et vivre avec les résultats utiles et probabilistes que l’apprentissage automatique génère. La seconde affirme que l’inexplicabilité n’est pas un inconvénient, mais une vérité ! Les outils d’apprentissage automatique fonctionnent parce qu’ils sont meilleurs que nous pour lire un monde trop complexe pour nous. Le succès de cette technologie nous apprend que le monde est la véritable boîte noire.

L’apprentissage automatique se déploie partout. Il est certes imparfait – notamment du fait qu’il peut amplifier les préjugés de nos sociétés -, mais nous continuons à l’utiliser quand même du fait des résultats qu’il génère. Le fait que l’apprentissage automatique réalise des exploits sans appliquer de règles est surprenant, voire gênant, pour nous, humains, tant nous avons une préférence pour les règles plutôt que pour les détails. Programmer un système pour jouer au jeu de Go sans qu’on lui indique les règles du jeu, mais en lui donnant des centaines de millions de mouvements à analyser semble assez contre-intuitif. Reste que l’apprentissage automatique est devenu bien meilleur que nous pour jouer au Go. Le processus de l’apprentissage automatique ne part pas de généralisations et ne produit pas de généralisations et ne sait pas produire d’interprétation généralisante. Il ne sait que traiter un cas par rapport à des millions d’autres, en généralisant à partir de millions de données. Ainsi, si un identificateur d’écriture n’a pas généralisé ce qu’il a appris des échantillons qui lui ont été donnés, il échouera lamentablement à catégoriser les caractères qu’il n’a jamais vus auparavant. Son incapacité à généraliser en fait un modèle inutile. Mais sa capacité à généraliser dépend toujours d’exemples spécifiques.

Les généralisations que produisent les modèles d’apprentissage automatique sont très différentes des généralisations que nous utilisons, nous humains, pour expliquer des particularités. « Nous aimons les généralisations traditionnelles, parce que (1) nous pouvons les comprendre ; (2) elles permettent des conclusions déductives ; et (3) nous pouvons les appliquer à des cas particuliers. Or, les généralisations produites par l’apprentissage automatique (1) ne sont pas toujours compréhensibles ; (2) sont statistiques, probabilistes et principalement inductives ; et (3) littéralement et pratiquement, nous ne pouvons généralement pas appliquer les généralisations qu’il produit, sauf en exécutant le modèle d’apprentissage automatique. De plus, les généralisations d’un modèle de machine learning peuvent être étrangement particulières : un motif de veines dans un scanner rétinien peut annoncer un début d’arthrite, mais seulement s’il y a 50 autres facteurs avec des valeurs spécifiques dans le dossier médical global et ces 50 facteurs peuvent varier en fonction de leur interrelation. C’est comme si vous vous demandiez comment votre voiture a évité de graves dommages lors de cette collision entre plusieurs voitures : la voiture a dû surmonter tellement de « si », de « et » et de « ou » que l’événement ne se réduit pas à une règle compréhensible que vous pourriez exprimer ou appliquer proprement à une autre situation. Ou encore, c’est comme les indices d’un meurtre mystérieux qui ne désignent le tueur que lorsqu’ils sont pris ensemble, d’une manière qui ne peut être généralisée et appliquée à d’autres affaires de meurtre. »

« Notre rencontre avec les modélisations basées sur l’apprentissage automatique ne nie pas l’existence de généralisations, de lois ou de principes. Elle nie qu’elles soient suffisantes pour comprendre ce qu’il se passe dans un univers aussi complexe que le nôtre. Les particularités contingentes, chacune affectant toutes les autres, écrasent le pouvoir explicatif des règles et le feraient même si nous connaissions toutes les règles. »

Jusqu’à présent, les lois de la science ont répondu à nos besoins. Ce que nous connaissons des lois de la gravité nous permet de procéder aux calculs nécessaires. Nous n’avons pas besoin d’une connaissance exhaustive et impossible de l’univers pour cela. Les lois et règles de la physique nous permettent de simplifier suffisamment le monde pour le comprendre, le prévoir, voire le contrôler, sans avoir besoin de nous intéresser au chaos des particularités et de leurs relations entre elles. Avec l’apprentissage automatique, nous disposons désormais d’une technologie de prédiction et de contrôle qui découle directement des innombrables interactions chaotiques simultanées de la totalité. Cette technologie a pourtant un écueil : si elle nous donne une maîtrise accrue, elle ne nous apporte pas la compréhension. Mieux, son succès même attire l’attention justement sur ce qui échappe à notre compréhension.

Pour David Weinberger, « l’apprentissage automatique pourrait briser l’engouement de l’Occident pour la certitude comme signe de la connaissance ». Comme les résultats de l’apprentissage automatique sont probabilistes, la certitude totale des résultats est bien souvent une cause de scepticisme à l’égard d’un modèle. Par nature, les résultats probabilistes de l’apprentissage automatique comportent un certain degré d’inexactitude. Nous avons désormais des systèmes puissants capables de tirer des conclusions d’innombrables détails interconnectés, même si leurs modalités nous restent impénétrables. À terme, le plus réel ne sera peut-être plus le plus immuable, le plus général, le plus connaissable… Le réel ne sera plus alors l’événement le plus simple, mais bien sa complexité même.

Le fossé de la compréhension

En 2019, à la sortie du livre, Weinberger développait la même idée sur son blog sur Medium. Pour lui, l’apprentissage automatique élargit le fossé entre la connaissance et sa compréhension. Longtemps nous avons pensé qui si nous travaillions assez durement, si nous pensions assez clairement, l’univers nous livrera ses secrets, car il est connaissable… « Mais avec l’apprentissage automatique, nous commençons à accepter que la véritable complexité du monde nous dépasse et dépasse de loin les lois et les modèles que nous concevons pour l’expliquer » Or, rappelle-t-il, nous nous considérons comme des créatures créées par Dieu et dotées de la capacité à recevoir la révélation de la vérité. Depuis la Grèce antique, nous nous définissons comme les animaux rationnels capables de voir la logique et l’ordre sous l’apparent chaos du monde. L’apprentissage automatique nous invite à remiser cette idée fondamentale. Nous ne sommes peut-être pas aussi bien adaptés à la rationalité de notre univers que nous le pensions. « L’évolution nous a donné des esprits réglés pour la survie et seulement accessoirement pour la vérité. » Pour Weinberger, nous sommes confrontés à une désillusion, à une compréhension nouvelle de nos limites, mais désormais dotés d’un pouvoir pour les dépasser. « Plutôt que de devoir toujours ramener notre monde à une taille que nous pouvons prévoir, contrôler et avec laquelle nous nous sentons à l’aise, nous commençons à élaborer des stratégies qui tiennent compte de la complexité de notre monde. »

Weinberger évoque ainsi l’utilisation des tests A/B (voir également ce que nous disions du potentiel et des limites de l’A/B testing). Il rappelle que lors de la première campagne présidentielle d’Obama, ses équipes n’ont cessé d’utiliser ces techniques pour améliorer l’engagement des visiteurs de son site web. Ses équipes ne savaient pas pourquoi certaines améliorations fonctionnaient, mais elles n’en avaient pas besoin. Il suffisait de le mesurer et de le constater. En fait, nombre de résultats de tests A/B ne s’expliquent pas, notamment quand ils montrent qu’un fond vert a plus d’effet qu’un fond bleu. Nous n’avons pas toujours le cadre mental qui explique pourquoi une version d’une publicité fonctionne mieux qu’une autre par exemple. Il est probable que les explications soient liées à des contextes précis, à des préférences multiples, fugaces et très spécifiques. « Les raisons peuvent être aussi variées que le monde lui-même ». « Pensez au lancer d’un ballon de plage. Vous vous attendez à ce que le ballon fasse un arc de cercle en se déplaçant dans la direction générale dans laquelle vous l’avez lancé, car notre modèle mental – l’ensemble des règles qui régissent la façon dont nous pensons que les choses interagissent – tient compte de la gravité et de l’élan. Si la balle va dans une autre direction, on ne rejette pas le modèle. Vous supposez plutôt que vous avez manqué un élément de la situation ; peut-être y avait-il un coup de vent, ou que votre main a glissé ».

« C’est précisément ce que nous ne faisons pas pour les tests A/B. Nous n’avons pas besoin de savoir pourquoi. » Nous n’avons pas besoin de savoir pourquoi une photo en noir et blanc, un fond vert plutôt que bleu ou une étiquette « En savoir plus » ont augmenté les dons à une campagne particulière. Nous n’avons pas même à savoir si les leçons que nous avons tirées de la publicité d’un démocrate s’avèrent ne pas fonctionner pour son adversaire républicain – et il est fort possible que ce ne soit pas le cas – ce n’est pas grave non plus, car il est assez peu coûteux d’effectuer d’innombrables tests A/B.

« Le test A/B n’est qu’un exemple de technique qui nous montre discrètement que les principes, les lois et les généralisations ne sont pas aussi importants que nous le pensions. » Au final, la complexité démontre une forme d’efficacité.

L’apprentissage automatique et le test A/B ont trois choses en commun : elles sont énormes, elles sont connectées, elles sont complexes. Leur échelle – leur immensité – leur permet d’atteindre un niveau de détail inégalé. L’un comme l’autre – contrairement à nous – se nourrissent de détails et d’unicité. La connectivité est également essentielle, notamment parce qu’elle est à l’origine même de leur complexité. « Les connexions entre les très nombreux éléments peuvent parfois conduire à des chaînes d’événements qui se terminent très loin de leur point de départ. D’infimes différences peuvent faire prendre à ces systèmes des virages inattendus. »

« Mais, nous n’utilisons pas ces technologies parce qu’elles sont énormes, connectées et complexes. Nous les utilisons parce qu’elles fonctionnent. »

L’efficacité des systèmes : une appréciation contextuelle

Cette efficacité intrinsèque cependant semble une limite que ces deux tribunes n’interrogent pas. Une efficacité pour quoi et pour qui ? Nous avons pour notre part souvent pointé les limites tautologiques de l’efficacité (par exemple, dans « Qu’est-ce que l’informatique optimise ? »).

Pointons donc vers une derrière tribune de David Weinberger qui revient sur les erreurs de l’apprentissage automatique. Cette efficacité des systèmes, c’est nous qui devons la régler, la borner, souligne-t-il.

De nombreux systèmes d’apprentissage automatique sont des classificateurs. Ils trient et classent des objets en fonction de leurs résultats. « Cette photo doit-elle être placée dans le panier des photos de plage ou non ? Cette tache sombre sur un scanner médical doit-elle être classée comme une excroissance cancéreuse ou autre chose ? » Les machines prennent des décisions sur la base de l’examen de milliers voire de millions d’exemples qui ont déjà été classés de manières fiables, entraînés. Reste que tous les systèmes font des erreurs de classements. « Un classificateur d’images pourrait penser que la photo d’un désert est une photo de plage. »

Les classificateurs font deux grands types d’erreurs. « Un classificateur d’images conçu simplement pour identifier les photos de plages peut, par exemple, placer une image du Sahara dans la catégorie « Plage » ou placer une image de plage dans la catégorie « Pas une plage ». » Les premières sont des « fausses alarmes » (les spécialistes parlent de faux positifs) et les secondes sont des « cibles manquées » (les spécialistes parlent de faux négatifs). Les taux de fausses alarmes et de cibles manquées sont importants. Dans le cas d’un scanner corporel au contrôle de sécurité d’un aéroport, celui-ci déclenche souvent des alarmes de sécurité alors que les personnes ne sont pas une menace pour la sécurité. Il ne s’agit pas nécessairement de mauvais réglages : les scanners sont réglés de manière à générer assez fréquemment de fausses alarmes. Ils sont réglés pour privilégier les fausses alarmes plutôt que les cibles manquées. L’exemple montre que fausses alarmes et cibles manquées sont interreliées et que les choix que l’on fait peser à un système dépendent des objectifs qu’on en attend, du contexte de son déploiement.

En ce sens, l’efficacité dépend donc du contexte et des réglages auxquels on procède. Fausses alarmes et cibles manquées peuvent être coûteuses, à la fois pour celui qui opère le système, comme pour ceux qui sont opérés par le système. Ces ajustements entre fausses alarmes et cibles manquées amènent à un autre niveau d’erreur, explique Weinberger : le niveau de confiance du système. Le choix de ces ajustements, la machine, elle ne peut pas vraiment y répondre. Ce sont donc les concepteurs qui décident de ce qu’ils attendent du système, des compromis à faire pour obtenir un résultat plus ou moins fiable, efficace. C’est ici que les discussions et les conversations difficiles ont lieu. « L’une des conséquences les plus utiles de l’apprentissage automatique au niveau social n’est peut-être pas seulement qu’il nous oblige, nous les humains, à réfléchir sérieusement et à voix haute à ces questions, mais que les conversations requises reconnaissent implicitement que nous ne pourrons jamais échapper entièrement à l’erreur. Au mieux, nous pouvons décider comment nous tromper de manière à atteindre nos objectifs et à traiter tout le monde aussi équitablement que possible. » Au mieux !

Pour le dire simplement, malgré ses qualités, ses performances, l’apprentissage automatique ne nous enlève pas, nous humains, du dilemme qu’il construit. Nous avons encore accès aux paramètres. C’est à nous de les fixer, c’est-à-dire de les préciser, de les réparer, de les borner ! Et donc de dire où ces systèmes peuvent être utiles et où ils ne devraient pas régir le monde.

Hubert Guillaud

Suite de notre tentative à saisir les transformations en cours du système de santé en regardant les enjeux que posent l’exploitation des données de santé.

S’affranchir de notre consentement ?

La confidentialité des données de santé est toujours critique, rappelions-nous. Le problème ou le risque, c’est que pour que les acteurs de la santé puissent mieux les utiliser, nous soyons demain confrontés à un « consentement présumé »… C’est-à-dire, comme c’est devenu la règle pour le don d’organe, que l’on passe d’une règle par défaut où il fallait consentir au don d’organe, à une règle par défaut où celui-ci est consenti : c’est notre refus qui doit être explicitement formulé. Ce « nudge » consiste à profiter de l’inertie de nos comportements comme de l’absence ou de la carence d’information. C’est d’ailleurs ce qui est annoncé pour le lancement de l’Espace de santé numérique qui sera ouvert à l’ensemble des Français au premier janvier 2022. Cet espace de stockage de documents médicaux entre patients et médecins sera créé systématiquement par défaut (si vous souhaitez le refuser, il faudra le signaler dans un temps relativement court). Le risque c’est que nous soyons doucement contraints à l’utiliser. Notre médecin sera certainement incité à y déposer des documents et sera peut-être intéressé à nous pousser à l’utiliser (comme les pharmaciens ont intérêt à ce que vous consentiez à partager les données qu’ils utilisent). Nous voilà obligés par les plus proches acteurs du soin à aller dans leur intérêt pour notre plus grand bien ! Bien sûr, d’autres acteurs y auront très certainement accès sous prétexte de recherche et d’amélioration des systèmes de soins. Certes, on nous le vend comme un espace sur lequel nous aurons la main, puisque nous pourrons choisir de partager ou non des données de santé avec d’autres acteurs, via des applications. Mais le risque est que nous y soyons surtout contraints sous couvert de commodité, poussés par des professionnels de santé qui eux aussi, par commodité, seront poussés à l’utiliser.

Boulard, Favier-Baron et Woillet dans leur livre fustigent avec raison ce « consentement présumé ». La mise en production de nos données de santé via des systèmes d’autorisation d’accès vise à inciter professionnels et usagers à l’alimenter. Nous voici en train de glisser dans une forme de « techno-régulation » sur laquelle notre possibilité d’action est réduite, c’est-à-dire dans un mode de prescription de comportements spécifiques par la technologie plus que par le droit. La feuille de route de la numérisation de la santé s’impose dans l’urgence, comme pour mieux court-circuiter tout débat public. Notre seule liberté semble désormais de consentir. « Le débat ne porte pas en amont sur la légitimité d’une plateformisation de la santé, mais se situe déjà sur l’impératif d’acceptation ». C’est oublier pourtant qu’« une relation de soin n’est pas un rapport de force », comme le rappelait avec beaucoup d’humanité le médecin Martin Winckler (@MartinWinckler, blog) dans son roman, Le Chœur des Femmes.

« Au final, l’État se déleste de ses prérogatives et négocie des accords en sous-traitant de plus en plus de missions à des acteurs privés », à l’image de Doctolib qui s’est retrouvé en charge de l’accès à la vaccination.

Vers une médecine de données… au détriment de la relation

À terme, à nouveau, le risque est que ces plateformes produisent une médecine sans médecins ni malades, qui ne cherchent que des sujets à risques, en ne produisant pour cela que des corrélations. Nous entrons dans une logique « excessivement statistique », mettent en garde les auteurs. Une logique qui risque de produire une marginalisation de la relation entre le patient et le médecin. Le traitement très industriel et très numérique que nous avons connu avec l’épidémie de Covid illustre parfaitement ce point. L’entendement du médecin comme du patient ont été mis au ban. Nous avons été sommés de nous éloigner de nos médecins par des systèmes de soins industriels, fait de SMS, de mail et de bases de données… pensés pour passer à l’échelle plus que pour nous rapprocher du soin.

Dans cette logique à faire parler nos données, « l’anonymat est inconcevable ». Si nous ne sommes plus que nos données, malgré les appels à l’anonymisation et à la pseudonymisation toujours faillibles, nul ne semble plus avoir le droit, dans ces espaces, de ne pas être identifié. Afin que nous soyons faussement en maîtrise (d’autorisation des accès à nos données) ou afin d’associer les données (via le NIR, le numéro de sécurité sociale), le risque d’identifications par-devers nous est fort.

Mais surtout, derrière le but de produire une médecine numérique, prédictive, personnelle, ciblée, individualisée… s’impose une négation de leur logique mutualiste, collectiviste et éminemment personnelle et relationnelle… Pourtant, comme le suggère le médecin Gérard Reach dans un rapport pour l’Académie nationale de médecine, la médecine n’est pas réductible à des arbres décisionnels, c’est d’abord et avant tout un rapport humain. Notre santé n’est pas une question de détection d’anomalies, mais au contraire de compréhension d’innombrables irrégularités. Et les auteurs de rappeler avec le philosophe Georges Canguilhem qu’on ne peut objectiver le passage entre Le normal et le pathologique…

Avec les données, le risque d’une santé hypernormative

En médecine, nous sommes pourtant, certainement plus qu’ailleurs, dans le domaine des « hétérotaxies », c’est-à-dire un domaine de connaissance où nos innombrables différences ne font pas nécessairement pathologies, à l’image de ceux qui ont des organes mal placés sans nécessairement en avoir des conséquences fonctionnelles. La normativité et l’objectivité d’une médecine purement numérique tiennent certainement d’une quête vaine. Or, dans la production de données de santé fluides, du patient au régulateur, le risque est de produire des nomenclatures, des classifications dures, nécessaires à la standardisation et à l’interopérabilité des systèmes d’informations médicaux. Le risque, c’est de « surmédicaliser des pans entiers de la population au bénéfice des industries pharmaceutiques » et de limiter l’autonomie de diagnostic et de possibilité de médication des médecins ! Or, rappellent les auteurs, les conceptions américaines de la psychiatrie par exemple sont loin d’être homogènes et partagées chez nous. C’est un peu comme quand on évalue la cause d’un décès, elle est bien souvent multiple et ne peut se réduire à une seule case et cause. Or, par nature, la production de données, pour qu’elles s’agrègent et discutent les unes avec les autres, nécessite des normalisations. Le risque, c’est qu’elles s’imposent partout selon des codifications strictes, au détriment de l’appréciation clinique et locale. C’est là tout l’enjeu de gestion de données que politise InterHop notamment, en opposant des données de santé produites pour l’ensemble du secteur et des données de santé d’abord produites à l’échelle locale, pour répondre aux spécificités et enjeux de chaque service, plutôt qu’au pilotage du système de soin.

Comme le rappellent très bien Boulard, Favier-Baron et Woillet : « Plus on éloigne les données de leur lieu de collecte, plus on les décontextualise en prenant le risque de mal les interpréter. En retour, c’est l’application des algorithmes au soin qui devient moins précise. En effet, en éloignant géographiquement le lieu de collecte du lieu de traitement, on perd le bénéfice d’un aller-retour correctif entre les algorithmes et la pratique réelle des soins sur de vrais patients. » Un constat qui n’est pas sans rappeler les préceptes défendus par le Data Feminism ou le Design Justice qui nous invitent à revenir à des données relationnelles plutôt qu’à leur exploitation extractiviste.

Le livre de Boulard, Favier-Baron et Woillet a le mérite d’aller loin dans les conséquences que la transformation numérique fait peser sur la santé, qui n’est pas un changement de régime, mais bien un changement de nature auquel nous assistons !

Ils soulignent surtout l’idéologie qui la guide. Derrière la logique de l’ouverture et de l’interconnexion des données de santé sous couvert « d’innovationnite », se masque un solutionnisme de l’austérité et de la marchandisation. Et de conclure en rappelant la force des préconisations du collectif InterHop : garder la donnée, les solutions logicielles et terminologiques au plus près du lieu de soin pour mieux décorréler le soin de l’idéologie de la réduction des coûts. Le conseil citoyen de la surveillance biométrique de l’Ada Lovelace Institute, où des citoyens ont fait des préconisations en matière de surveillance des données physiologiques de santé, l’a dit dans ses recommandations : interdire purement et simplement l’autorisation de revente des informations biométriques à tout tiers, garantir la représentativité démocratique des solutions technologiques et surtout que le consentement présumé ne puisse pas remplacer le consentement éclairé.

Dans une note pour l’Institut Rousseau » (@InstitRousseau), Ophélie Coelho @OphelieCoelho), dresse le même constat : aujourd’hui, le consentement présumé est trop large. Qu’acceptons-nous vraiment ? Trop souvent, nos données peuvent être utilisées pour produire des analyses statistiques, du profilage, des produits de données, de la recherche… Pour elle, nous devrions amender le RGPD afin de ne plus rendre possible le traitement compatible avec les finalités initiales, tant la marge d’interprétation laissée aux plateformes est large – comme c’est le cas avec l’exemple d’IQVIA qui explique profiter de l’exception de recherche alors que son innovation est bien un produit commercial.

Pour Boulard, Favier-Baron et Woillet, plus radicaux encore, il est nécessaire d’exclure les acteurs pharmaceutiques et assurantiels des plateformes – et on pourrait d’ailleurs imaginer aller plus loin en excluant les données de santé des produits assurantiels, comme l’imagine (bien timidement encore) le Crédit Mutuel en annonçant renoncer au questionnaire médical lors de la souscription d’un crédit immobilier.

Dans la première de ses 12 mesures pour la présidentielle, l’économiste Gaël Giraud (@GaelGiraud_CNRS) propose une dotation en moyens de chaque hôpital en fonction de la population desservie ainsi que le conventionnement sélectif pour les médecins afin de les pousser à s’installer dans les zones les moins dotées, comme pour s’affranchir d’un pilotage par des données trop précises, afin de reprendre de la hauteur politique. Ces deux propositions ont une vertu manifeste : celle de piloter les données depuis des objectifs partagés, plutôt que de seulement piloter depuis les données. Pour le dire plus clairement, l’enjeu semble bien de fixer par exemple des seuils du nombre de lits d’hôpital par services et unités selon la population qu’ils couvrent, plutôt que de les piloter uniquement par la demande. Si nous ne définissons pas combien de lits nous devrions disposer, le risque est qu’ils soient toujours réduits à et par leur calcul. Sans objectifs, les traitements des données n’ont pas de sens !

Derrière la modernisation de notre santé, le risque est bien celui d’une étrange dépossession. Audrey Boulard, Engène Favier-Baron et Simon Woillet nous rappellent qu’on ne joue pas avec la santé et encore moins avec nos données de santé. À l’heure où celles-ci sont pourtant devenues le jeu du passe sanitaire lui-même, accessible à tous, qui permettent des accès différenciés des individus aux transports, aux lieux culturels ou sportifs… À l’heure où la consultation du statut de positivité au Covid par la police a été envisagée en juillet et par les directeurs d’établissements d’enseignement en novembre (dans les projets de loi relatifs au passe sanitaire, mais ces 2 dispositions ont été très légitimement écartées par le Conseil Constitutionnel), nous voyons tous très concrètement les dangers que les plus personnelles de nos informations soient accessibles partout et par tous. À l’heure où nos données de santé sont plus protégées que jamais, elles n’ont jamais été aussi accessibles. À croire que nous sommes plongés dans un paradoxe sans issue.

Toutes les données de santé n’ont pourtant pas la même… valeur !

La journaliste scientifique de Sciences et Avenir, Coralie Lemke (@coralielemke) vient de publier elle aussi un livre sur le sujet : Ma santé, mes données (Premier Parallèle). Plus accessible, bien plus clair et factuel que celui des trois précédents, il permet de comprendre d’autres aspects du complexe problème des données de santé. Notamment que le grand enjeu de l’accès aux données de santé n’est pas tant dans celles contenues dans notre montre connectée (qu’elle caractérise comme des données « d’hygiène de vie » ou de « bien être », peu prisées par la recherche, qui ne relèvent pas directement des données de santé, mais semblent perdues dans un entre-deux législatif, comme le pointait notre dossier sur les applications de santé) ou dans les prescriptions médicales épisodiques et ponctuelles (comme quand on va consulter pour un rhume ou pour une gastro…), mais se concentre surtout dans les données liées à des maladies chroniques, au long cours… Ce sont ces « données de vie réelle » qui ont surtout de la valeur. Elles comprennent notamment les données d’essais cliniques randomisés (permettant par exemple de tester un médicament) et surtout, les soins donnés à des patients et leurs réactions dans la durée, permettant de suivre les évolutions médicales cliniques et les effets des médicaments et traitements sur le temps long. Ce n’est donc pas étonnant si c’est autour de ce type de données que se concentrent nombre de plateformes d’analyses de données, à l’image de la plateforme Darwin de Sanofi, qui contient les informations de 300 millions de patients, ou celle du laboratoire Roche produite avec Unicancer, la Fédération nationale des centres de lutte contre le cancer, pour mettre à dispositions des données oncologiques longitudinales, ou encore entre Sanofi et l’Assistance publique – Hôpitaux de Paris. Pour l’instant, bien souvent, ces entrepôts de données hospitalières sont difficiles à faire parler, notamment parce que les formats dans lesquels les données sont produites sont très loin d’être uniformes et interopérables. Plus que des données – c’est-à-dire des champs dans des tableurs – d’ailleurs, on devrait surtout parler d’informations, puisque les dossiers médicaux tiennent bien plus de fiches et documents, images et documents en PDF, dont il faut parvenir à extraire et faire parler les données avant tout.

L’un des intérêts de ces données de vie réelle explique clairement Lemke, consiste à pouvoir remplacer les groupes témoins dans les essais cliniques randomisés, c’est-à-dire ceux qui reçoivent un placebo, par des données sur des populations existantes. L’enjeu, là encore, vise à réduire les coûts réels comme moraux des essais pharmacologiques. À nouveau, l’agrégation de données de santé vise surtout à rendre la santé moins chère à produire ! L’industrialisation numérique vise partout et toujours, avant tout, à produire de nouvelles économies d’échelle et des gains de productivité.

Lemke donne d’autres exemples parlant. Notamment des partenariats entre les communautés de patients (à l’image de PatientsLikeMe, la plateforme qui regroupe quelques 800 000 patients discutant autour de plus de 2900 maladies) qui à leur tour signent des partenariats avec des laboratoires pour leur permettre d’accéder aux données relatives à certaines maladies, par exemple avec Novartis sur les personnes ayant été transplantées ou celles souffrant de sclérose en plaques, avec AstraZeneca autour des maladies respiratoires ou le cancer… En France, son homologue, Carenity (qui regroupe 500 000 malades) vend également des données ou leur accès à des membres de sa communauté pour des enquêtes. Mais c’est également le cas des plateformes de génétique personnelle comme 23andMe, Nebula Genomics ou MyHeritage, des entreprises américaines qui proposent des tests génétiques personnels et qui revendent les profils génétiques de leurs clients individuels à des laboratoires, sans que les individus soient au courant.

Si les données des capteurs de santé comme Fitbit n’intéressent pas les acteurs de la recherche médicale, elles intéressent les acteurs de l’assurance. Mais l’enjeu des Gafams n’est pas tant de mieux monétiser ce type de données que de montrer aux acteurs de la santé qu’ils disposent des outils permettant de traiter les données et de les faire parler. C’est le cas par exemple d’une récente étude sur la capacité des algorithmes de Google à analyser des images médicales pour détecter le cancer du sein… L’algorithme se révélerait plus fiable qu’un diagnostic établi par un seul médecin (mais moins que deux médecins). Reste, que là encore, ces résultats sont cependant à prendre avec beaucoup de recul, comme l’ont montré les limites de Watson pour lutter contre le cancer. Quant à l’utilisation de systèmes d’IA pour prédire les pathologies à venir des patients depuis leurs données, on peut ici rester plus circonspect encore. Certes, les gens déjà malades ont tendance à le devenir plus à mesure qu’ils le sont et à développer des maladies chroniques voire multifactorielles… mais ces constats tiennent surtout d’une tautologie.

Enfin, comme les données de bien-être, il y a bien sûr le fait que toutes les données peuvent être analysées sous l’angle de la santé, à l’image de FB qui tente d’utiliser nos données pour détecter la dépression ou le risque de suicide… Mais ici, l’enjeu est bien moins médical que commercial. « Si Facebook s’intéresse à vos posts déprimés, c’est qu’ils sont monétisables » et qu’il est finalement plus facile de vous vendre une publicité pour un objet qui vous assure un peu de réconfort : votre fragilité augmente la probabilité d’achat. Les pseudo tests-comportementaux en ligne qui permettent de revendre des pseudo-données d’analyses de votre état psychique (voir notre article « Peut-on rendre le ciblage psychologique productif ? ») à des régies publicitaires pour qu’elles placent des produits adaptés, posent des questions sur cette forme de no man’s land légal, à l’image de la plainte de l’ONG Privacy International (@privacyint) à la Cnil à l’encontre des tests psychologiques réalisés par Doctissimo.

Le point faible persistant de la sécurité des données

Dans ces grandes manœuvres autour de nos données de santé, le point faible très souvent mis en avant reste la sécurisation des données. Des rançongiciels qui attaquent les systèmes informatiques des hôpitaux, aux innombrables fuites et failles des données de santé qui se retrouvent sur le dark web… en passant par des formes d’anonymisation défaillantes, car difficiles à réaliser par nature, la sécurisation des échanges de données de nombres de plateformes est souvent prise en défaut.

Or, dans le domaine de la santé, la cybercriminalité de santé se porte bien, comme l’a rappelé en 2017 le virus WannaCry qui a notamment infecté de nombreux hôpitaux britanniques du National Health Service ou, en 2021, en France, le piratage de 491 000 dossiers de santé provenant d’ordinateurs de laboratoires de biologie médicale. Les cyberattaques sont en hausse, rappelle Lemke. « De 54 attaques rapportées en 2019, la France est passée à 192 en 2020, soit une hausse de 255 % », explique l’Agence nationale de la sécurité des systèmes d’information (ANSSI). La part des budgets informatiques correspond à 2 % du budget de fonctionnement d’un hôpital. Et celle dédiée à la sécurité est encore moindre. Pour l’ANSSI, il faudrait consacrer entre 4 et 10 % de ces budgets à la sécurité, rappelle Lemke. Nous en sommes loin !

Partout, nos données de santé sont la cible d’une prédation sans précédent, rappelle Lemke, notamment de la part des entreprises du numérique qui promettent des miracles de traitement. Le projet Nightingale de Google a permis de récolter les données de santé de 2600 établissements de soins du réseau de santé catholique américain Ascension, sans recueillir le consentement des patients. Même constat dans le partenariat entre Google et la fédération hospitalo-universitaire américaine Mayo Clinic, ou encore bien sûr l’accord entre le National Health Service britannique et Palantir… Systèmes de soins et apomédiaires, quand ils ne sont pas soumis à des contraintes fortes, comme le RGPD, n’ont aucun scrupule à l’extractivisme de nos données les plus intimes.

Autre problème quant à la sécurité de ces plateformes : leur hypercroissance les conduit à traiter avec beaucoup de légèreté les questions de sécurisation des données de santé auxquelles elles ont accès. L’anonymisation et la pseudonymisation – qui tiennent pourtant d’obligations légales – ne sont toujours optimales. Le chiffrement des données (lui aussi obligatoire), la correction des failles de sécurité… non plus, comme le montrait l’enquête d’Olivier Tesquet sur Doctolib ou celle autour du manque de sécurité des cookies de Doctolib qui permettait à Facebook de recevoir les mots clefs que les utilisateurs de Doctolib en Allemagne tapaient dans le moteur de recherche du site ! La question de la sécurisation des données de bout en bout est encore bien souvent un vaste chantier, traité encore avec trop de légèreté !

Quelles limites à la fluidification sans fin des données de santé ?

En lisant ces deux ouvrages, on peut se poser une question légitime. Faut-il fluidifier les données de santé ? Et si on répond oui à cette question, lesquelles et jusqu’où ?

Le mouvement pour l’ouverture des données, qui se présente toujours sous un couvert vertueux (l’ouverture va produire – « naturellement » – plus de connaissance, plus de démocratie…) n’est pas contrebalancé de principes qui orientent, contraignent ou limitent son action. En vérité, l’ouverture des données produit surtout des indicateurs, facilite l’élargissement des accès aux données (sans poser de questions à leurs limites) et les mesures produites renforcent une logique d’indicateurs comptables et austéritaires. Devons-nous construire un monde où toutes les données sont reliées, qui produit partout des indicateurs homogènes, distribués et concentrés à la fois ? Faut-il construire par exemple un tableau de bord de l’occupation des lits d’hôpital permettant de connaître, en temps réel, le taux d’occupation de tel service de tel hôpital et en même temps, les taux d’occupation départementaux, régionaux et nationaux ? Sans déterminer par exemple de plancher au nombre de lits par habitant (comme nous y invitait Gaël Giraud) : le pilotage par l’occupation des lits menace surtout de produire des réductions drastiques, sans fin, sans limites ! A l’image de la baisse du nombre de lits d’hospitalisation que nous avons connue depuis 20 ans.

Ce dossier et ce sujet sont compliqués. Pas étonnant que les utilisateurs n’y comprennent pas grand-chose. Bien sûr, tout à chacun peut plutôt être disposé à ce que ses données de santé servent la recherche et le progrès médical, voire même le bien mal défini « intérêt public ». Mais doit-on pour autant créer une superstructure des données de santé la plus fluide possible ? Et quid de ses autres finalités qui ne tiennent pas de la recherche, mais bien d’un contrôle et d’une marchandisation de la santé ?

Comme le souligne enfin Coralie Lemke en conclusion de son livre : si le RGPD est très protecteur en matière de données de santé, il repose entièrement sur notre consentement individuel. Nous sommes bien seuls en matière de données de santé face à la « myriade de petites lignes de jargon juridique dont sont composées les conditions générales d’utilisation à valider ». Le contrôle au citoyen le laisse finalement bien démuni et lui confie une responsabilité écrasante face à des acteurs dont les intentions le dépassent.

Reste que dans tous ces dispositifs qui se mettent en place, on constate surtout l’absence des utilisateurs, de structures pour les représenter et pour défendre leurs perspectives. Où sont les associations de patients, de consommateurs ou de défense des droits dans les nouvelles chaînes des données de santé ?

Mais surtout où sont les limites à cette « rafle des données » (ou data grab, comme le dénonce l’opposition, depuis l’été, au plan de partage des données des médecins généralistes britanniques initiés par le NHS) ? Pourquoi s’organise-t-elle depuis des données les plus agrégées possible, les plus complètes possible, les plus continues possible, les plus temps réel possible ? Cette question est toujours balayée d’un revers de la main, alors qu’elle devrait être au cœur de nos réflexions pour mieux balancer santé et respect des patients. L’espace de dialogue avec la population en tout cas, pour l’instant, est inexistant. Or, quand nous sommes au menu, c’est bien souvent que nous ne sommes pas à la table des négociations. Dans les systèmes d’échanges de données de santé, tout se fait pour nous, mais sans nous ! Comme nous y invitait les Ateliers pour la refondation du service public hospitalier, lancés en juillet 2020 à l’initiative de plusieurs collectifs des soignants et patients, ce sont bien ceux là mêmes à qui sont prodigués les soins et ceux-là mêmes qui prodiguent les soins qu’on ne voit pas dans cette mise au pas de la santé par les données. C’est certainement l’aspect le moins rassurant de cette industrialisation et de cette transformation qui s’opère.

Enfin, ultime risque et non des moindres… Celui que cette fluidification du partage de nos données fasse modèle, qu’elle se généralise à d’autres types de données, comme celles de la justice, de l’éducation ou de l’emploi… Si la raison d’une amélioration de la recherche et des indicateurs pour l’intérêt public sera peut-être moins mobilisable, on voit bien que se profile, sous couvert d’optimisation et d’efficacité, une mise en production inédite de nos données par-devers nous.

Hubert Guillaud

Dossier, les enjeux de nos données de santé :

• 1e partie : le risque d’un changement radical de notre système de santé
• 2e partie : les données plutôt que le soin

MAJ : Sur Blast, en vidéo, Audrey Boulard et Simon Woillet tentent d’éclairer les enjeux des données de santé.

Les enjeux des données de santé sont devenus très visibles avec la crise sanitaire, expliquent Audrey Boulard (@audrey_boulard), Eugène Favier-Baron (@BaronFavier) et Simon Woillet (@SimonWoillet) dans leur livre Le business de nos données médicales : enquête sur un scandale d’État (Fyp édition, 2021). Pour les trois coordinateurs des questions numériques du média en ligne Le vent se lève (@lvslmedia), les mobilisations récentes autour du passe sanitaire sont aussi révélatrices d’une crise de confiance à l’égard des politiques numériques de santé. Alors que nos données de santé sont plus protégées que jamais depuis le Règlement général sur la protection des données (RGPD), elles ont été rendues plus disponibles que jamais, que ce soit via le passe sanitaire comme via les bases de données créées à l’occasion de la crise sanitaire. Cet exemple illustre certainement très bien les contradictions à l’œuvre autour des données de santé, et notamment l’appétence dont elles sont la cible : les protections dont elles font l’objet ne semblent pas tant en protéger l’accès que le fluidifier.

Les transformations en cours ne sont pas neutres politiquement : « la réforme numérique de nos institutions de santé n’est pas une affaire apartisane », comme elle nous est trop souvent présentée. C’est d’ailleurs là, l’intérêt de cet ouvrage : repolitiser ces enjeux. Certes, la question du devenir de nos données médicales n’est pas un sujet simple. Le livre de Boulard, Favier-Baron et Woillet est souvent exigeant, aride, voire même un peu brouillon, pour qui ne possède ni les codes du monde de la santé ni ceux des questions numériques. Bien souvent, derrière cette complexité, le citoyen peine à comprendre de quoi on parle. Pourtant, derrière les questions techniques relatives à la souveraineté numérique (de quelles juridictions dépendent l’analyse et la collecte de nos données ?), derrière les questions techniques d’une fluidification sans fin des données, l’enjeu est de comprendre comment ces transformations vont impacter et transformer notre modèle de santé.

Ne nous y trompons pas, expliquent les trois auteurs : la logique de fluidification de nos données ne vise pas le bénéfice du patient ni de la relation avec nos médecins… Elle masque des logiques de privatisation, de marchandisation et d’optimisation qui ne nous bénéficieront pas. Le risque, expliquent-ils, c’est que les modèles et les indicateurs que visent à produire nos données de santé finissent de mettre à mal le modèle clinique lui-même, c’est-à-dire remettent en cause le rapport humain qui est au fondement même du soin. Nos données de santé sont une aubaine pour trop d’acteurs. Et leur confidentialité, pourtant toujours critique (comme nous le rappelait Susan Landau), risque bien d’être la dernière chose qui sera protégée par ces transformations à venir.

Transformer notre système de santé par les données !

« La numérisation tous azimuts des données de santé (…) fait peser une série de menaces sur notre système social », que ce soit le remplacement des personnels par des machines (en fait, plus certainement, le découplage des métiers selon les actes, à l’image des ophtalmologistes qui ne réalisent plus tous les actes techniques de mesures dans certains centres de soins) et plus encore des diagnostics et des traitements par des calculs automatisés qui menacent la levée de la confidentialité sur notre santé. Mais surtout, elle implique un changement de paradigme, un changement de modèle où les chiffres sont partout reliés à une logique d’austérité comptable, où la mesure sert bien plus à minimiser la santé qu’à la développer.

Les enjeux des données de santé aujourd’hui se cristallisent beaucoup dans la question de la souveraineté. Sous prétexte que nos systèmes de soins ne sont pas au niveau technique espéré ou attendu, les autorités souhaitent confier le stockage et le traitement des données à des entreprises américaines, avec le risque bien sûr que nos données tombent sous leurs juridictions et contraintes. Ce n’est pas un petit risque comme s’en émouvait la CNIL ou le collectif InterHop (@interchu). Les autorités semblent tellement désireuses qu’on accélère l’analyse des données de santé, qu’elles semblent prêtes à céder la nécessaire construction des infrastructures de collecte à des acteurs tiers. Reste que l’enjeu à construire des infrastructures souveraines, libres et open sources, nationales, qu’on maîtriserait de bout en bout, que défend avec raison le collectif InterHop, pour nous préserver de l’ingérence américaine, ne suffit pas à préserver notre modèle de santé, si on n’oriente pas également la finalité des traitements. C’est justement là où le collectif InterHop dépasse ce seul enjeu de souveraineté en promouvant notamment la minimisation des données, leur collecte, gestion et analyse à un niveau local plus que global et en refusant l’exploitation des données des patients. L’enjeu de la maîtrise des outils de santé n’est pas qu’une question d’indépendance et de souveraineté, mais consiste à construire un modèle démocratique de nos données de santé qui nous assure de la conservation du modèle social qui est le nôtre, plutôt que d’importer un modèle social calqué sur le modèle libéral anglo-saxon.

Or, pour les trois auteurs, la technologie telle qu’elle est convoquée pour innerver notre système de soin risque de produire un modèle de santé très libéral. La technologie, là encore, est au service d’un modèle économique, politique et idéologique qui n’est pas celui du modèle de solidarité que nous avons bâti avec la sécurité sociale, mais un modèle bien plus assurantiel et comptable qui vise à produire des indicateurs pour piloter la santé, plutôt que des soins solidaires. La numérisation des données de santé vise d’abord à servir « de levier de contrôle sur la dépense publique de santé ». Pour le collectif InterHop, l’algorithmisation de la santé fait courir le risque de sa personnalisation au détriment du modèle de collectivisation des risques.

« La promotion des technologies et systèmes d’information pour la structuration des données de santé entretient un flou entre efficacité de la gestion du système de santé et progrès thérapeutique ». En fait, sous couvert d’une analyse sans précédent de nos données de santé que leur fluidification permettrait, c’est-à-dire une avancée sans précédent des connaissances sur les maladies – une affirmation souvent répétée, mais qui n’est pourtant jamais vraiment démontrée ! -, on nous vend une transformation majeure de la relation entre instances de régulation et prestataires de soins. Or, rappellent les auteurs, la première utilisation des données de santé répond à des enjeux comptables, à des enjeux de performance du système de soin. La promesse des finalités thérapeutiques de l’analyse des données qui permettraient de concevoir de nouveaux médicaments ou dispositifs de soins, ou du développement d’une santé personnalisée ou prédictive, semble surtout relever du mythe (voir par exemple « En médecine, l’IA est en plein essor, mais pas sa crédibilité »). Elle repose sur cette antienne si caractéristique du numérique d’une capture, d’un colonialisme sans fin sur les données, qui promet que la vérité sera au bout d’un chemin sans fin de rafle de données, d’agrégation, de traitements, de calculs…

Le croisement des données par l’IA que l’interconnexion des données promet, masquent surtout une « tentative de régulation libérale du système de santé », ouverte à nombres « d’apomédiaires », des intermédiaires commerciaux comme les entreprises d’assurances ou les laboratoires pharmaceutiques et plus encore comme nombre de fournisseurs de solutions logicielles ou d’analyses de données tels qu’IQVIA, Palantir, Google Health (que ce soit via Verily ou via le Baseline Project), Microsoft Azure Cloud, 1492 ou le Health Navigator d’Amazon… qui s’immiscent dans le système de santé sans que leur statut ne soit clair.

Les données de santé visent d’abord à produire des nomenclatures et indicateurs pour améliorer la gestion, des indicateurs statistiques, des logiques comptables au service de contraintes budgétaires. Les données de santé produisent d’abord la réduction des lits et des personnels, expliquent les auteurs. Elles produisent d’abord une surveillance comptable du soin. Elles visent l’efficience économique avant tout au risque de renforcer les inégalités de l’accès au soin déjà lourdes, que soulignaient les travaux du géographe de la santé Emmanuel Vigneron. Mais surtout, alors que nos données elles sont à la table et au menu, les indicateurs produits, eux, ne sont pas ouverts et accessibles… pas plus que les recherches que des entreprises privées vont pouvoir faire depuis nos données et s’approprier leurs résultats, sans qu’on n’exige aucune contrepartie.

Image : dans un récent tweet, Guillaume Rozier, data scientist chez OctoTechnology et fondateur notamment de Covid Tracker qui a été l’un des tableaux de bord modèle de suivi de la pandémie en temps réel en France – tableaux de bords qui ont été des accélérateurs de l’ouverture des données, de leur amélioration en continu et qui ont stimulé la recherche de meilleures modalités de visualisation, comme le pointait Bloomberg -, défendait l’ouverture des données pour améliorer les indicateurs hospitaliers. Reste à savoir si les autorités de santé ne disposent pas déjà de ce type d’indicateurs… et le rôle d’une « ingéniérisation de la question », comme le commentait @maisouvaleweb. Comme le soulignent Pierre-André Juven (@pa_juven), Frédéric Pierru et Fanny Vincent (@F_Vincent_) dans leur livre La casse du siècle, à propos des réformes de l’hôpital public (Raison d’agir, 2019), ce n’est pas comme si les indicateurs de rentabilité à l’hôpital n’existaient pas déjà depuis quelques années…

Le business de nos données médicales développe longuement (et parfois un peu fastidieusement) les collisions entre ces nouveaux acteurs, les services d’assurances ou les groupes pharmaceutiques, pour montrer l’actif lobbying en cours de ces innombrables sociétés spécialisées dans la gestion de données médicales afin d’intégrer et piloter les transformations de l’infrastructure de nos données de santé. Autant d’acteurs qui semblent aujourd’hui orienter les politiques publiques à leurs profits. Comme le soulignent les auteurs, ces apomédiaires, tout comme les compagnies d’assurances et les laboratoires pharmaceutiques, sont bien souvent aussi les premiers acheteurs de nos données de santé, quelles que soient les méthodes avec lesquelles elles ont été acquises. Tous cherchent à accéder aux données, à déréguler leur accès. Et dans ces perspectives, le rôle de l’État est trouble. Lui aussi cherche à réduire le coût de la santé, à transformer l’hôpital en sa version la plus mercantile, à améliorer l’efficience économique du système de soin par le profilage, la prédiction, le suivi temps réel…

Le projet de Health Data Hub (HDH), une plateforme pour centraliser toutes les données de santé de la population française afin de les rendre accessibles à des formes inédites de calculs par nombre d’acteurs de la santé, mais plus encore au secteur privé, comme l’expliquait très clairement la Quadrature du Net (@laquadrature), est aujourd’hui au cœur des polémiques. La principale polémique tient du risque que cette plateforme de collecte et d’analyse de données de santé, opérée par Microsoft, fait peser sur la divulgation de nos données aux autorités américaines, comme l’explique le site d’information médical, What’s Up Doc (@whatsuupdoc_mag). Mais cette polémique masque d’autres enjeux. Les traitements que les projets de recherche en IA que la plateforme accueille visent essentiellement à produire des quantifications des risques associés à certaines pathologies pour un meilleur contrôle des coûts, mais également des analyses de données pour mieux évaluer leur rentabilité. Le Health Data Hub lancé en décembre 2019 est une structure de collecte de données de santé pour la recherche, comme le montrent les projets que le Hub accueille. Pour cela, elle agrège une multitude de bases de données auxquelles elle donne des accès : notamment la base de données du Sniiram (Système national d’information inter-régimes de l’assurance maladie) qui collecte les feuilles de soin de la Caisse nationale d’assurance maladie, le PMSI (programme de médicalisation des systèmes d’information, qui contient les dossiers de chaque patient hospitalisé en France), la Base de causes médicales de décès, mais aussi Vaccin Covid, Covidom (la base qui suit les personnes déclarées positives au Covid), Contact Covid (la base pour la recherche de contact autour des cas positifs au Covid)… Ainsi que nombre de bases de données hospitalières. L’enjeu du HDH vise à construire une forme « d’hôpital comme plateforme », où la centralisation des données de santé devient une matière première pour les algorithmes des medtechs.

Le Health Data Hub a, par exemple, lancé trois projets de recherche sur la pandémie : Frog Covid (qui s’intéresse aux parcours des patients admis en réanimation), CoviSAS (pour prévenir les risques des populations vulnérables) et CoData (qui se concentre sur la non-prise en charge des personnes atteintes d’un cancer du sein durant l’épidémie), qui ne semblent pas à ce jour avoir livré de résultats, souligne la journaliste Coralie Lemke dans son livre Ma santé, mes données (Premier Parallèle, 2021). Pour Woillet, Favier-Baron et Boulard, comme ils l’expliquaient sur LVSL, le Health Data Hub vise à permettre à des entreprises privées d’accéder à des données pour construire des produits privés, qui ne bénéficieront pas nécessairement aux structures publiques.

La plateformisation de la santé par les données, produit à la fois un risque de perte de souveraineté sur nos données de santé, mais bien plus un modèle de santé publique hors-sol, commercial et libéral. Derrière ces projets, le risque est bien celui d’une centralisation sans précédent de nos données de santé, sous prétexte de recherche.

Au-delà des enjeux de souveraineté

La souveraineté dans le monde des plateformes est juridique, infrastructurelle, économique et géostratégique, rappellent les auteurs du business de nos données médicales. Avec les plateformes, la technologie façonne le droit. « Le code est la loi et l’architecture informatique est politique », disait avec pertinence le juriste Lawrence Lessig. Les choix opérés en matière d’organisation des infrastructures informationnelles sont politiques. Confier la gestion du Health Data Hub à Microsoft Azure n’est pas un simple choix de prestataire technique. Il oriente la plateforme bien au-delà de faire tomber nos actifs de santé sous la coupe de législations extraterritoriales, notamment en les enfermant dans des solutions logicielles spécifiques et non ou peu réversibles, comme s’en inquiétait le député LREM Philippe Latombe dans son rapport. Il souligne un désengagement de l’État dans l’investissement lourd, infrastructurel, de long terme, dans la production de systèmes d’information maîtrisés de bout en bout, mais surtout produit des risques de centralisation des données au détriment des droits des individus et génère des risques de sécurité forts du fait des centralisations que ces plateformes génèrent. Le scandale du Health Data Hub, qui a choisi Microsoft sans même appel d’offres ni cahier des charges souligne combien ce choix manque de garanties. Le risque d’extraterritorialité des données a fait réagir jusqu’au Conseil d’État qui préconise un changement de fournisseur. Plus que le risque d’une captivité numérique, au final, pointent les auteurs, le risque est bien celui d’une « économie de santé intégrée par le numérique » qui risque de créer des oligopoles cliniques et assurantiels, qui visent à favoriser, « au bout du tunnel de la numérisation », non seulement la privatisation, mais bien l’accélération des inégalités de santé en documentant la rentabilité de chacune de nos capacités médicales par les données.

En fait, la question de la souveraineté est importante – comme le répète et le défend l’entrepreneur Tariq Krim (@tariqkrim) dans nombre d’interviews tout comme dans sa « Lettre à ceux qui veulent faire tourner la France sur l’ordinateur de quelqu’un d’autre » -, mais ce n’est peut-être pas la seule question à poser. La menace n’est pas seulement celle que des plateformes étrangères s’accaparent nos données, mais que le principe même de plateforme vienne transformer notre système de santé. À nouveau, la préférence que l’on pourrait donner à des acteurs nationaux pour opérer ce type de plateforme ne signifie pas un changement de logique. Au contraire ! L’ubérisation de la santé par le numérique que propose « l’hôpital comme plateforme » est d’abord dans la logique de la mise à disposition d’une agrégation sans fin de données, quels que soient les acteurs qui l’opèrent. Comme le pointe Coralie Lemke dans son livre, « rien ne garantit cependant que des acteurs nationaux agiront de manière plus éthique ». Le risque est bien de reproduire les pratiques des acteurs internationaux afin d’accélérer « les flux de données pour soutenir l’innovation ».

Comment résister à la plateformisation de la santé ?

Dans un excellent chapitre sur l’État plateforme, les auteurs du Business de nos données médicales soulignent très bien ce que les plateformes produisent. Ils y rappellent, combien le concept d’État plateforme a surtout été mobilisé dans un objectif comptable et dans une perspective de réduction des coûts visant à dégraisser l’administration (voir notamment « Mais comment passer des startups à l’État plateforme ? »). La plateformisation vise à produire une boîte à outils pour gouverner par l’efficacité, en pilotant l’offre par la mesure de la demande, c’est-à-dire à estimer les coûts médicaux de manière toujours plus dynamique. Le risque, comme le pointait le Conseil national de l’ordre des médecins, est bien celui d’une ubérisation de la médecine (.pdf). Pour Tim O’Reilly lui-même, initiateur du concept d’État plateforme (voir nos articles « Du gouvernement comme plateforme… ou l’inverse »), l’État plateforme vise à privilégier l’efficacité du résultat. « Cette vision prétendument post-idéologique ou post-politique présente le risque d’une dérive autoritaire puisqu’il s’agit d’autoriser pour un seul et même type d’objectif régalien – sanitaire par exemple -, toutes les techniques gouvernementales possibles pourvu qu’elles l’atteignent « efficacement ». » Le risque est bien de réduire la politique à une technique de résolution de problèmes logiques, à une « névrose solutionniste » à la recherche de sa seule efficacité. L’État n’a plus que vocation à départager les fournisseurs de service selon des critères d’efficacité, de rentabilité, d’optimisation des coûts, et non plus selon des critères de fourniture d’un service public ou d’une mission sociale de l’État ! « Le gouvernement devrait-il fournir des soins de santé ou laisser cette tâche au secteur privé ? La réponse se trouve dans les résultats ». Le problème c’est que l’État risque toujours d’être désavantagé dans cette balance, puisque les critères de succès qu’on y applique sont ceux du secteur privé. « Cette instrumentalisation de la puissance publique au service d’intérêts privés s’incarne en France encore une fois avec le cas d’école du Health Data Hub dont la stratégie affichée de « valorisation des données publiques » aboutit paradoxalement à son ouverture au privé, à une extension de l’empire du marché sur un bien public. » Derrière l’ouverture des données publiques promue comme un enjeu démocratique se cache l’enjeu de leur privatisation et de leur marchandisation. Le gain scientifique ou démocratique de l’ouverture des données semble trop souvent un prétexte bien commode à leur valorisation marchande. Au final, l’ouverture des données couvre surtout une transmission numérique (Boulard, Favier-Baron et Woillet parlent plutôt de « transition numérique », mais pour ma part, cette transformation me semble plus tenir d’une délégation de pouvoir que d’un passage d’un état pré-numérique à un autre). Derrière l’ouverture des données de la santé, l’enjeu est d’abord que le secteur privé prenne le relais des investissements publics. À plus long terme, la technologie a pour mission d’ajuster en temps réel les remboursements et les tarifications de santé, c’est-à-dire de piloter la santé par les données.

Des données de santé plus protégées… et plus exploitées

Ne nous y trompons pas cependant. Le RGPD a considérablement renforcé la protection des données de santé. Et c’est ce qui est difficile à comprendre pour l’utilisateur. Ses données sont plus protégées et en même temps sont prêtes à être plus exploitées que jamais. Le RGPD notamment a considérablement délimité la revente des données de santé et a renforcé l’obligation d’obtenir le consentement des personnes – un consentement « clair positif, libre et spécifique » et qui doit définir précisément le cadre ou l’objet auquel il s’applique. Pourtant, dans le même temps, le RGPD a prévu des exceptions pour certaines finalités, notamment pour la gestion des systèmes et services de santé ou de protection sociale, pour la préservation de la santé publique et l’appréciation médicale… ainsi que pour la recherche. Au final, si on lit bien ces exceptions, le RGPD a renforcé l’utilisation des données de santé pour la santé en les excluant de tout autre type d’usages. Sûr le fond, cela semble très positif : nous souhaitons tous que nos données de santé puissent servir le progrès médical et soient réservées à des acteurs de la santé, notamment afin qu’ils soient soumis au secret médical qui l’encadre. Ce n’est pourtant pas la limite qui se dessine, puisque ces accès s’ouvrent non seulement aux praticiens, mais plus encore à nombre d’apomédiaires de la santé. Avec le HDH notamment, nous sommes confrontés à un changement de paradigme qui fait de l’accès aux données de santé la norme plutôt que l’exception, comme le pointait très justement La Quadrature du net.

Le problème est que ces accès ne sont pas toujours vertueux. Le meilleur exemple est certainement le scandale IQVIA révélé par Cash Investigation en mai 2021. IQVIA est l’un des principaux fournisseurs de logiciel de gestion des pharmacies. Depuis 2018, il a été autorisé par la Cnil à constituer une base de données des clients de ces pharmacies pour proposer aux officines des outils de pilotage de leurs activités ainsi que pour agréger ces données pour les revendre à des laboratoires ou produire des études. Le problème, c’est que les clients de ces pharmacies devraient être informés de cette collecte et pouvoir la refuser le cas échéant… Ce qui n’a pas été le cas jusqu’alors. Plus problématique d’ailleurs, le pharmacien – qui est ici l’interlocuteur de l’usager – est juge et partie dans cette information. Il doit informer ses clients et recueillir leur consentement ou leur refus, mais sans grande neutralité, puisqu’il tire lui-même profit de leur consentement. Enfin, rapportait Zdnet, la Cnil a rappelé à IQVIA la nécessité de pseudonymiser les données clients, ce que visiblement l’entreprise ne faisait pas. Reste que le principal problème, c’est qu’IQVIA sous couvert de recherche exploite des données qui servent surtout à fournir un produit aux officines : difficile donc de défendre l’exception de recherche !

Cet exemple montre bien la complexité du problème. Aucune entreprise n’accepterait pourtant que ses données comptables puissent être exploitées par le fournisseur du logiciel sur lequel elle les saisit. Pas plus que nous n’accepterions que les documents que nous collectons sur Google Drive soient la propriété de Google ou qu’il puisse les lire et y réaliser des traitements – autres que la publicité automatisée. Doctolib par exemple n’a pas le droit d’exploiter les données qu’il recueille pour le compte des établissements de santé (même si l’entreprise n’a pas été exempte de critiques ces dernières années). Sous exception de recherche, d’études, d’ouverture… on assiste à des formes de fluidification de l’exploitation de nos données de santé. Le problème, c’est qu’il est possible que cela ne s’arrête pas là !

Hubert Guillaud

Dossier, les enjeux de nos données de santé :

• 1e partie : le risque d’un changement radical de notre système de santé
• 2e partie : les données plutôt que le soin

Toxique, sexiste, violent, abusif, harceleur… Le numérique révèle souvent ses pires aspects dans ses relations aux femmes. Le best-seller de la journaliste et activiste britannique, Caroline Criado-Perez (@CCriadoPerez), Femmes invisibles (First, 2020), s’inscrit pleinement dans ces critiques en les élargissant. Pour elle, si les femmes sont rendues aussi invisibles partout et tout le temps, c’est d’abord et avant tout parce qu’elles sont absentes des données qui construisent nos mondes. En dressant un long et éprouvant catalogue des conséquences de l’absence de prise en compte des femmes de la médecine au design, du travail à la vie civique… Criado-Perez déroule, d’une cascade de conséquence à l’autre, combien notre réalité est masculo-normée. « Les hommes confondent leur propre point de vue et la vérité absolue ».

Changer de point de vue !

« Femmes invisibles raconte ce qui se passe quand nous oublions de tenir compte de la moitié de l’humanité », sous la forme d’un long et éprouvant catalogue d’exemples, épuisants à force d’être édifiants.

Évoquons-en quelques-uns. Criado-Perez commence par exemple en racontant le travail réalisé dès 2011 par la ville de Karlskoga en Suède afin de réévaluer toutes leurs politiques publiques en les examinant sous l’angle du genre. Parmi les problèmes soulevés par cet examen, les autorités ont constaté que leur manière de déneiger les routes était sexiste ! Comme dans nombre de localités, Karlskoga déneigeait en commençant par les grandes artères et en terminant par les trottoirs et les pistes cyclables. Or, cette façon de faire n’affecte pas indifféremment les hommes et les femmes, notamment parce qu’ils ne se déplacent pas de la même façon : les femmes réalisent plus de déplacements de proximité pour prendre soin des plus jeunes ou des plus âgés. La ville de Karlskoga modifia donc l’ordre des opérations de déneigement pour donner la priorité aux piétons et aux utilisateurs de transports en commun au prétexte que conduire une voiture dans la neige est souvent plus simple que d’y pousser une poussette. L’un des effets de la mesure a été de diminuer le nombre de blessées suite à des chutes, un problème qui affectait surtout les femmes, remarquant d’ailleurs que le coût des accidents de piétons était deux fois supérieur au coût de l’entretien hivernal des routes. La planification du déneigement n’a jamais été conçue délibérément pour favoriser les hommes au détriment des femmes, souligne très justement Criado-Perez, mais relevait d’une absence de données genrées. Les hommes avaient conçu cette planification par rapport à leurs besoins, à leur vision, sans envisager que les besoins du reste de la population pouvaient être différents. D’ailleurs, trop souvent encore, les déplacements non motorisés ne sont pas considérés comme pertinents dans l’élaboration des politiques en matière d’infrastructures de déplacement, comme le montre très bien la place réduite qui leur est dévolue.

Cette prise en compte des déplacements selon le genre n’est pas propre aux pays socialement évolués du nord de l’Europe. Vienne, en Autriche, a été une municipalité soucieuse d’équité dès les années 90. Aujourd’hui, ce sont les grandes villes espagnoles qui sont à la pointe, à l’image du réseau des Fearless Cities initié par Barcelone dès 2017, qui a participé à renouveler le « municipalisme », visant à raviver la pratique politique locale en démultipliant les expériences de démocratie radicale (voir notamment Le Guide du municipalisme, Charles Léopold Mayer, 2019 qui documente nombre d’expériences de ce réseau). Criado-Perez dresse le même et accablant constat quant à l’utilisation des espaces publics. Quand ceux qui les conçoivent ne prennent pas en compte les questions de genre, ces espaces deviennent des espaces masculins par défaut. Dès les années 90, Vienne a montré que la présence des filles, dès 10 ans, diminuait dans les parcs et terrains de jeu publics du fait de leur conception. Les grands espaces ouverts poussaient les filles à abandonner l’espace aux garçons. Même constat en Suède où les responsables des villes se sont rendu compte que les financements publics allaient majoritairement aux sports dominés par les garçons. Non seulement les villes dépensaient plus pour l’équipement de sports masculins, mais les sports féminins étaient bien moins financés et bien souvent, les filles devaient dépenser plus d’argent que les garçons pour les pratiquer de façon privée – pour celles qui le pouvaient.

Un monde plus genré qu’on ne le pense

Bien sûr, il n’y a pas que l’équipement public qui se révèle plus genré qu’on ne le pense. On connaît les inégalités de genre dans le monde du travail, notamment et avant tout dans le fait que les femmes font l’essentiel du travail non rémunéré, du travail partiel, et bien sûr quand elles ont un travail rémunéré, c’est pour un salaire inférieur à celui des hommes. Trop souvent, les contraintes qui pèsent sur les femmes (maternité, charge d’enfants…) ne sont pas prises en compte par le monde du travail. Criado-Perez en donne un exemple assez simple et parlant. Une cadre et mère célibataire quand elle accepte un diner de travail le soir doit organiser par elle-même la garde de ses enfants et prendre à sa charge le coût afférent. Pour ses collègues masculins, la question ne se pose même pas. Ils peuvent même prendre une chambre d’hôtel et se la faire rembourser facilement, contrairement à la facture de la baby-sitter.

Nous ne voyons pas nos préjugés de genre, explique Criado-Perez… enfin, il faudrait plutôt dire que les hommes ne voient pas les œillères qui couvrent le regard qu’ils portent sur le social. Sans compter que nos préjugés sont bien souvent parfaitement institutionnalisés. C’est avec les auditions à l’aveugle que l’orchestre philharmonique de New York a changé sa composition, passant d’aucune femme à 45 %. Plusieurs études soulignent aussi que les évaluations de performances que pratiquent les entreprises sont plus sévères envers les femmes que les hommes, que les bonus récompensent davantage les hommes. Et c’est pire dans certains secteurs, comme le secteur financier ou les technologies. La méritocratie a bon dos ! « Si la méritocratie est une religion dans la Silicon Valley, son dieu est un étudiant blanc, de sexe masculin, qui a abandonné ses études à Harvard. Et la plupart de ses disciples le sont aussi ». Même constat à l’université : les doctorantes ont moins de chances que les doctorants de recevoir un financement, un poste… ou d’être publiées (sauf quand elles sont évaluées en double aveugle). « Le lieu de travail moderne est criblé de lacunes de genre », à l’image de la température standard des bureaux climatisés, des portes et outils trop lourds… « Le travail moderne, que ce soit en termes de localisation, d’horaires, ou de normes réglementaires, a été conçu en fonction de la vie des hommes, et il n’est plus adapté à ses objectifs », explique la militante en invitant à refondre ses règlements, ses équipements, notre culture. Criado-Perez enfile les études comme autant de preuves, toutes aussi accablantes les unes que les autres. On pourrait certes discuter du poids et de la pertinence de chaque élément, reste qu’au final, la masse qu’elle convoque fait effet et nous accable sous l’accumulation.

Plus inquiétante encore est la masse d’exemples qu’elle convoque sur la santé, comme le fait qu’on en sache assez peu sur les blessures des femmes au travail, comme celles des femmes de ménage ou des aides-soignantes. Trop souvent, les études bio-mécaniques, celles sur les troubles musculo-squelettiques, se basent sur un « homme de référence », un homme blanc entre 25 et 30 ans pesant 70 kilos, alors qu’hommes et femmes ont des métabolismes différents (qui varient également selon l’âge). Les femmes sont largement oubliées de la technologie, même quand elles en sont les clientes. Par exemple, explique la journaliste, les femmes âgées sont plus victimes de chutes que les hommes. Sur un mois de consultation aux services d’urgences américains, 71 % des patients examinés pour ce motif sont des femmes et leur taux de fractures est 2,2 fois plus élevé que les hommes. Une meta-analyse a montré que les appareils de détection de chutes ne précisent pas le sexe des porteurs, et qu’on ne connaît pas vraiment les facteurs de risques sexospécifiques. Sans compter que pour l’instant, les différents objets technologiques proposés n’ont jamais vraiment convaincu leurs porteurs et ne sont pas adaptés aux besoins et encore moins aux besoins féminins.

Ainsi, les femmes ont tendance à être plus petites et à avoir la peau plus fine que les hommes (mais également à avoir des systèmes immunitaires et hormonaux différents, un pourcentage de graisses corporelles plus élevé…) ce qui fait qu’elles sont plus sensibles aux radiations ou aux toxines que les hommes. Alors que les études ont trop tendance à observer les réactions aux produits chimiques pris isolément, les femmes ont tendance à y être exposées de multiples façons, que ce soit les produits de ménage ou cosmétique par exemple. Pour Criado-Perez, nous avons besoin de meilleures données sur l’exposition des femmes aux produits chimiques et à produire des politiques en fonction de ces enseignements. C’est un peu comme les équipements de protection individuelle, réalisés encore trop souvent selon les tailles et caractéristiques des populations masculines. Trop souvent encore, on fournit des équipements de protection de petites tailles aux femmes, plutôt que des protections conçues pour elles. Une forme d’approche unisexe… qui ne l’est pas du tout. C’est ce que dénonce également la cardiologue Nieca Goldberg dans son livre Les femmes ne sont pas de petits hommes (Women are not small men, Ballantine Books, 2002, non traduit), pointant que les maladies cardiaques des femmes sont fondamentalement différentes de celles des hommes et que trop souvent encore, en médecine, la plupart des études sur les pathologies oublient les spécificités de genre, ne considérant les femmes que comme des hommes en plus petits.

Criado-Perez creuse longuement ce problème de conception, c’est-à-dire le constat, répété, qu’on ne consulte pas les utilisateurs (et ici, les utilisatrices) avant de concevoir un produit. Que ce soit encore trop souvent pour concevoir des cuisinières adaptées aux besoins des femmes des pays en développement, à celles de claviers de pianos adaptés aux femmes (dont la taille des mains est en moyenne plus courte que celles des hommes… il existe d’ailleurs un clavier adapté, qui sans surprise reste totalement absent et du monde de la musique et de la fabrication industrielle de pianos).

Même constat par exemple avec les logiciels de reconnaissance vocale qui reconnaissent mieux les voix masculines que féminines alors que des études montrent qu’elles ont une voix nettement plus intelligible, produisent des voyelles plus longues, parlent plus lentement que les hommes, et utilisent moins de prononciations alternatives ou tronquées… Mais là encore, les banques de données d’enregistrements pour entrainer les outils sont majoritairement composées d’enregistrements de voix masculines – elles indiquent d’ailleurs assez peu le sexe des voix. Mêmes constats sur les corpus d’écrits, d’images, de vidéos… qui font tourner l’intelligence artificielle dans tous les domaines. Caroline Criado-Perez en tire un constat plutôt alarmant : « Notre savoir médical étant fortement axé sur le corps masculin, les IA pourraient compliquer les diagnostics qui concernent les femmes, au lieu de les améliorer ».

Même constat sur l’inadaptation des dispositifs de réalité virtuelle aux femmes. Il y a longtemps déjà, danah boyd avait attiré notre attention sur ce problème. En fait, pour déterminer la profondeur de champs, les hommes sont plus susceptibles de se fier à la « parallaxe du mouvement » pour percevoir la profondeur (c’est-à-dire à la façon dont un objet semble plus grand ou plus petit selon notre proximité par rapport à lui), alors que les femmes font plutôt appel à « la forme à partir des ombres » (c’est-à-dire à la façon dont l’ombre d’un point donné change quand on se déplace). Et la réalité virtuelle fait souvent un meilleur travail pour restituer la parallaxe que pour imiter les déplacements de l’ombre. Autre problème qui participe aux différences de perception des univers virtuels, explique le professeur de kinésiologie Tom Stoffregen, il y a des différences sexuelles dans l’oscillation du corps humain (et le balancement postural des femmes change même au cours du cycle menstruel)…

Dans tous les secteurs qu’elle passe en revue, les constats de blocages s’accumulent. Criado-Perez accable également le monde de l’entreprise, en évoquant par exemple les difficultés qu’a rencontrées Janica Alvarez pour lancer sa startup, Naya Health, qui proposait de réinventer le tire-lait, dominé par le monopole de l’entreprise Medela aux Etats-Unis et au Royaume-Uni. Pourtant, les investisseurs ne se sont pas précipités pour soutenir ce tire-lait, censé être plus confortable. Il faut dire que le monde de l’investissement, un secteur exclusivement masculin, n’a pas vraiment tendance à soutenir les entreprises dirigées par les femmes, comme le pointait une étude du Boston Consulting Group qui montrait que les femmes possédant des entreprises reçoivent en moyenne moitié moins d’investissements que leurs homologues masculins alors qu’elles produisent des bénéfices au moins deux fois supérieures. Le tire-lait de Naya Health quant à lui, n’était peut-être pas si révolutionnaire que cela, comme le soulignent des utilisatrices déçues. En tout cas, l’entreprise, par manque d’investissement, a visiblement tiré le rideau depuis.

Pour Caroline Criado-Perez, le grand enjeu, conclut-elle, consiste à nous mettre à produire des données genrées. Il nous faut « comprendre que la neutralité ne conduit pas automatiquement à l’égalité entre les sexes ». Nous avons besoin de plus de données et de meilleures données.

Les innombrables exemples donnés sont accablants, si accablants qu’ils donnent honte jusqu’à la science, dont on perçoit à chaque pas, combien jusqu’à présent elle peine à prendre au sérieux la question du genre. La brûlante actualité des exemples souligne combien les choses ne changent pas vraiment. Rien ne va dans notre océan de mecs, de préjugés à penser que notre point de vue est la norme et qu’il est neutre et objectif, au prétexte que les femmes ne seraient finalement que des hommes en plus petits. En cela, Femmes invisibles est un livre qui fout la honte. L’accumulation à charge produit son effet.

Reste à savoir si améliorer les données, comme le propose Criado-Perez, suffira. Si ce pas semble nécessaire, il ne sera peut-être pas suffisant pour politiser cette question. D’où l’intérêt de prolonger cette lecture d’une autre, qui, elle, justement nous explique que cet enjeu n’est pas seulement une question d’attention, d’amélioration des données, mais bien une question politique.

Une science des données pour l’émancipation !

Avec Data Feminism (MIT Press, 2020, non traduit, disponible en publication ouverte), Catherine D’Ignazio (@kanarinka) et Lauren Klein (@laurenfklein), tiennent un propos un peu plus complexe et plus politique.

Pour ces deux spécialistes en science des données, la discipline a besoin du féminisme pour se réinventer. Le Féminisme des donnée est « un mode de pensée sur la donnée et sa communication informés par l’expérience directe, par un engagement à l’action et par les idées associées à la pensée féministe intersectionnelle », qui vise à déconstruire les systèmes de pouvoir, de privilège et d’oppression. A l’heure où les données façonnent le monde et notre relation au monde, il est temps de s’intéresser très précisément à celles-ci, soulignent D’Ignazio et Klein. En cela, le féminisme de la donnée n’est pas seulement un livre, il se veut aussi un mouvement, une réflexion politique, un mode d’action sur le monde. C’est un livre sur qui a le pouvoir et qui ne l’a pas, un livre sur les conséquences de ces différentiels de pouvoir pour les mettre en évidence et les changer.

La science des données a besoin du féminisme pour mettre fin à la spirale d’injustices qu’elle participe à bâtir, expliquent D’Ignazio et Klein. Pour les deux chercheuses, les corps manquent dans les données qu’on collecte. La science des données pense qu’elle peut produire le monde sans les convoquer. Que son objectivité et sa neutralité nécessitent d’appliquer une froide raison sur tout calcul. C’est tout le contraire dont nous avons besoin, expliquent les chercheuses : les problèmes structurels ne peuvent être exposés qu’en les regardant sous l’angle spécifique des personnes et des corps. Nous devons compter ce qui ne l’est pas, notamment parce que les données et le pouvoir s’alignent trop souvent. Ramener les corps des gens, des femmes, des personnes de couleurs, des marginalisés dans les discussions et les décisions, suppose bien sûr, comme le disait déjà Sasha Costanza-Chock de savoir quelles données sont collectées, par qui et pourquoi.

L’histoire est ancienne, mais reste fameuse : quand Andrew Pole, data scientist chez Target, a mis au point un algorithme de prévision de la grossesse des clientes pour favoriser des campagnes marketing dédiées, il a montré que les corps peuvent être exploités sans que les personnes visées n’aient leur mot à dire sur cette exploitation. Target a utilisé son capital de données pour consolider son pouvoir sur ses clientes, sans leur consentement. Les décisions prises du point de vue des données sont trop souvent utilisées pour amplifier les inégalités et asymétries d’information que le contraire. En se basant sur une liste de produits que les femmes enceintes achètent, Target était capable de calculer un score de prévisibilité de grossesse, que l’entreprise a utilisé sans tenir compte des impacts et conséquences sur ses clientes. C’est justement sur les conséquences des décisions qui sont prises sur les gens, par-devers eux, qu’une approche des données par l’émancipation est essentielle. Klein et D’Ignazio déploient un propos qui va à l’encontre de la manière dont on valorise les données aujourd’hui. L’enjeu n’est pas leur transparence ou leur ouverture, qui profitent trop souvent à ceux-là mêmes qui profitent également de leur opacité, mais bien à la libération des personnes que les données calculent : libérer les gens plutôt que de seulement libérer les données !

Un point de vue neutre ne l’est jamais

Cet exemple souligne l’asymétrie profonde de la data science aujourd’hui : la collecte et l’analyse de données se déroulent sans avoir à rendre de compte aux personnes et groupes concernés et ce d’autant plus que ces groupes et personnes sont le moins en capacité de se défendre. En data science, les femmes et les groupes les plus marginalisés sont absents des équipes qui décident : et personne ne pense que c’est un problème ! A la suite de Donna Haraway, les chercheuses rappellent qu’un point de vue neutre ne l’est jamais. Si nous voulons parler d’objectivité en data science, alors nous devons porter attention à la perspective par défaut que défend cette prétendue objectivité. Klein et D’Ignazio défendent une co-libération plutôt qu’une responsabilité (qui consiste à libérer les gens plutôt qu’à libérer les données), la justice plus que l’éthique, l’équité plus que la loyauté, la réflexivité plus que la transparence, la compréhension de l’histoire, de la culture et du contexte plus que la compréhension des algorithmes.

Le féminisme des données repose sur 7 principes qui dirige son action :

• Examiner le pouvoir : le féminisme des données commence par l’analyse du fonctionnement du pouvoir.
• Défier le pouvoir : Le data féminisme s’engage à remettre en question les structures de pouvoir inégales et à œuvrer pour la justice.
• Valoriser l’émotion et l’incarnation. Le féminisme des données nous apprend à valoriser de multiples formes de connaissances, y compris celles qui proviennent des personnes en tant que corps vivants et sensibles dans le monde.
• Repenser le binarisme et les hiérarchies. Le féminisme des données nous oblige à remettre en question le binaire du genre, ainsi que d’autres systèmes de comptage et de classification qui perpétuent l’oppression.
• Adopter le pluralisme. Le féminisme des données insiste sur le fait que la connaissance la plus complète provient de la synthèse de perspectives multiples, la priorité étant donnée aux modes de connaissance locaux, autochtones et expérientiels.
• Tenir compte du contexte. Le féminisme des données affirme que les données ne sont pas neutres ou objectives. Elles sont le produit de relations sociales inégales, et ce contexte est essentiel pour mener une analyse précise et éthique.
• Rendre le travail visible. Le travail de la science des données, comme tout travail dans le monde, est le travail de nombreuses mains. Le féminisme des données rend ce travail visible afin qu’il soit reconnu et valorisé.

Data Feminism n’est pas seulement un propos sur les femmes ou le genre. C’est une réflexion sur l’émancipation par la science des données. La force du livre de Klein et D’Ignazio est de bâtir une réflexion politique sur les données et les calculs… de politiser la science des données sans la réduire à une injonction à l’ouverture ou à l’amélioration sans fin des données. Ce n’est pas un petit pas de côté !

Comme Caroline Criado-Perez, les deux chercheuses pointent combien les données sont faillibles, combien elles masquent d’innombrables lacunes de connaissance. Elles reviennent par exemple sur les complications postnatales que connaissent les femmes, et notamment les femmes noires (qui, aux Etats-Unis, ont trois fois plus de risque de mourir d’une complication postnatale que les femmes blanches). Ces différences structurelles sont connues depuis longtemps des associations comme Black Mamas, mais moins au-delà. La presse s’y est certes intéressée (Propublica par exemple), mais ni le détail des complications ni le nombre de femmes noires qui étaient concernées n’étaient détaillés. En 2018, USA Today montrait qu’il n’y avait pas de système national de suivi des complications subies pendant la grossesse et l’accouchement (voir également l’infographie), ni de système de rapport pour s’assurer que les hôpitaux respectaient les normes de sécurité (alors que ces modalités de reporting existent pour d’autres types d’opérations). Ce que nous choisissons de mesurer montre avant tout ce à quoi nous portons de la valeur. Ou pour le dire autrement, « ce que nous tolérons indique ce que nous sommes vraiment« , comme le disait Caterina Fake. Or, bien souvent, les problèmes de pouvoir structurels, systémiques, sont invisibles tant que les gens qui y sont confrontés ne les mettent pas à jour. Pour les deux chercheuses, l’invisibilité est un produit de la science des données et de la « matrice de domination » (un concept que forgea la sociologue Patricia Hill Collins) qui s’imposent à tous et plus encore à ceux qui sont à l’intersection de genre, de race, d’identité, de capacité, d’origine… des systèmes d’oppression.

Il faut prendre conscience de l’éléphant qui se cache dans les data centers. Pas plus les données que ceux qui pratiquent cette science ne sont représentatifs. « Les risques encourus lorsque des personnes issues de groupes dominants créent la plupart de nos produits de données – ne sont pas seulement que les ensembles de données soient biaisés ou non représentatifs, mais d’abord qu’ils ne soient jamais collectés du tout ». Comme le dénonce l’artiste Mimi Onuoha depuis son projet de Bibliothèque de jeux données manquants : qui montre un classeur rempli de dossiers de données vides. Le livre de Criado-Perez comme la fondation Data2X pointent très bien cette « fracture systématique des données de genre ». Pour combler ces lacunes, l’enjeu, bien sûr, consiste à développer et promouvoir un activisme des données, une forme de science des données participative pour collecter justement les données manquantes, à l’image du projet de surveillance communautaire AirBeat du quartier noir de Roxbury à Boston qui souhaitait collecter des données pour dénoncer la piètre qualité de l’air, ou de celui initié dès 1895 par la militante des droits civiques Ida B Wells sur les agressions et lynchages à l’encontre des noirs aux Etats-Unis. Les initiatives de « contre-données » sont nombreuses, à l’image du minutieux travail de Maria Salguero qui compile des informations sur les féminicides au Mexique depuis 2016. Ces initiatives comblent souvent des vides de données, des manques, des lacunes, des négligences statistiques… qui concernent trop souvent les corps minorisés qui ne détiennent pas le pouvoir. Pourtant, bien souvent, le problème n’est pas tant l’absence de données que l’inverse : les bases de données et les systèmes de données des institutions les plus puissantes sont construits sur et pour la surveillance excessive des groupes minoritaires, comme le montrait Virginia Eubanks dans son livre. Ces formes de surveillance excessives reposent souvent sur deux hypothèses erronées : croire que plus de données est toujours mieux et que les données sont neutres. Or, dans le cadre du modèle de prévision du risque de maltraitance des enfants en Pennsylvanie qu’étudiait Eubanks, la disproportion de parents pauvres dans la base de données concentre ses effets sur la pauvreté plus que sur la maltraitance. Pour Klein et D’Ignazio, « les données ne sont jamais neutres ; elles sont toujours le résultat biaisé de conditions et d’inégalités sociales, historiques et économiques ». La science des données masque souvent ses objectifs réels sous un principe d’efficacité qui ne tient pas compte de ses biais. Le système de prévision du risque de maltraitance visait avant tout à produire un mécanisme pour suppléer un personnel limité. La solution technique proposée ne visait pas tant à répondre à la maltraitance des enfants qu’à accélérer la capacité de traitement du donneur d’ordre. Comme le montrait l’exemple de Target, derrière la neutralité des déploiements techniques, les entreprises privilégient toujours leurs objectifs à ceux des personnes qu’elles sont censées servir.

Pour D’ignazio et Klein, la science des données est utilisée presque exclusivement au service du profit, de la surveillance et de l’efficacité. Cela s’explique certainement parce que les données restent coûteuses à produire et que seules les institutions puissantes peuvent les travailler. Les données servent principalement les objectifs des institutions et notamment à consolider leurs contrôles sur leurs clients. L’extractivisme de données engendre une profonde asymétrie entre ceux qui calculent et ceux qui sont calculés. Pour renverser ce paradigme, il est nécessaire d’être attentif à l’impact des données et à qui les assemble. A l’image de l’application IRTH développée par Kimberly Seals Allers, une application à destination des mères de la communauté noire, pour à la fois documenter leurs problèmes spécifiques, les mettre en avant et leur trouver des solutions adaptées. Pour D’Ignazio et Klein, comprendre et examiner qui détient le pouvoir sur les données ne sert pas seulement à comprendre, mais doit d’abord servir à contester ce pouvoir et à le changer, le renverser. Pour le dire autrement, c’est les gens et leurs corps qui doivent nous dire quelles données vont améliorer leur vie et comment. Plus encore, si la donnée ne fait qu’informer, que rendre plus efficace des formes d’extraction et de domination, alors elle rate son objectif principal : libérer celles et ceux qui sont l’objet des données et des calculs.

Co-libérer : libérer les gens plus que les données

Le Féminisme de données vise à remettre en question les structures de pouvoir. Trop souvent, « les données sont déployées pour soutenir les intérêts des personnes et des institutions en position de pouvoir ». Remédier à ce problème nécessite donc de compiler ses propres « contre-données », de cartographier l’oppression et cela ne peut se faire que depuis d’autres points de vue et donc par d’autres personnes. L’identité de ceux qui produisent les données, leur proximité avec le sujet, les conditions de la collaboration et la direction du projet sont essentielles. La science des données est essentielle pour contester le pouvoir, car l’examiner est essentiel. L’enjeu n’est pas tant l’équité que la co-libération, insistent les deux chercheuses. Le travail mené par Julia Angwin et ProPublica en 2016 sur les biais des systèmes d’évaluation de risque de récidive utilisés par le système judiciaire américain a montré combien les 137 questions qui président à ces évaluations encodaient les inégalités structurelles de la société américaine. Ruha Benjamin évoque d’ailleurs le concept de « nouveau code Jim » pour évoquer combien les systèmes techniques encodent le racisme de la société américaine. « Les données sont toujours le produit de relations sociales inégales ». Comme l’explique Ben Green dans son livre, l’apprentissage automatique prédit plus le passé que l’avenir. Le problème est que les résultats de ces calculs sont activement promus comme objectifs ou neutres, alors qu’ils ne le sont pas. Et cela devient bien plus difficile à mesure que les calculs sont barricadés dans des boîtes noires inscrutables, protégées derrière le droit des sociétés, et donc nécessitant de construire ses propres ensembles de données pour contourner leur inaccessibilité.

Pourtant, si l’analyse et la dénonciation de l’oppression des données peuvent obliger les institutions à rendre des comptes, l’efficacité de la production de contre-données ne suffit pas. Les données de Maria Salguero sur les féminicides ont eu besoin d’être complétées par des commissions gouvernementales, des rapports d’ONG et des décisions de tribunaux pour produire des effets concrets. Les contre-données ne suffisent donc pas à produire du changement, d’autant plus que les données et les calculs sont toujours considérés comme moins partiaux que les individus, plus objectifs par nature. Mais ce n’est le cas que parce que les perspectives de ceux qui les produisent passent pour la valeur par défaut. L’objectivité n’est pourtant pas immanente.

L’éthique des données vise à produire de la responsabilité et de la transparence pour remédier à ce manque d’objectivité. Mais pour les chercheuses, les termes posent problème. Il nous faut passer de concepts qui sécurisent (et entérinent le pouvoir) à des concepts qui le défient, expliquent-elles en nous invitant à modifier les concepts que nous utilisons dans les discussions sur l’utilisation des données et des algorithmes. En passant de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu est de sortir de la recherche de solutions technologiques aux problèmes que pose la technologie.

Image : traduction du tableau de synthèse proposé par Klein et D’Ignazio des principes du Féminisme des données.

Pour D’Ignazio et Klein, ce tableau ne signifie pas par exemple que l’éthique n’a pas sa place dans la science des données ou que la question des biais ou de la transparence ne devrait pas être abordée, mais que ces concepts ne suffisent pour rendre compte des causes profondes de l’oppression et limitent finalement l’éventail de réponses pour démanteler l’oppression ! C’est un moyen de remettre de la politique là où certains tentent de l’ôter pour mieux conserver le pouvoir. La capacité à dépolitiser les questions n’est que le privilège de ceux qui ont déjà le pouvoir. D’où la nécessité de parler de justice plutôt que d’éthique, d’équité plus d’égalité comme nous y invitait Sasha Costanza-Chock. Le biais par exemple n’est pas un concept suffisamment fort pour ancrer les idées d’équité et de justice. En effet, pour l’éviter, on a tendance à vouloir enlever les humains de la boucle de décision, au motif que leurs préjugés personnels seraient la principale raison de la continuation des discriminations. Mais ce raisonnement suppose que le racisme par exemple serait plus le fait de mauvais acteurs individuels que de structures ou de systèmes. Alors qu’en fait, remplacer les travailleurs sociaux – qui sont souvent des femmes voire des femmes de couleur, qui font preuve d’empathie et de capacités d’écoute – par des systèmes automatisés qui appliquent un ensemble de critères rigides quelles que soient les circonstances, ne nous prémunit pas des préjugés structurels, au contraire ! « Partir du principe que c’est l’oppression qui est le problème, et non les préjugés, conduit à des décisions fondamentalement différentes sur ce sur quoi il faut travailler, avec qui il faut travailler, et quand il faut se lever et dire qu’un problème ne peut et ne doit pas être résolu par les données et la technologie. »

L’enjeu donc n’est pas tant d’ouvrir ou libérer les données, que de libérer les personnes ! La clé de cette co-libération nécessite un engagement et la croyance dans un bénéfice mutuel, tant pour les groupes dominants que pour les groupes minorisés. La libération des uns et des autres est liée. C’est ce qui motive par exemple le projet Our Data Bodies et son Digital Defense Paybook (dont nous avions déjà parlé). La co-libération nécessite également de nouveaux outils et un autre état d’esprit. « Partir du principe que l’oppression est le problème, que l’équité est la voie à suivre et que la co-libération est l’objectif souhaité conduit à des projets fondamentalement différents qui remettent en cause le pouvoir à sa source. » Cela nécessite aussi de mesurer différemment la réussite d’un projet. La réussite ne repose plus alors sur l’efficacité d’une base de données, la précision d’un algorithme ou la taille de la base de données, mais plutôt du degré de confiance établi, du partage du pouvoir et des ressources, de l’ampleur de l’apprentissage de ceux qui y participent, de la transformation des personnes et des organisations par le processus, de la quantité d’inspiration nouvelle engendrée ! Des objectifs qui sont certes plus flous à mesurer, mais qui peuvent l’être tout de même !

Lorsque Gwendolyn Warren et les chercheurs du Detroit Geographic Expedition and Institute dans les années 70 ont recueilli des données sur les accidents de voiture impliquant les enfants noirs à Détroit, ils l’ont fait pour que les chercheurs rendent à la communauté les connaissances qu’ils exploitaient et permettent à la communauté de créer une stratégie pour combattre les discriminations qu’elle subissait. Pour Warren, l’éducation était un mécanisme d’autonomisation et de transformation.

Pour y parvenir, il faut encore que les femmes comme les personnes de couleurs soient plus nombreuses dans les salles de classe de la science des données, alors que 80 % des professeurs en IA et que 66 % des professeurs d’informatique et de statistiques sont des hommes. Cela nécessite aussi de s’extraire de la croyance que tout cela ne serait qu’une question technique. Pour Laurie Rubel (@Laurie_Rubel), à l’origine du projet Local Lotto (voir également ici), l’enjeu est d’enseigner autrement les mathématiques en tenant compte de l’équité. Laurie Rubel a proposé à des élèves du secondaire de répondre à la question : est-ce que la loterie est bonne pour votre quartier ? Les billets de loterie ont une production sociale. Ils sont bien plus achetés par les travailleurs à bas salaires que par les plus riches. Lors de ces exercices, les élèves devaient parcourir leur quartier pour dresser des cartographies, rencontrer des acheteurs… comprendre les enjeux. Ce travail leur a permis surtout de rétroagir sur leurs communautés, pour leur montrer combien la loterie leur était défavorable. Local Lotto utilise la science des données pour construire une approche concrète et sociale, plutôt qu’abstraite et technique et aider à permettre aux acteurs d’en prendre conscience pour y remédier. Le projet vise à adresser des problématiques d’inégalités de la vie quotidienne. Il valorise l’expérience vécue et le partage. « La justice est un voyage » qui nécessite de travailler aux problèmes que l’injustice cause. Examiner le pouvoir ne suffit pas, rappellent les deux chercheuses. Il faut aussi le remettre en question. Pour cela, il faut prendre l’oppression et l’inégalité comme une hypothèse de base pour créer des systèmes. Cela nécessite d’apprendre des communautés et de concevoir les systèmes avec elles.

Privilégier l’incarnation et l’émotion à la fausse neutralité

Contrairement à ce que l’on pense trop souvent, l’objectivité des données nécessite non pas de promouvoir une forme de neutralité immanente, mais au contraire de mieux les incarner, c’est-à-dire de mieux montrer et valoriser leur subjectivité intrinsèque. C’est ce que propose par exemple Periscopic dans sa formidable infographie sur le nombre de personnes tuées par arme à feu aux Etats-Unis. Contrairement à une présentation traditionnelle du phénomène, l’infographie de Periscopic valorise l’émotion en permettant d’accéder aux informations individuelles sur chaque personne tuée par arme à feu aux Etats-Unis et en totalisant le nombre moyen d’années volées à toutes ces vies !

Cette approche a généré certaines critiques. Alberto Cairo, auteur d’un livre sur la visualisation de données, The Truthful Art (New Riders, 2016, non traduit), estime que l’infographie de Periscopic instrumentalise une cause par l’émotion, alors que la visualisation doit rester neutre ! Dans A Unified Theroy of Information Design (Routledge, 2013, non traduit), Nicole Amare et Alan Manning, expliquent que la visualisation doit rester neutre. La sobriété est nécessaire pour que les lecteurs interprètent les résultats par eux-mêmes. Dans le domaine de la communication de données, l’ornement est souvent considéré comme suspect.

Comme le dit l’historien des sciences Theodore Porter, « la quantification est une technologie de la distance », c’est-à-dire qui met à distance sous principe d’objectivité. La neutralité en est l’idéal. C’est oublier que persuasion est partout, même dans le dépouillement de simples feuilles de calcul ou des plus simples graphiques. Haraway a pourtant été la première à souligner le lien entre l’apparente neutralité et l’objectivité des données. Pour elle, la visualisation de données encourage trop souvent à voir les phénomènes depuis nulle part – voire de loin ou d’en haut. Ce point de vue, cette « ruse », cependant présente comme neutre une perspective partielle, qui est là encore, bien souvent, la perspective du groupe dominant. Pour le grand spécialiste de statistique et de visualisation de l’information, Edward Tufte (@EdwardTufte), le concepteur de visualisation doit s’efforcer d’utiliser l’encre uniquement pour afficher les données… tout embellissement est suspect. Le minimalisme visuel est rationnel. Les éléments décoratifs sont tous suspects d’œuvrer à des formes de persuasion émotionnelle.

La recherche féministe a beaucoup critiqué cette opposition entre raison et émotion, qui vise plus à structurer et imposer des hiérarchies implicites qu’autre chose. Pour D’Ignazio et Klein, le minimalisme visuel n’est pas si neutre qu’il le clame. Trop de théoriciens et de praticiens de la visualisation de données relèvent des disciplines techniques de l’ingénierie et de l’informatique, mais oublient que tout objet, aussi neutre soit-il présenté, est rhétorique. Dans un visuel, un même constat peut être présenté de manière très différente selon sa représentation ou le discours qui l’accompagne, à l’image d’un même graphique factuel sur le chômage proposé par le New York Times, présentant les données selon un point de vue démocrate ou républicain. En fait, soulignent les chercheuses, la visualisation de données dépend toujours d’une interprétation. Les choix éditoriaux qui produisent une visualisation ont des effets de cadrage qui obscurcissent ou mettent en évidence certaines choses plutôt que d’autres. Les conventions autour du minimalisme favorisent une perception de visualisation comme étant neutre et objective. Au final, même les visualisations les plus simples, les plus factuelles, ne sont pas neutres. Par contre, elles sont très persuasives.

Dans une approche féministe des données, expurger toutes traces humaines pour produire une neutralité de façade n’est pas la bonne approche. L’enjeu, au contraire, consiste à affirmer la nature située des connaissances, à affirmer leur partialité. Pour D’Ignazio et Klein, il est nécessaire de rendre les données plus « viscérales » plutôt que neutres. L’émotion n’est pas aussi irrationnelle et illégitime que beaucoup la tiennent. Notre compréhension du monde est une combinaison d’expériences, d’intuitions, de raisons et d’émotions. En 2010, Kelly Dobson a fondé le groupe de recherche Data Visceralization, avec l’objectif de produire des données à ressentir, à expérimenter avec le corps, tant physiquement qu’émotionnellement. Cette viscéralisation n’était pas qu’une expérimentation créative. Pour ceux qui ont animé ce groupe de travail, l’enjeu était de rappeler que nous ne sommes pas des yeux attachés à un cerveau. La viscéralisation des données poursuit également un but d’accessibilité : les données ne peuvent être seulement visuelles. Klein et D’Ignazio évoquent ainsi le travail du Bureau de recherche créative pour le MoMA de New York qui s’est joué (vidéo) du catalogue des 123 951 oeuvres de la collection en faisant lire le nom des artistes masculins par des hommes et ceux des artistes féminins par des femmes pour souligner la nature hautement sexuée des collections… ou encore le travail du collectif Guerrilla Girls qui soulignait que pour entrer au Metropolitan Museum of Art, il fallait assurément être une femme nue arguant que les femmes nues sont le principal sujet des tableaux alors que les artistes femmes, elles, sont inexistantes dans les collections. Faire des données des expériences permet de casser la vue d’ensemble que les visualisations proposent et permettent de faire l’expérience des enjeux peu à peu. L’enjeu est ici de ressentir la différence de genre plutôt que de seulement la voir, comme s’ils s’adressaient à une autre partie du cerveau.

Image : « Moins de 5 % des artistes des sections art moderne du musée sont des femmes, mais 85 % des nus sont des femmes », infographie des Guerilla Girls, 1989.

Un autre enjeu également dans les représentations visuelles, consiste à mieux faire figurer l’incertitude, comme d’arriver à montrer la fourchette d’incertitude de sondages. Lors de l’élection de Trump en 2016, les simulations produites par les sondages étaient plus incertaines dans les intentions de vote que leurs représentations. Pour Klein et D’Ignazio, le fait que nombre de graphiques aient suggéré que Clinton allait gagner tient beaucoup au refus de montrer l’incertitude que les sondages exprimaient. Ajoutez-y les biais de nos propres raccourcis mentaux qui tendent à nous faire croire que l’avance d’une candidate sur l’autre tient d’une probabilité plus forte qu’elle gagne… Et vous comprenez mieux le risque à ne pas s’ouvrir à l’incertitude des données. Pour les deux chercheuses, ces exemples doivent nous rappeler que le contexte est roi en matière de visualisation.

Interroger les classements et les catégories

Le féminisme des données oblige à sortir des dichotomies et donc à repenser les catégories et hiérarchies. De nombreux problèmes d’inégalité structurelle sont des problèmes d’échelles. Trop souvent, seul ce qui est compté compte, et ce qui n’est pas compté ne compte pas, rappellent les chercheuses. Ici, il est nécessaire également de nous défier de l’affichage de grands principes. Ainsi, quand Facebook a élargi les modalités pour indiquer son genre, cette nouveauté a été saluée comme le signe d’une grande ouverture. Pourtant, comme l’ont montré les travaux de Rena Bivens (@renabivens), Facebook a continué de résoudre le genre des utilisateurs de manière binaire pour ses clients payants. Mêmes constats en ce qui concerne la politique des « vrais noms » de Facebook qui est justifiée pour des raisons de sécurité, mais qui met activement en danger les utilisateurs les plus marginaux de la plateforme, comme l’ont montré Oliver Haimson et Anne Lauren Hoffmann, par exemple ceux qui portent des noms Amérindiens où les personnes qui cherchent à masquer leurs identités parce qu’elle peut leur porter préjudice.

Les féministes, comme les militants antiracistes et homosexuels, ont beaucoup réfléchi aux problèmes de classification, notamment parce que cela les affectait directement. La solution pourtant ne consiste pas à refuser le classement, mais à nous interroger sur la manière dont les systèmes de classification sont construits, sur la manière dont ils encodent les valeurs et jugements, sur comment ils sont construits et dans quel but, comme l’expliquent Geoffrey Bowker et Susan Leigh Star dans Sorting Things Out (MIT Press, 2000, non traduit). Le problème consiste toujours à savoir s’il vaut mieux être compté ou pas. C’est le paradoxe de l’exposition ou de la classification. Pour un sans papier par exemple, être dénombré peut-être problématique selon ce qui est fait de ce dénombrement. Du point de vue du féminisme de données, la question est toujours de savoir si ce sont les catégories qui sont inadaptées ou le système de classification. A quoi sert-il par exemple que les scanners corporels des aéroports distinguent les hommes des femmes et s’affolent dès qu’une personne ne correspond pas à cette normativité réductrice ?

L’Association médicale américaine qualifie désormais le genre de spectre, plutôt que sur un mode binaire. L’organisme de santé publique britannique a lui développé un questionnaire inclusif et sensible qui permet d’ouvrir la question des catégories de genre en proposant des modalités de non divulgation. En fait, soulignent les chercheuses, selon les circonstances, l’institution qui collecte, et le but de ces collectes, les décisions éthiques peuvent varier. Pour le dire plus simplement, l’éthique ne peut être bornée : chaque comptage nécessite de reposer les questions de contexte et de pouvoir : faut-il compter selon le genre ? Quand et comment ? Même constat du côté de la couleur de peau… Mais la réponse à ces questions n’est possible qu’en répondant à la question à qui et à quoi servent ces comptages et plus encore en assurant que leur utilité reste circonscrite à l’objectif formulé – ce qui est plus difficile à assurer, notamment dans le monde des données, où un comptage, par nature, peut-être réutilisé à d’autres fins. Enfin, soulignent les chercheuses, la question du consentement à ces différents types de comptages est essentielle, pour les groupes minoritaires et notamment du fait des préjudices potentiels qu’il y a à distinguer les gens selon leurs identités fait peser sur eux. Respecter les gens qui sont derrière les données peut sembler tenir de l’évidence. C’est pourtant si rarement le cas qu’il faut bien le rappeler (signalons d’ailleurs sur ce sujet, le travail stimulant du Manifeste pour des technologies pleinement consenties, qui propose des principes pour des technologies de « plein consentement » : sans pression, réversibles, informées, enthousiastes et spécifiques) !

Historiquement, compter a toujours été utilisé pour dominer, discipliner et exclure. C’est pour cela qu’il est nécessaire d’interroger notre infrastructure de classification. Les chiffres ne sont pas toujours des outils d’oppression, mais ils doivent être travaillés pour rééquilibrer la répartition inégale du pouvoir.

Notre besoin de diversité est impossible à rassasier

Pour le féminisme de données, la connaissance la plus complète provient de la synthèse de perspectives multiples, et notamment les plus locales, les plus expérientielles… Sur le site Anti Eviction Map qui lutte contre les expulsions à San Francisco on trouve une centaine de cartes différentes. Beaucoup ont été produites en collaboration avec des organisations différentes afin de documenter le phénomène de l’expulsion dans sa plus complète diversité. L’une des cartes par exemple, montre que la concentration des expulsions recoupe celle des arrêts des Bus qui viennent chercher les employés des grandes entreprises de la tech. Toutes les cartes ne sont pas aussi lisibles, mais l’objectif reste de documenter ce qu’il se passe de multiples façons. Plutôt que de raconter une seule histoire « vraie » ou consensuelle, l’enjeu est aussi de reconnaître les versions multiples voire contradictoires de la réalité, explique l’architecte Katie Lloyd Thomas (@ktlloydt), fondatrice du collectif féministe Taking Place. Pour le féminisme de données, l’enjeu est d’adopter le pluralisme, de valoriser les voix, les points de vue, de la collecte à la communication… Pour se faire, il faut se défaire de la façon dont les méthodes de la science des données ont tendance à supprimer les voix, au profit de la clarté, de la propriété ou du contrôle.

Trop souvent, l’un des principaux aspects du travail du data scientist consiste à nettoyer les données pour mieux les structurer, un travail d’entretien à la fois patient et minutieux, et également un travail d’organisation glorifiant visant à dompter le chaos des chiffres. Le problème, c’est que ces processus contribuent à faire disparaitre des perspectives et à en imposer d’autres. Nettoyer les données consiste aussi à les contrôler. « Cette croyance selon laquelle les données doivent toujours être propres et contrôlées a des racines historiques douteuses ». Trop souvent, le nettoyage est « une astuce pour réduire la diversité », comme l’ont expliqué Katie Rawson (@katie_rawson) et Trevor Munoz (@trevormunoz) dans leur article « Contre le nettoyage ». Le désordre des données est riche d’informations sur les circonstances de leur collecte. Trop souvent, leur nettoyage permet qu’elles soient plus accessibles à d’autres qu’à ceux qui les ont collectés. En fait, expliquent Klein et D’Ignazio, ce nettoyage des données élargit surtout leur disponibilité et notamment leur disponibilité à un plus large niveau, les coupant du contexte de leur production. Ce nettoyage bénéficie également aux data scientists, à ces génies solitaires, souvent blancs et masculins, dont la maîtrise individuelle et l’expertise technique semblent sans bornes. L’un de ces génies est Matthew Desmond (@just_shelter), directeur de Laboratoire de l’expulsion (@evictionlab) à l’université de Princeton et auteur d’Avis d’expulsion, enquête sur l’exploitation de la pauvreté urbaine (Lux éditeur, 2019). La difficulté pour le laboratoire a longtemps consisté à trouver sur quelles données baser ses recherches. Faut-il privilégier des données plus propres et à grandes échelles, faciles à traiter et à acheter où des données plus précises, à l’échelle locale, comme celles produites par Anti Eviction Map mais qui nécessitent d’établir une relation de confiance afin qu’elles ne soient pas utilisées n’importe comment ? Comme nombre d’acteurs dans le domaine des données, le laboratoire a donné la priorité à la rapidité sur la précision. A l’inverse, si l’Anti Eviction Map a privilégié la diversité, leur décision a aussi contribué, de manière tout à fait intentionnelle, à renforcer les capacités techniques et relationnelles des acteurs locaux. L’enjeu était bien de construire une solidarité entre participants afin qu’ils s’entraident dans la lutte contre les expulsions, qu’ils apprennent les uns des autres. La multiplicité permet d’obtenir une image plus complète d’un problème et en renforce les collectifs. Encore faut-il parvenir à reconnaître la partialité de sa compréhension. Cela suppose, bien souvent, de donner accès aux données utilisées et de décrire les méthodes employées. Mais également de compléter ces informations en précisant qui a travaillé sur ces données, quels étaient les points de tensions…

« La prise en compte de la valeur des perspectives multiples ne doit pas se limiter à la transparence et à la réflexivité. Il s’agit également d’inviter activement et délibérément d’autres points de vue dans le processus d’analyse et de narration des données – plus précisément, ceux des personnes les plus marginalisées dans un contexte donné. » Pour l’Anti Eviction Map cela signifie centrer ses données sur les voix et les expériences de ceux qui ont été expulsés, à l’image de la proposition du réseau de Design Justice qui souhaite centrer son travail sur ceux les plus touchés par les données. Pour Klein et D’Ignazio, l’enjeu est bien ici de concevoir des projets de co-libération plutôt que des « données pour le bien » (ce qu’on appelle le mouvement « Data for good », un réseau de réseaux international qui promeut l’usage de la donnée pour l’intérêt général). Si le mouvement Data for good décrit des projets de science des données socialement engagés, que signifie faire le bien ? De quel bien parlons-nous ? Au profit de qui ? Pour la spécialiste en machine learning chez Google Brain et fondatrice de Delta Analytics, Sara Hooker (@sarahookr), ce concept manque de précision, notamment parce que l’engagement ne suffit pas à qualifier l’objectif – l’ingénieur Ben Green faisait une critique assez proche (.pdf) (dont nous avions rendu compte), soulignant les limites à renforcer le bien social sans interroger l’engagement. A l’inverse, la co-libération repose sur la dénonciation et la résolution des relations de pouvoir asymétriques. La co-libération présuppose une lutte qui qualifie l’enjeu… et augmente l’engagement d’objectifs, que ce soit le transfert de connaissance ou la création d’une infrastructure sociale dédiée, que ce soit pour la prise de conscience ou pour armer la lutte sociale. Elle implique des échanges à double sens pour renforcer les capacités techniques de la communauté et un renforcement de la solidarité, par exemple en allouant des ressources à l’infrastructure communautaire et pas seulement une aide technique. « Dans le modèle de co-libération, les projets de science des données deviennent des projets de science communautaire. Ils se déroulent simultanément dans la base de données et dans l’espace public. » L’enjeu est de construire une compréhension partagée autour d’une question et de mobiliser autour de cette compréhension pour en décliner des actions. Les données sont un moyen de générer une prise de conscience et de l’activer. En cela, la co-libération devient une « technologie de rassemblement », où « les informations sont échangées, la cohésion sociale est renforcée et les actions futures sont co-conspirées », une forme de « feu de camp » pour réactiver la participation politique, expliquent Kein et D’Ignazio – une forme de nouvelle cartographie d’alliances.

L’enjeu n’est pas pourtant de rester petit ou local. Les données peuvent aussi permettre d’atteindre d’autres échelles de co-libération, expliquent les chercheuses en évoquant le projet d’Atlas mondial de la justice environnementale, initié par Leah Temper et Joan Martinez-Alier qui collecte des informations sur les conflits écologiques depuis les luttes mêmes de ces acteurs. Certes, l’approche est plus pluraliste, participative et itérative que les approches extractivistes et quantitatives du Big data traditionnel, mais en fin de compte, même si cela prend plus de temps, les données, les relations et les capacités des communautés produites sont d’une bien meilleure qualité.

Les chiffres ne parlent pas d’eux-mêmes

Le féminisme des données affirme que les données ne sont ni neutres ni objectives. Elles sont le produit des inégalités et, sans contexte, elles ne disent rien : ne sont ni précises ni éthiques.

En 2014, le célèbre blog FiveThirtyEight a publié un article montrant que l’enlèvement de jeunes femmes au Nigeria était un problème qui empirait. Mais l’article a dû rapidement être rétracté. Le site avait utilisé une base de données mondiale spécialisée sur les conflits, le GDELT. Le problème est que cette base collecte des articles de presse en démultipliant les faits depuis les sources. FiveThirtyEight avait compté chaque article comme un événement alors que beaucoup d’articles de presse relayés décrivaient le même événement. L’histoire raconte la difficulté à agréger des données dont on ne sait pas grand-chose, à notre tendance à surestimer l’exhaustivité sur l’exactitude. Certains chercheurs parlent de « Big Dick Data » pour qualifier des projets qui fétichisent la taille, exagèrent leurs capacités scientifiques ou techniques et ignorent le contexte. Nous sommes de plus en plus cernés par des portails de données qui permettent de télécharger ou d’échanger de vastes ensembles de données, dans un modèle d’accès illimité à l’information que nous considérons trop souvent comme un bien inhérent.

L’un des principes centraux de la pensée féministe est que toute connaissance est située, nécessitant de relier les données au contexte de leur production pour mieux comprendre leurs limites fonctionnelles, les obligations éthiques associées et la manière dont le pouvoir a contribué à leur élaboration. Trop souvent, pourtant, rappellent les chercheuses, les jeux de données sont fournis sans contexte ni métadonnées, c’est-à-dire sans informations sur leur provenance et sans dictionnaires pour les décrire. Klein et D’Ignazio donnent l’exemple simple et courant d’un jeu de données sur les dépenses de la ville de Sao Paulo au Brésil. Le jeu de données n’est pas difficile à comprendre en tant que tel, mais le processus qui l’a produit est bien moins clair. Comment la ville gère-t-elle ses appels d’offres ? Comment décide-t-elle de leur attribution ? Les offres publiées correspondent-elles à toutes les offres ou seulement à celles qui ont passé un contrat avec la ville ? Qu’est-ce qui explique les variations de numérotation ?… Or sans réponses, il semble difficile d’explorer, analyser ou traiter ces données. Comme l’explique Christine Borgman (@scitechprof) dans son livre Big Data, Little Data, No Data (MIT Press, 2015, non traduit) : une infrastructure de connaissances est « une écologie de personnes, de pratiques, de technologies, d’institutions, d’objets matériels et de relations ».

Klein et D’Ignazio rappellent rapidement l’histoire du mouvement pour l’ouverture des données publiques, né au milieu des années 2000 d’une conjonction d’acteurs (gouvernements, associations, individus et militants) pour favoriser l’accès aux données, ces nouveaux types de documents publics. Sous prétexte de promouvoir le développement économique par la création de services les utilisant, d’accélérer le partage de connaissance et la science, et d’améliorer la transparence démocratique, nombre d’États, de villes et régions ont peu à peu ouvert des portails de données. Mais, comme elles le rappellent encore, le financement limité a conduit à prioriser l’ouverture de certaines données sur d’autres et surtout a rarement permis de documenter les jeux de données. Pour le spécialiste de l’ouverture des données britannique, Tim Davies (@timdavies), on s’est parfois retrouvé face à des « décharges de données brutes », incapables d’assurer l’engagement ou la responsabilité. Nombre de jeux de données demeurent peu utilisés, attendant que « les utilisateurs entreprennent le travail intensif de déchiffrer les arcanes bureaucratiques qui obscurcissent leur signification ». On parle aussi de données zombies pour désigner des ensembles de données publiés sans objectifs ou cas d’utilisation. Qu’importe ! Finalement, comme l’affirmait Chris Anderson de Wired en 2008, toute théorie devenait inutile, les données parleraient d’elles-mêmes ! Mais la corrélation sans contexte est clairement insuffisante, comme le montrait Safya Umoja Noble (@safiyanoble) dans son livre Algorithms of Oppression (NYU Press, 2018, non traduit), en démontrant que les résultats de Google Search ne sont pas seulement racistes et sexistes à l’image de nos sociétés, mais entretiennent le sexisme et le racisme en renvoyant vers ces contenus sous prétexte de les classer en fonction des liens et de leur audience, encourageant finalement leur audience dans une boucle de circulation perpétuelle.

Depuis 1990, suite au meurtre de Jeanne Clery, une loi visant à améliorer la collecte de données relatives aux crimes commis sur les campus américains a été votée, imposant de mettre à la disposition du public ces statistiques. En 2016, trois étudiants en journalisme de données ont téléchargé ces données collectées par le Clery Center (@CleryCenter) pour comprendre ce qu’il en était de la culture du viol sur les campus. Ils se sont rendu compte qu’un petit établissement rural du Massachusetts semblait connaître bien plus d’agressions sexuelles que la prestigieuse université de Boston. En enquêtant, ils se sont rendu compte que certains établissements publiaient leurs chiffres et que d’autres avaient les ressources institutionnelles nécessaires pour les minimiser, notamment en accompagnant les victimes pour minimiser les plaintes. Les chiffres ne parlent pas d’eux-mêmes à nouveau, les données sont bien souvent « cuites et recuites » que brutes, c’est-à-dire toujours obtenues, toujours travaillées et retravaillées, sensibles à nombre de facteurs externes qui président aux multiples étapes de leur production. Bien souvent, les données tiennent plus d’indicateurs culturels qu’elles ne décrivent une réalité. Pour les chercheuses, nous avons besoin de bien plus de théorie et de bien plus de contexte pour saisir les enjeux de pouvoir des données. Les chercheuses prennent l’exemple des travaux qu’a mené Desmond Patton (@DrDesmondPatton) du SafeLab afin d’utiliser l’IA pour comprendre le rapport à la violence des jeunes de Chicago. Mais pour mieux comprendre un jeu de données de tweets, il a utilisé certains de ces jeunes pour mieux classer les données. Il a ainsi remarqué que des tweets utilisant des termes agressifs, comme le terme « tuer » ne visait pas tant à menacer d’autres personnes qu’à faire souvent référence à des paroles de chansons et donc à partager des symboles culturels. Pour les deux chercheuses, cet exemple souligne combien il ne peut y avoir de sciences des données sans le nécessaire travail social qui en éclaire le sens et l’action.

Communiquer en contexte nécessite non pas de chercher à être neutre, mais à regarder ce que les données produisent effectivement, expliquent les chercheuses en montrant deux graphiques représentant exactement les mêmes données, le plus exact pouvant être taxé de partialité alors que le second, semblant plus neutre se révèle bien plus manipulateur et plus ouvert à une mauvaise interprétation. La justice nécessite aussi de reconnaître et nommer les formes d’oppression que ce soit le racisme, le sexisme, l’homophobie… pas de les neutraliser, expliquent-elles.

Rendre les méthodes plus robustes et conserver le contexte des données, tel est l’enjeu de Cuidando do Meu Bairro (Prendre soin de mon quartier), une initiative à destination des habitants de Sao Paulo qui vise justement à ajouter du contexte et des éclaircissements aux données locales. Heather Krause, fondatrice de Datassist et We all count (@datassist), un projet pour développer l’équité en data science, a développé nombre d’outils pour favoriser l’équité et notamment le concept de biographie des données, consistant à demander à leurs producteurs de répondre à des questions de base : « d’où vient le jeu de données ? Qui l’a collecté ? Quand ? Comment ? Pourquoi ? ». C’est exactement l’enjeu du « datasheets for datasets » développé par Timnit Gebru pour Microsoft (voir notre article Utiliser l’IA pour détecter ses propres biais ? »). Les guides d’utilisation de données sont une piste essentielle, insistent Klein et D’Ignazio ! Les deux chercheuses signalent ainsi l’exemple de Woman Stats initié par le géographe Chad Emmett (@emmett_chad) et la professeure de sciences politiques Valerie Hudson, une vaste base de données sur les violences faites aux femmes qui distingue des variables de pratiques et de droit selon les conditions juridiques des pays d’où proviennent les données. Une façon de souligner l’incomplétude de leurs données. Ainsi les statistiques sur le viol soulignent que les modalités d’enregistrements sont peu comparables d’un pays à l’autre.

Reste à savoir qui doit éclaircir les données. Bien souvent, les journalistes et les ONG font un bon travail de nettoyage et de contextualisation, pour autant qu’ils bénéficient de financements durables, d’expertises et de normes. Le problème, trop souvent, c’est que gérer les données nécessite de l’investissement au risque de garder durablement des ressources de qualité médiocres, voire dangereuses. Sans argent, la production de contexte risque de rester l’exception plus que la norme.

Rendre le travail visible

L’ultime principe du féminisme de données consiste à rendre le travail visible. Une étude sur Github, cette plateforme collaborative de travail sur le code source, montrait que les utilisatrices avaient moins de chances de voir leurs contributions acceptées si elles s’identifiaient comme femmes. Pourtant, en permettant de voir les contributions à chaque projet, Github a participé à changer le regard sur la réalité du travail du code, montrant combien il relève d’abord et avant tout d’une collaboration patiente. Mais contrairement à Github, la production de données et de visualisations s’inscrit dans de longues chaînes de collaborations qui tendent à écraser les contributions plutôt qu’à les mettre en avant. La formidable cartographie des navires qui naviguent à travers le monde est le résultat d’un long travail d’innombrables contributeurs. Comme l’explique Miriam Posner, les chaînes d’approvisionnements elles-mêmes, ont trop souvent intérêt à écraser et transformer les contributions. Et on constate la même chose dans le monde de la production de données.

La dénonciation des formes de travail invisibles est ancienne et s’est cristallisée longtemps sur le travail domestique non rémunéré des femmes. Elle s’est considérablement élargie depuis, notamment à celui des utilisateurs des plateformes. Reste que la science des données prospère largement sur cette invisibilisation en mobilisant largement des plateformes de crowdsourcing que ce soit pour étiqueter des films, des documents, corriger des fautes… comme l’ont montré nombre d’études sur la sous-classe mondiale de la modération, allant de Ghost Work (Mariner Books, 2019, non traduit) de Mary Gray et Siddharth Suri, à Derrière les écrans (La découverte, 2020) de Sarah T. Roberts (@ubiquity75) en passant par En attendant les robots (Seuil, 2019) d’Antonio Casilli (@antoniocasilli). Derrière les hiérarchies actuelles du travail des données se répètent d’anciennes hiérarchies technologiques fondées sur le sexe, la classe sociale et la race, explique Lilly Irani (@gleemie), comme celles de la première génération d’informaticiennes, ces Figures de l’ombre (Harper Collins France, 2017) qu’évoquait Margot Lee Shetterly (@margotshetterly). En 2008, d’ailleurs, Irani avait lancé le Turkopticon pour permettre aux utilisateurs du Mechanical Turk d’Amazon de signaler les conditions de travail que les commanditaires de la plateforme leur imposaient. Mais après 10 ans de service, le service, entièrement bénévole, a fermé sous l’épuisement. L’exploitation d’une main d’œuvre précaire trouve son origine bien sûr dans la longue histoire coloniale et esclavagiste, qui ne cesse de prolonger ce même schéma d’exploitation.

Pour répondre à ces invisibilisations, nous devons améliorer les études sur la production de données, estiment Klein et D’Ignazio, comme le propose Anatomy of an AI System de Kate Crawford (@katecrawford) et Vladlan Joler (@TheCreaturesLab). Montrer le travail invisible est un moyen de résister au storytelling de l’innovation dominante. Documenter qui y participe, comme y invite la Charte des droits des collaborateurs, également. Documenter ce travail permet également de montrer la quantité de travail physique nécessaire à la numérisation, comme l’a pointé la représentation visuelle du catalogage des livres pour la librairie du Congrès imaginé par Ben Schmidt (@benmschmidt). Enfin, bien sûr, c’est un moyen de valoriser également le travail de soin et le travail émotionnel à l’image du projet Atlas of Caregiving, visant à documenter le travail nécessaire autour de malades atteints de maladies chroniques afin d’en souligner sa complexité et sa pluralité.

Les déséquilibres du pouvoir sont partout dans les données… Ce n’est qu’en montrant toute la fragilité de chaque donnée que nous pourrons défier et relever leurs conséquences.

Réinventer notre rapport aux données et aux calculs

La force du livre de Klein et D’Ignazio consiste à nous confronter à nos propres impasses. Elles nous invitent à mettre à jour nos concepts, à renverser nos catégories de pensées et, pour y parvenir, à dépasser, renforcer et politiser plus avant nos exigences. Peut-être est-il plus que jamais nécessaire, comme elles nous y invitent, de modifier notre cadre de réflexion, de changer les concepts avec lesquels nous légitimons les évolutions des calculs… Les limites de l’ouverture et de la transparence dans les systèmes techniques sont dénoncées depuis longtemps. Peut-être que pour les dépasser, faut-il remiser et réinventer les concepts qu’on utilise, en tout cas les mettre à jour ! En nous invitant à passer de l’éthique à la justice, du biais à l’oppression, de la loyauté à l’équité, de la responsabilité à la co-libération, de la transparence à la réflexivité, de la compréhension des algorithmes à la compréhension de l’histoire, de la culture et du contexte… l’enjeu que Klein et D’Ignazio formulent nous invite à sortir de la recherche de solutions technologiques aux problèmes que pose la technologie. Ce n’est pas un petit pas de côté. En nous invitant notamment à dépasser les limites de l’ouverture des données ou du gouvernement ouvert, pour revenir au sens et à l’impact des données elles-mêmes, les deux chercheuses nous montrent une voie d’appropriation et de libération pour résister à l’impact des calculs et des bases de données.

Dans la conclusion de leur ouvrage, Klein et D’Ignazio nous invitent, à l’image des contestations qu’ont connu l’industrie de la technologie, notamment la grève chez Google de 2018 (le Google Walkout for real change), à « occuper en masse les infrastructures numériques », à ralentir les chaînes numériques, à canaliser les solidarités numériques vers les espaces physiques… De la Tech Workers Coalition (@techworkersco) aux plateformes comme Coworker.org (@teamcoworker) ou aux organisations comme Tech Solidarity (@techsolidarity) en passant par l’essor des coopératives technologiques aux manifestes comme ceux de Design Action Collective et bien sûr aux communautés de pratiques elles aussi revendicatrices comme le réseau Design Justice (@design__justice), Data for Black Lives (@data4blacklives) ou l’Algorithmic Justice League (@ajlunited)… sont autant de formes de mobilisation qui visent à faire des données un outil de changement social profond plutôt qu’une arme d’oppression au service du pouvoir financier (voir notre article « Vers un renouveau militant des questions technologiques ?).

La science des données doit désormais dépasser ses présupposés premiers, à savoir ses méthodes uniquement quantitatives reposant sur la seule puissance des données, la force brute des traitements automatisés, sa fausse neutralité, son ouverture sans enjeu… Le féminisme des données ne vise pas à produire de la technologie pour elle-même, mais au contraire, à en libérer les acteurs. Utiliser les données pour mettre fin à l’oppression est un objectif bien plus stimulant que les utiliser pour la perpétuer.

Hubert Guillaud

Dans une longue interview pour le magazine belge Agir par la culture (@agirparculture), je tente de poser des pistes pour repolitiser la question numérique…

À l’heure où les réponses légales sont trop mouvantes, où les réponses techniques sont contournables, où les réponses économiques ne concernent pas du tout les déploiements techniques, où les réponses éthiques sont limitées, comment contenir ce que le numérique optimise trop bien ? Comment limiter et contraindre le délire calculatoire qui vient ?

« L’enjeu à venir à nouveau consiste à faire des choix de société sur ce que nous devons numériser, ce que nous devons dénumériser et comment. Mais la réponse à ces questions n’est pas numérique, mais bien politique : comment étendre les protections sociales et environnementales ? Que devons-nous définancer ? Que devons-nous refuser de moderniser ? Où devons-nous désinnover ? Si on regarde le monde numérique à l’aune de sa durabilité, ce monde n’est pas soutenable. Si on le regarde à l’aune de ses enjeux démocratiques ou sociaux, le numérique ne produit pas un monde en commun. Il va donc falloir refermer des possibles que le numérique a ouverts. La surveillance, la fausse efficacité qu’elle promet ne propose que du contrôle, de la répression, des discriminations, de la sécurité au détriment de la liberté, de l’équité, de l’égalité. On ne fait pas société seulement en calculant son efficacité maximale ! »

En espérant que cette contribution livre quelques pistes d’action !

Hubert Guillaud

Avec Contrôler les assistés, genèses et usages d’un mot d’ordre (Raisons d’agir, 2021), le sociologue Vincent Dubois (@vduboisluv) signe une somme très complète et très riche de sciences sociales.

Exigeante, cette longue enquête décortique les transformations du contrôle à l’égard des bénéficiaires de l’aide sociale des Caisses d’allocations familiales (CAF). Le livre permet de prendre la mesure de l’évolution des politiques publiques et notamment, pour nous qui nous intéressons aux transformations numériques, souligne le rôle fondamental de l’intégration de la fouille de données, du croisement des fichiers et d’une rationalisation numérique qui produisent une répression plus sévère et plus forte des assistés. Vincent Dubois montre comment, depuis 2000, nous sommes passés, très progressivement, avec le numérique, à « l’âge industriel » du contrôle par un changement de méthode et de finalités. Il souligne également combien l’analyse automatisée a épousé le modèle managérial, politique, économique et idéologique libéral qui s’est peu à peu mis en place durant la même période. Il pointe combien la raison statistique a été mise au service de la raison idéologique du contrôle au détriment de l’aide, du conseil, de l’assistance…

Finalement, en plongeant dans la transformation du contrôle, Vincent Dubois livre une autre histoire des transformations que produit le recours à l’informatique depuis une vingtaine d’années. Une histoire à bas bruit, que nous avons souhaitée éclairer avec lui.

InternetActu.net : Pourriez-vous pour commencer nous raconter comment et quand est né le traitement automatisé (data mining ou fouille de données) à la CAF ?

Vincent Dubois : La mise en place de la fouille de données à la CAF commence au niveau local. À l’origine, ce n’est pas quelque chose de pensé, ni une politique nationale, rationnelle ou programmatique. L’utilisation de techniques de prédiction statistique part de la rencontre fortuite entre l’agent comptable d’une caisse locale et d’une cadre de cette même caisse. L’agent était confronté à d’importants cas de fraude et s’est rendu compte qu’il était exposé à des poursuites, car il n’aurait pas entrepris toutes les démarches nécessaires pour prévenir une telle fraude. Sa cadre dirigeante va l’informer de l’existence de techniques statistiques pour détecter les risques d’erreurs et de fraudes, des techniques déjà mobilisées dans l’assurance et les sociétés de téléphonie mobile, notamment pour identifier les mauvais payeurs. C’est donc très tôt, au début des années 2000 que cette caisse met en place une expérimentation pour détecter les risques de fraude. Fort de ses premiers résultats, la méthode est peaufinée par des échanges entre la caisse locale et nationale après 2005. Des tests à grande échelle sont lancés pour produire des modèles. Et à partir de 2010, la fouille de données est généralisée. Cela fait donc plus de 10 ans que ces techniques y sont utilisées. La fouille de données et la prévision statistique sont devenues l’outil principal de détection et de déclenchement des contrôles des allocataires.

Cette façon de regarder l’histoire par le petit bout de la lorgnette est intéressante. Elle souligne combien l’adoption de ces outils s’est expérimentée de manière itérative, progressivement voire prudemment. La CNAF a été non seulement précurseure, mais également bon élève en matière de pratiques, tant et si bien qu’elles ont été imitées et généralisées depuis à d’autres organismes. Ces techniques de fouilles de données sont notamment utilisées depuis par Pôle emploi et l’administration fiscale, même si elles ont été adoptées plus tardivement et d’une façon peut-être un peu moins généralisées.

Donc très concrètement, ce développement technique s’est fait d’une manière très empirique. Les ciblages qui avaient lieu auparavant, eux, se basaient sur des observations ou des hypothèses de risques de fraudes ou d’erreurs, selon les allocataires ou les situations, mais restaient faits de manière hypothético-déductive. Avec la fouille de données, c’est l’inverse. La CNAF a fait réaliser 5000 contrôles, à grande échelle, sur la base d’un échantillon aléatoire d’allocataires. L’étude de ces 5000 dossiers a identifié des cas d’erreurs, de fraudes, d’indus… qui ont ensuite été utilisés pour reconstruire des agencements entre critères et variables qui caractérisaient les cas et pour construire des modélisations statistiques. Différents modèles ont été conçus avant d’être testés et mis en œuvre à grande échelle. Ces enquêtes à grande échelle sont réalisées de manière périodique pour ajuster les modèles aux évolutions des facteurs de risque.

Plusieurs modèles ont été dégagés de ces calculs de corrélation, notamment un facteur de risque global de la fraude et des modèles de risques plus spécifiquement adaptés à certains types de situations, comme la question de l’isolement ou la déclaration de ressources. Et ces modèles sont utilisés conjointement. Leur sélection repose sur leur « efficacité »… Cela signifie que la sélection ne repose pas tant sur des choix préalables que sur les rendements que les différents modèles produisent.

À l’origine donc, c’est bien la question de la lutte contre la fraude qui déclenche la mobilisation autour de ces outils et leur systématisation. La façon dont la fouille de données est mobilisée aujourd’hui garde trace de ses origines. Elle reste orientée vers la lutte contre la fraude, et plus généralement l’identification des indus, c’est-à-dire des sommes perçues à tort par les allocataires, car le montant de leurs revenus n’a pas été mis à jour ou que leur situation personnelle a changé.

Ce n’est pourtant pas exclusif d’autres usages possibles de ces techniques de fouille de données. Elles peuvent également être mobilisées pour détecter le non-recours aux droits ou le recours partiel, au bénéfice des allocataires, comme c’est le cas en Belgique ou au Royaume-Uni par exemple… Mais pour l’instant, en France, elles sont peu mobilisées pour cela. Ce qui laisse à penser que ce n’est pas la technique de fouille de données qui détermine ses effets, mais bien les usages qui en sont faits.

Internetactu.net : En quoi cette technique a-t-elle épousé les transformations politiques du contrôle ?

Vincent Dubois : Une autre manière de lire cette histoire, c’est de rentrer effectivement dans le type de conception inhérente à ces outils et l’affinité qu’ils peuvent avoir avec des manières de penser et des modèles d’organisation. Si on met en perspective l’usage de type de statistiques dans l’histoire longue des usages statistiques à des fins de gouvernement des populations comme dirait Foucault, on constate que la statistique classique porte sur la population dans son ensemble pour dégager des tendances, des moyennes, qui sont aussi des normes sociales. Avec la fouille de données, l’unité d’observation n’est plus la population, mais l’individu. C’est le comportement et la situation individuelle qui sont désormais l’objet de la connaissance. Ce changement de perspective est directement en affinité avec la philosophie néolibérale du sujet et du fonctionnement social qui considère, pour le dire vite et simplement, que la société et ses problèmes ne sont que le résultat de l’agrégation des comportements individuels. Le chômage par exemple n’est pas le produit de la structure du marché de l’emploi, mais le résultat de l’agrégation des individus à travailler ou pas.

La fouille de données est en affinité avec ce qui s’est imposé comme le principe managérial des organisations, notamment pour les organismes de protection sociale, à savoir la maîtrise des risques. Cette notion qui peut paraître vague est pourtant révélatrice d’une transformation de ces organismes et de leurs orientations. La notion de risque est consubstantielle aux politiques sociales et à l’État providence et part du principe que le travail, la maladie ou la vieillesse dépassent les responsabilités individuelles et doit être assumé de façon collective. Pourtant, cette maîtrise des risques dont on parle ici n’est pas tant le risque inhérent au fonctionnement social qu’une vision plus pragmatique et réduite : à savoir le risque financier que les bénéficiaires font courir aux organismes payeurs. La maîtrise des risques est également un principe managérial qui vise à prévenir leur survenance. Si la typologie des risques est souvent entendue de manière large, en pratique, le risque est surtout défini de manière précise et est profondément lié aux erreurs de déclaration des allocataires. Si cette notion de maîtrise des risques reste très englobante, c’est pour mieux faire disparaître le cœur de cible dans un principe managérial global. Un cœur de cible qui est à l’origine de la diffusion d’un impératif de contrôle à l’ensemble des organismes de protection sociale. La statistique prédictive ici correspond parfaitement à une politique dont l’objectif est de limiter le risque avant même qu’il ne survienne. Il y a eu une rencontre qui n’était pas totalement programmée entre la statistique prédictive et l’organisation des institutions de contrôle, mais qui a permis le renforcement de l’une et de l’autre. L’usage du data mining a pris sens dans le principe d’organisation même de la protection sociale et celui-ci s’est opérationnalisé dans la mise en œuvre même de cette technique, en renforçant l’individualisation et la responsabilisation des allocataires.

InternetActu.net : La fouille de données produit donc un score de risque de fraude pour chaque allocataire depuis 2011 à la CAF. Elle est utilisée depuis 2013 par Pôle emploi. Depuis 2014, par l’administration fiscale… Comment s’est répandu ce scoring, ce calcul des risques, cette « révolution industrielle » de l’administration publique ?

Vincent Dubois : Chaque utilisation est différente. À Pôle emploi, l’automatisation est surtout utilisée pour contrôler l’effectivité de la recherche d’emploi ainsi que pour la lutte contre la fraude, mais la focale y est plus réduite qu’à la CAF (l’enjeu consiste surtout à surveiller les escroqueries aux Assedics, fausses adresses, fausses fiches de payes… et emplois fictifs). Dans l’administration fiscale, la fouille de données s’est développée récemment mais ne conduit au déclenchement que d’environ 10 % des contrôles des particuliers, la proportion étant supérieure à 60 % pour celui des bénéficiaires d’aide sociale. Il faut rappeler ici le rôle joué par la création en 2008 de la Délégation nationale à la lutte contre la fraude (DNLF). Cette innovation institutionnelle est venue concrétiser les prises de position politiques du président Sarkozy dénonçant la fraude sociale et surtout la fraude aux prestations. Cette délégation interministérielle a eu la mission de coordonner les échanges, de favoriser les bonnes pratiques, de former et d’assurer une veille technique pour l’ensemble des services concernés par différents types de fraudes. Elle est créée alors que la fouille de données est en voie de généralisation à la CNAF et qu’elle y produit des résultats probants. Elle est rapidement devenue la technique mise en avant dont la DNLF a prôné la diffusion et la généralisation.

Internetactu.net : À côté de la statistique prédictive et du data mining, votre enquête de terrain pointe une autre transformation qui bouleverse le travail des administrations : le croisement de données ! Plus qu’un croisement d’ailleurs, c’est plutôt un « échange » voir même des accès croisés, qui renforcent le contrôle et produisent des vérifications de masse, peu coûteuses, et « efficaces ». Nous sommes passés d’un contrôle artisanal à un contrôle industriel, sous la pression de forces politiques qui ont valorisé et justifié le contrôle, mais qui a été structuré par une pléthore d’outils, de base de données et de modalités d’échanges de données. À la lecture de votre livre, en comprenant comment s’opèrent les contrôles, on découvre à quoi servent ces bases de données et portails d’information et comment ils sont mobilisés. Mais surtout, on découvre très concrètement que le respect de la vie privée et l’étanchéité des services publics, voire privés, sont devenus des vains mots. La séparation des administrations publiques et la séparation des pouvoirs qui leurs sont conférés ne sont-elles pas largement en train de disparaître ?

Vincent Dubois : Effectivement. La fouille de données et l’échange de données, même s’ils renvoient à des pratiques différentes (d’un côté des outils de détection et de l’autre des outils de contrôle), peuvent être regroupés dans un même ensemble d’usages. Il est frappant de constater le caractère concomitant et exponentiel de l’usage de ces techniques. Frappant de constater également le caractère très itératif de de développement. Nous ne sommes pas confrontés à un métafichier centralisé qui contrôlerait la population… comme l’était la menace du fichier Safari dont l’histoire raconte qu’il a donné lieu à la loi informatique et libertés de 1978, non ! La réalité est bien plus réticulaire que centralisée, mais cela ne l’empêche pas d’atteindre une forme de surveillance jamais vue. Cet ajout assez progressif d’accès et de croisement de données n’en réalise pas moins une surveillance tentaculaire.

Pour comprendre ce qu’il s’est passé, il faut tenter d’en démêler les fils chronologiques. Rappelons d’abord que la CAF, du fait de ce qu’elle traite, dispose d’une précision et d’une quantité de données personnelles sans commune mesure. Du fait de la batterie de critères et de leur diversité nécessaires pour accorder des aides, les organismes sociaux savent tout de la vie des personnes : santé, logement, travail, famille…

Au début des années 90, on a un premier mouvement d’informatisation, important et précoce, avec la création de systèmes internes aux organismes de protection sociale, comme la GED (gestion électronique des documents). En 1995, le NIR (Numéro d’inscription au répertoire, plus connu sous le nom de numéro de sécurité sociale) est autorisé pour le croisement des fichiers. Ca a favorisé le passage au caractère industriel du croisement des fichiers, car son usage a fait disparaître les nombreuses erreurs d’identification qui pouvaient exister notamment sur les noms, adresses et leurs orthographes. Ensuite ont été progressivement mis en place des protocoles d’échanges de données bilatérales, de façon itérative encore : entre la CAF et l’ANPE pour les bénéficiaires du RSA puis du RMI, entre la CAF et l’administration fiscale, etc. Un ensemble de conventions décidées de gré à gré se sont ajoutées les unes aux autres conduisant à une généralisation des possibilités d’échange de données. Ensuite, ont été constituées des bases de données « internes ». Il faut rappeler qu’il n’y avait pas de fichier national des allocataires, chaque caisse locale avait son fichier, ce qui créait notamment des risques de multiaffiliation. En 2006 est venu le RNCPS (Répertoire national commun de la protection sociale) : un répertoire qui permet à chaque organisme de protection sociale grâce aux identifiants uniques d’avoir accès aux fichiers consignés par les autres organismes sociaux. Puis la Déclaration sociale unique qui va faciliter l’unification des données en matière de ressources des allocataires. L’accès à d’autres fichiers n’a cessé de progresser… notamment l’accès direct à Ficoba (Fichier national des comptes bancaires et assimilés qui permet d’accéder aux relevés bancaires) pour contrôler la structure des ressources et dépenses des allocataires, vérifier leur train de vie ou la dissimulation de ressources non déclarées…

Ces évolutions décrivent une multiplication progressive et diversifiée d’une multitude de possibilités de croisement et d’accès à des données personnelles qui ont renforcé l’information que les organismes peuvent obtenir sur des personnes. Elles ont aussi considérablement renforcé l’efficacité des contrôles. Les croisements de ressources sont automatisés et déclenchent des contrôles en cas d’incohérence. Auquel s’ajoute le droit d’accès enfin, de façon plus individualisé et artisanal, qui permet d’accéder à des données pour des vérifications au cas par cas.

InternetActu.net : une autre transformation liée au numérique – mais pas seulement, elle est également liée à la normalisation, à des modalités de structuration des décisions, de cadrages des critères – tient également des documents utilisés, de la rationalisation des indications, des rapports. La rationalité n’est pas seulement dans les chiffres et les données, elle s’inscrit jusqu’à la normalisation des pratiques. Quels sont les effets de ces pratiques, de cette révolution de la normalisation et des traitements ?

Vincent Dubois : D’une manière générale, la structuration de la politique de contrôle a été marquée par un effort de rationalisation, qui rime avec une forme de nationalisation que l’on constate avec l’amoindrissement des latitudes d’appréciation laissées aux caisses locales. Effectivement, la technicisation par la fouille et l’échange de données est allée de pair avec la rationalisation des données. Si on regarde très concrètement le cas des enquêtes à domiciles par exemple, au début des années 2000, les contrôleurs étaient peu encadrés dans l’organisation pratique de leur travail. Les décisions liées à la qualification des situations d’isolement et la rédaction des rapports étaient assez libres dans leurs décisions et préconisations. Qualifier une décision d’isolement ou de vie maritale, malgré la jurisprudence relevait beaucoup des impressions du contrôleur. Par exemple, je me souviens d’un contrôle à domicile de personnes âgées qui habitaient ensemble et parlaient d’un arrangement amiable… Une version que le contrôleur avait retenue, n’imaginant pas que des personnes âgées puissent finalement se mettre en couple. Ne pas retenir la vie maritale serait impossible aujourd’hui. Notamment du fait des outils d’aide à la décision qui ont été créés, qui reposent sur des constats critérisés, des modalités de pondération de ces critères les uns par rapport aux autres et de la notation sur le degré de certitude de ces différents critères. La décision entre une situation d’isolement ou de vie maritale se fait désormais par le biais d’une formule Excel !

Cette automatisation de la décision… on peut voir soit positivement, comme une posture normative, un rempart logique contre les décisions individuelles des contrôleurs. On peut également la voir négativement, car elle conduit à une forme de déréalisation du traitement des dossiers. Les situations sociales sont souvent complexes et mouvantes et ne se laissent pas appréhender sur la base de critères standards et formalisés… Les contextes familiaux et les situations complexes échappent aux catégories bureaucratiques standards. La normalisation réduit la prise en compte de circonstances qualitatives, de ce qui pouvait être pris comme circonstances atténuantes. La standardisation conduit à une rigueur plus grande à la fois par la rectitude de l’application des critères et à la fois par la sévérité des décisions produites.

Ces transformations en tout cas sont très frappantes jusqu’à leur matérialité même. Au début des années 2000, les rapports des contrôleurs étaient souvent manuscrits, rédigés sur papier libre, formulés selon des styles propres aux préférences des contrôleurs, circonstanciés, souvent descriptifs de situations, narratifs plus que fonctionnels, mais livraient des ambiances, des réalités de situations. Désormais standardisés, les contrôleurs ne remplissent plus que des critères formels depuis des trames de plus en plus rigides, avec très peu d’espace de rédaction libres. Cette rationalité bureaucratique sous forme technologisée de formulaire en ligne qui ne laisse de choix que dans la réponse préremplie de menus déroulants produit une forme de déréalisation. Reste à savoir si nous sommes là face à un progrès qui prévient l’arbitraire et qui garantit une plus grande égalité. Ou face à une décision sans âme qui ne fait plus rentrer en ligne de compte les situations sociales.

InternetActu.net : le risque n’est-il pas d’une rationalisation de critères qui demeurent appréciatifs ?

Vincent Dubois : Oui. On évalue depuis des critères situationnels et de fait plus que depuis des critères juridiquement strictement définis, comme ceux liés à un statut. Face à des situations complexes et instables, l’administration fait souvent face à des situations indéterminables. Sur quels critères peut-on établir une vie maritale si la mère des enfants maintient des liens avec le père ? S’il vient trois jours par semaine ? S’il est là tous les week-ends ? Où placer le curseur ? Dans la logique des situations personnelles, la situation de précarité est marquée par une grande instabilité familiale, professionnelle, résidentielle… Or, l’administration doit arrêter des décisions dans un flux de changements. On a beau formaliser, multiplier les critères rationalisés… on ne réduira jamais le réel aux critères ! Dans les régimes assurantiels, on a des droits ouverts selon des critères de droit, de statut, de condition. Dès qu’on bascule dans des critères de faits, de situations ou de comportements… on est confronté à des difficultés. Le problème qui explique l’essor du contrôle, c’est le développement d’un système social où les prestations sont versées sur des critères de faits sont de plus en plus importants. Ce n’est donc pas un hasard si le contrôle concerne les populations les plus stigmatisées, comme celles qui bénéficient du Revenu de solidarité active ou de l’Allocation de parent isolé, car elles reposent plus que d’autres sur une qualification de situations ou de comportements.

InternetActu.net : Avec le numérique, le contrôle a changé de statut et réorienté les politiques publiques, expliquez-vous. La vérification est devenue plus coercitive et punitive, prise une spirale rigoriste inédite, qui vise à restreindre de manière toujours plus forte les règles d’attribution, les montants, les durées, les conditions d’attribution, les sanctions…), comme si l’État social se contractait. L’automatisation procède-t-elle plus à l’érosion des droits où à l’extension du contrôle ?

Vincent Dubois : L’extension du contrôle est certaine, pour les multiples raisons qu’on vient d’évoquer. La réponse informatique permet un traitement de masse des dossiers d’une façon peu coûteuse – notamment parce qu’il nécessite moins d’effectifs et qu’il produit une efficacité inédite du recouvrement – et aussi – c’est une justification souvent avancée ! – parce qu’il permet un contrôle à l’insu des contrôlés ! L’automatisation et l’informatisation ont été un vecteur très important de l’intensification des contrôles, de leur généralisation, de leur effectivité croissante et de la sévérité des décisions.

Sur la question de l’érosion des droits, peut-être faudrait-il déplacer la réponse en s’intéressant plus avant à ce qui se joue avec la dématérialisation des démarches. La thèse récente de Clara Deville sur « les chemins du droit » des bénéficiaires du RSA en milieu rural revient sur l’émergence – timide ! – de la notion de non-recours comme préoccupation officielle et la promotion de l’administration électronique. La dématérialisation est souvent vue comme la solution miracle, alors que, pour les personnes en précarité, elle est surtout un obstacle supplémentaire à l’accès aux droits. Dans ce cadre, le numérique ajoute des difficultés à celles qui existaient déjà en matière d’accès. Nous avons encore besoin d’enquêtes sur ces enjeux. Dans les démarches administratives, il y a des critères de compétences bien sûr – techniques pour savoir manier l’outil, mais également linguistique pour comprendre le vocabulaire administratif… -, mais aussi des critères liés aux situations ! Dans les situations standards, il est facile de rentrer dans les cases, même si elles sont rigidifiées par les formulaires numériques. Par contre, dès que les situations sont complexes, la dématérialisation renforce les obstacles. L’administration électronique, outre les questions d’accès, nous fait basculer dans une administration à distance qui renforce les problèmes d’accès déjà présents, notamment pour les populations les plus précaires. L’absence de face à face, pourtant primordiale, comme je le soulignais dans un précédent livre, La vie au guichet, empêche de se faire expliquer les démarches ou d’expliquer sa situation. L’obstacle classique du vocabulaire est ici renforcé, durcit, tout comme difficulté à « rentrer dans les cases », à qualifier sa situation sans explications ni accompagnement. Avec l’administration électronique, quand votre situation n’est pas prévue dans le menu déroulant, la discussion est close.

InternetActu.net : Votre livre est l’un des rares, si ce n’est le premier, à éclairer la question du « scoring » pratiqué par les administrations publiques. En tant que citoyens, nous ne savons rien des scores de risques qui sont affectés à nos profils. Si, notamment, la Loi pour la République numérique de 2016 prévoit l’ouverture des algorithmes publics et la publication des règles qui président à ces calculs, pour l’instant, ces publications concernent seulement les règles de calculs des droits et taxes. Comment se fait-il que ces calculs, pratiqués pourtant depuis 10 ans par la CAF, nous soient invisibles ? Comment expliquer cette discrétion pour ne pas dire ce secret dans la « révolution industrielle » des administrations publiques ?

Vincent Dubois : Il faudrait mener une enquête sur la transformation et le déclin de la CNIL. La réponse tient en partie au résultat de transformations juridiques liées notamment au droit européen, de transformations organisationnelles et un certain déclin des idéaux de liberté publique du fait des renouvellements générationnels au sein de la commission, tout autant qu’un rapport de force qui a sans doute affaibli la place de la CNIL dans le champ bureaucratique. De manière très concrète, tout cela a conduit à ce que les croisements de données et la création de bases de données dédiées ne soient plus soumis à autorisations préalables, mais instruites en interne par des délégués à la protection des données en discussion avec les administrations… Et que les avis de la CNIL ne soient désormais plus contraignants. Ces transformations du rôle de la CNIL ont ouvert une possibilité de croisement de données qu’on pensait impensable en 1978…

InternetActu.net : dans votre livre, vous écrivez d’ailleurs : « Trente ans après la loi informatique et libertés de 1978, les fichiers et croisements d’informations ont cependant été réalisés » dans une « ampleur bien plus importante que les projets qui l’avaient initialement suscitée »…

Vincent Dubois : Cela tient certainement beaucoup à la façon dont les choses se sont mises en place. Il n’y a pas eu un projet massif et centralisé auquel s’opposer, qui aurait créé débats et controverses… Le fait que ces questions aient été traitées au cas par cas, via des accords de gré à gré, à diluer leur mise en place, et ce alors que leur généralisation a été lente et très progressive. Nous n’avons pas été confrontés à un système généralisé, mais à une facilitation des procédures. Or, qui s’émeut d’une convention d’échanges de données entre deux organismes publics ?… Pourtant, mis bout à bout, l’ensemble de ces conventions font bien systèmes et produisent une efficacité redoutable.

Ensuite, la fouille de données se pare des atours d’une neutralité statistique et mobilise des techniques relativement complexes. Cette technicité permet de laisser de côté l’approfondissement des débats sur leurs usages ou leurs limites. Au final, il faut pouvoir faire une enquête comme la mienne pour saisir comment les données sont effectivement utilisées. Les administrations (mais on peut étendre le constat aux entreprises privées, comme la banque ou l’assurance par exemple) sont peu enclines à dévoiler les fonctionnements de leurs algorithmes, comme on le constate avec Parcoursup. Pourtant, il y a là un vrai enjeu démocratique. Nous devons connaître les informations personnelles que les administrations utilisent, comment et à quelles fins.

InternetActu.net : Dans ce nouveau paysage d’une surveillance omnipotente, y’a-t-il encore une place pour que les contrôlés puissent s’adapter, trouver des espaces ou des modalités pour prolonger les modes de « fraudes de survie » dans lesquels ils sont le plus souvent ? Le nombre de fraudes identifiées a été multiplié par 30 entre 2004 et 2017, mais leurs montants seulement par 16 et au prix d’un élargissement sans fin de la définition de la fraude (qui a largement dépassé la notion d’escroquerie organisée). Dans cette surveillance, toujours plus stricte, de plus en plus réactive, « ce sont presque toujours les allocataires les plus précaires qui sont le plus contrôlés », à savoir les individus isolés ou ceux dont les conditions d’emplois sont les plus irrégulières. Le risque n’est-il pas que les méthodes de calcul toujours plus précises toujours plus volatiles et évolutives (notamment la fin de l’annualisation des droits et prestations) se fassent au détriment des plus précaires sans leur laisser d’espaces d’adaptation, de tolérance ?

Vincent Dubois : Décrire l’expérience du contrôle vu du côté des contrôlés nécessiterait une autre enquête. Elle est difficile à réaliser, car il est difficile d’accéder aux personnes contrôlées… Je ne désespère pas pourtant qu’on puisse la réaliser un jour.

L’ajustement des pratiques des allocataires à ces systèmes semble se réduire. D’abord parce qu’il est difficile de s’adapter à des modèles de détection qu’on ne connaît pas vraiment. Néanmoins, il y a toujours des effets d’ajustements, liés à l’information qui circule, à l’expérience des contrôles qui forge des compétences pour s’y ajuster… Reste que, par nature, la fouille de données pour lutter contre la fraude ne cesse de s’ajuster à l’évolution des fraudes documentées, on l’a dit. Le système n’est pas fixe et établi, mais rétroagit. Les usages de fraudes sont régulièrement remodélisés pour améliorer les formes de contrôle.

Ce n’est pourtant pas un modèle sans failles. L’une des limites qui a été identifiée par exemple, c’est que le modèle est national, global, et qu’il est donc aveugle aux disparités locales. La même variable en fonction de contextes différents n’a pas la même signification. Être chômeur dans un bassin d’emploi où il y a beaucoup de chômage n’a pas la même signification ni les mêmes implications que de l’être dans un contexte où le taux de chômage est très faible. Cela nécessite certainement un travail pour intégrer des variables contextuelles aux modèles.

Enfin, une autre limite tient certainement à l’auto-alimentation de ces techniques. Devoir déclarer plus régulièrement des ressources produit mécaniquement des erreurs, des retards… Plus on suit au plus près et de façon continue les situations, en temps réel, plus les critères font l’objet d’erreurs… Et plus on les contrôle !

Propos recueillis par Hubert Guillaud, le 16/06/2021.

En septembre 2019, dans une tribune pour le toujours sémillant The Atlantic (@TheAtlantic), Daphne Keller (@daphnehk), directrice du programme de régulation des plateformes au Centre de cyber politique de Stanford (@stanfordcyber), expliquait que les entreprises internet n’avaient pas d’état d’âme à restreindre la liberté d’expression. Elle réagissait alors au lancement de la « Cour suprême » de Facebook – devenue depuis « Conseil de surveillance » (sur FB, @oversightboard). Pour Keller, il est normal que ces places publiques modernes se dotent de règles de fonctionnement, d’autant qu’elles ont pris une importance primordiale pour les utilisateurs. « Les personnes dont les messages sont retirés des principales plateformes disent qu’elles sont exclues des canaux de communication les plus importants de notre époque ». D’où l’importance à nous préoccuper des règles que ces entreprises appliquent à nos discours et nos comportements… que ce soit de savoir si PayPal peut virer les dons à Wikileaks, si Cloudflare doit protéger les sites néonazis ou si Facebook doit retirer la célèbre photo de Nick Ut d’une jeune fille nue brûlée au Napalm sur une route du Viêt Nam.

Les médias sociaux ne sont pas des gouvernements

« Mais les plateformes privées ne sont pas vraiment la place publique, et les sociétés Internet ne sont pas des gouvernements. C’est exactement pour cela qu’elles sont libres de faire ce que tant de gens semblent vouloir : mettre de côté les règles de libre expression du premier amendement [de la Constitution des États-Unis] en faveur de nouvelles règles plus restrictives ». L’existence de cours suprêmes « privées » et de conventions spécifiques permet d’imaginer que cette refonte sera régie par les mêmes contraintes que celles qu’ont connues les gouvernements du monde réel : des règles « constitutionnelles » pour protéger les droits individuels et établir des processus démocratiques pour établir les lois sous lesquelles nous vivons… Mais les plateformes n’ont fait écrire à leurs usagers aucune Constitution et ne sont soumises à aucun processus démocratique ni même à aucun devoir de séparation des pouvoirs ni à une quelconque représentativité de leurs usagers ! Leurs règles ne sont donc « constitutionnelles » que de nom !

Des groupes de défense des utilisateurs ont demandé des droits similaires à ceux d’une « procédure régulière », comme un droit d’appel pour les personnes accusées d’avoir violées les règles des plateformes, comme on le trouve exprimé dans les principes de Santa Clara. D’autres demandent une transparence similaire à celle qu’on attendrait de législateurs, notamment pour mettre en lumière leurs interactions avec des lobbys ou leurs clients. Ces demandes sont positives et nécessaires, bien sûr, mais « il ne faut pas croire qu’imiter les systèmes gouvernementaux fera des plateformes des substituts aux gouvernements, soumis à des lois et des contraintes de pouvoir fondées sur des droits réels », prévient Daphne Keller. De fait, les plateformes sont plus à même de restreindre les libertés notamment parce qu’elles sont bien moins responsables de leurs choix que des représentants élus. Pour Keller, il nous faut mieux comprendre ces différences avant de demander aux plateformes de jouer un rôle plus important en tant qu’arbitres de la parole et de l’information, notamment parce qu’elles peuvent restreindre les discours avec plus d’efficacité que les gouvernements. Certes, elles n’emprisonnent pas les dissidents, mais elles peuvent les réduire au silence. Et notamment supprimer des publications licites, mais haineuses, harcelantes, trompeuses ou offensantes… bien plus rapidement que ne le ferait un procès. « L’absence de responsabilité démocratique ou constitutionnelle qui rend les plateformes si efficaces en tant que régulateurs de contenu les rend très difficiles à contraindre d’une autre manière ». Enfin, leurs « procédures » de contestation sont de très pâles reflets des originaux dont elles devraient s’inspirer.

Les membres de ce qu’on appelait encore la Cour suprême de Facebook ne sont pas chargés de faire respecter les droits des utilisateurs en vertu d’une Constitution ou des Droits de l’homme ou de tout autre instrument juridique, rappelle Keller. Leur travail ne consiste qu’à interpréter les règlements existants – et changeants – des plateformes. Le problème est que chaque fois que l’opinion s’indigne, les plateformes sont incitées à assumer davantage de pouvoir, que ce soit en accroissant la surveillance des utilisateurs ou l’interdiction de contenus licites… « Plus les plateformes s’arrogent ces pouvoirs, plus nous devons nous inquiéter du fait que nous ne contrôlerons pas réellement la manière dont elles les utiliseront ».

Dans ce contexte, les gouvernements ont du pouvoir : ce n’est pas un hasard si les grandes plateformes appliquent les normes européennes en matière de discours de haine dans le monde entier. Les annonceurs également ont du pouvoir : toutes les plateformes ont remanié des politiques en fonction de leurs indignations ou préconisations. Dans ce contexte, les utilisateurs sont bien souvent ceux qui ont le moins de pouvoir. « Si les plateformes n’ont pas de comptes à nous rendre, pourquoi les encourageons-nous à assumer un tel contrôle pratique sur notre discours ? »

À cause de la fuite en avant ! répond Daphne Keller. Le raisonnement est toujours le même : les plateformes ont déjà des règles et donc elles peuvent en avoir de meilleures. Le problème, c’est que ce raisonnement est à sens unique, explique la juriste. Il justifie le fait de demander aux plateformes d’en faire toujours plus, plutôt que de leur demander de revenir sur les changements qu’elles ont déjà effectués ! À l’image de la démultiplication des outils de détection automatique des contenus… lancés à l’origine pour lutter contre la pédopornographie (notamment PhotoDNA, que nous évoquions depuis notre lecture du livre de Tarleton Gillespie). Depuis, la prévalence de ces outils n’a cessé de s’étendre : pour identifier les « terroristes » (selon les propres définitions des plateformes) et pourraient demain s’étendre aux insultes à l’égard d’hommes politiques… L’expansion du rôle des filtres risque d’être sans fin et surtout sans point d’arrêt !

Les forces du marché sont censées contenir le pouvoir commercial privé. Lorsqu’elles ne suffisent pas, les démocraties usent plutôt du droit de la concurrence plutôt que de chercher à établir des règles gouvernementales pour les entreprises. Quand elles nuisent trop, les autorités les taxent pour financer des mesures correctives, comme elles le font à l’égard des entreprises qui polluent ou des fabricants de cigarettes. Les tribunaux peuvent également les obliger à prendre des mesures… Mais à l’égard des plateformes, nous ne suivons pas ce schéma où le gouvernement fixe les règles et les entreprises les suivent. Pire, souligne-t-elle : les plateformes peuvent bloquer des discours que les autorités n’ont pas le pouvoir de restreindre, ce qui peut plaire à nombre d’entre elles. Finalement, pour contourner les limites du droit, le risque est de donner plus de pouvoir aux plateformes, ce qui menace de renoncer à une réelle contribution démocratique qu’on pourrait leur demander : comme de mieux surveiller et publier les pressions qu’elles reçoivent des gouvernements.

Les entreprises privées remodèlent les normes d’expressions par à-coups, souvent brutalement, et non pas d’une manière progressive et prudente comme le ferait un tribunal ou un législateur. Le risque est que nous renoncions à des protections réellement constitutionnelles, elles, et à des aspects majeurs d’une ouverture démocratique de leur gouvernance.

Connaissez-vous le GIFCT, acteur majeur de la modération mondiale ?

Dans un article pour Slate, Chloe Hadavas (@hadavas) donne un exemple assez concret des lacunes démocratiques auxquelles ces plateformes nous confrontent. En 2017, Facebook, Microsoft, Twitter et YouTube ont créé une association – et une base de données -, le Global Internet Forum to Counter Terrorism (GIFCT, @GIFCT_official, Forum mondial de l’Internet pour la lutte contre le terrorisme) qui a pris en quelques années une importance majeure en matière de modération. Cette base de données pour coordonner la suppression de contenus relatifs à l’imagerie et la propagande terroriste violente produit une liste noire de contenus partagés entre les plateformes.

Le problème, c’est la grande opacité de son fonctionnement !, explique Hadavas. Aucune des décisions relatives au contenu n’est transparente et les chercheurs n’ont pas accès à cette base. Les règles que le consortium prend sont privées : il définit ce qui est et n’est pas un contenu terroriste, sans avoir à rendre des comptes, au risque de bloquer des reportages sur le terrorisme ou sur les violations des droits de l’homme. Le GIFCT ne force pas les plateformes à retirer les contenus qu’elle signale, mais c’est en réalité le cas, notamment parce qu’elles n’ont pas toujours les ressources suffisantes pour réévaluer les contenus que le GIFCT leur signale. Sous la pression de l’Appel de Christchurch, ce sommet politique entre gouvernements et entreprises pour lutter contre les contenus terroristes en ligne après la fusillade en Nouvelle-Zélande, le GIFCT a annoncé en 2019 qu’il allait remanier sa structure interne, notamment son comité consultatif indépendant en intégrant des représentants de plusieurs gouvernements (à savoir le Canada, la France, le Japon, le Kenya, la Nouvelle-Zélande, le Royaume-Uni et les États-Unis) pour le rendre plus responsable.

Le 30 juillet 2020 pourtant, le Center for Democracy and Technology (@CenDemTech) et 14 autres organisations de défense des droits de l’homme ont adressé une lettre à Nick Rasmussen, le directeur exécutif du GIFCT, s’inquiétant de son manque de transparence et de la participation déséquilibrée de certains gouvernements au Comité consultatif du GIFCT – au détriment d’autres ! Rappelant que les programmes de lutte contre le terrorisme et la surveillance ont violé les droits de certains pays et religions voire ont été utilisé par des gouvernements pour faire taire la société civile, les associations ont demandé à ce que « les limites entre la modération du contenu et le contre-terrorisme soient éclaircies ». Le risque est bien sûr que les plateformes décident demain de supprimer des données sous la pression de gouvernements pour imposer une censure qui ne serait pas légale autrement.

L’enjeu est de savoir comment tenir les décisions prises par le GIFCT comme responsables. Pour beaucoup, le consensus veut que le GIFCT serait plus digne de confiance s’il était plus transparent qu’il n’est. En juillet 2019 (puis en 2020), il a publié ses rapports de transparence en détaillant le fonctionnement d’un outil qui permet aux plateformes d’indiquer quand une image/vidéo/URL ne devrait pas figurer dans sa base de données. Mais c’est bien insuffisant, estime Daphne Keller, qui souhaite que des chercheurs puissent avoir accès à des copies du contenu réel bloqué par le GIFCT, pour mieux évaluer leurs biais et erreurs, ou offrir des possibilités de recours des utilisateurs lorsque leurs contenus sont bloqués par ce système. Enfin, d’autres réclament que le rôle du comité soit plus clair, notamment qu’il reste vraiment consultatif. Pour Keller, le GIFCT illustre combien la question de la responsabilité des plateformes s’avère glissante dans la pratique. Une poignée de plateformes ont créé des systèmes opaques et puissants qui appliquent des règles qui ne sont pas la loi pour contrôler les discours en ligne ! Le risque est bien que nous multiplions demain ce type de procédures et d’institutions spécifiques qui n’ont de compte à rendre à personne ! Et que ce qui n’est pas la loi devienne une norme…

Le conseil de surveillance de Facebook en ses limites

C’est en grande partie le risque que fait peser également le fameux conseil de surveillance de Facebook mis sous les projecteurs récemment pour sa décision très attendue sur l’éviction de Donald Trump. Le conseil de surveillance a donc décidé, début mai, de maintenir la « déplateformisation » de l’ancien Président, expliquait TechPolicy.press (@techpolicypress), mais en renvoyant l’entreprise à motiver et mieux délimiter la sanction. Le conseil de surveillance de Facebook a cependant approuvé les décisions prises par l’entreprise – même s’il a demandé des explications sur celles-ci. Le conseil a recommandé d’améliorer le recrutement de son personnel de modération notamment ceux spécialisés dans le traitement des utilisateurs influents, de clarifier la politique qui permet à certains utilisateurs d’échapper aux contraintes qui pèsent sur tous en raison de leurs statuts.

Pour Jordan Guiao (@jordanguiao), chercheur au Centre australien pour la technologie responsable (@CnrtResponsTech), dans une tribune pour TechPolicy, cette décision montre surtout les limites de l’exercice d’autorégulation. Pour lui, si Facebook est si incapable de traiter ces questions, c’est bien parce que sa plateforme n’a pas été conçue pour ça et que Facebook reste dominé par ses intérêts commerciaux. En Australie, le récent conflit entre Facebook et la presse a laissé des traces explique le chercheur, qui, comme Ethan Zuckerman ou Eli Pariser (que nous évoquions il y a peu), milite pour des réseaux sociaux de services publics. Plutôt que de perdre notre temps à réguler Facebook, nous devrions surtout prendre le temps de construire des solutions nouvelles et différentes. Comme le pointait le professeur de littérature Dennis Tenen (@dennistenen) sur The Reboot (@ProjectReboot) –repris et traduit par ,Mais où va le web ? -, la modération n’est pas universelle et nécessiterait d’être bien plus maîtrisée par la communauté et le contexte, selon les fins qu’elles poursuivent, plutôt que d’être conçue d’une manière totale et industrielle, qui impose un régime de modération sans nuance, sans discussion, sous forme d’un régime universel qui n’est ni transparent ni démocratique.

En février, le New Yorker est revenu en détail sur la construction du conseil de surveillance de Facebook dans un article qui en éclaire justement les limites. Son auteure, Kate Klonick (@klonick) a suivi son déploiement (avec l’autorisation de Facebook).

Au début, rappelle-t-elle, FB n’avait aucune idée sur la manière dont ce conseil devait fonctionner. Pour trouver des idées, elle a organisé des ateliers avec des experts du monde entier sous la supervision de Zoe Darme, à l’époque responsable de l’équipe gouvernance de FB, en donnant aux participants des cas concrets à modérer. Pour Klonick, ces exemples, dans leur ambivalence même, soulignaient combien l’incertitude et la difficulté à produire des règles claires était difficile, d’autant que les « intuitions » sur la liberté d’expression varient considérablement selon les clivages politiques et culturels. Au final, les opinions des experts se sont révélées assez contradictoires : dans un atelier à New York, 60 % des participants ont voté pour le rétablissement d’une image d’une femme souriante accompagnée d’une bulle où était inscrit « Tuez tous les hommes », en y voyant surtout de l’humour, alors qu’à Nairobi, seulement 40 % ont voté pour son rétablissement. Pour Zoe Darme, la raison tient peut-être plus à des questions de respect de l’État de droit : là où il est moins respecté, la liberté d’expression l’est moins également… Pas sûr que ce soit la seule explication…

« L’idée que FB, à l’instar d’une république naissante, ait besoin d’instituer des réformes démocratiques, aurait pu paraître saugrenue il y a 10 ans », explique Klonick. En 2009, FB avait lancé un référendum portant sur la modification de ses conditions d’utilisation où seul 0,32 % des utilisateurs avaient voté. L’entreprise promettait alors de donner plus de pouvoir à ses utilisateurs… Elle en est largement revenue. Alors que de plus en plus d’utilisateurs rejoignaient les plateformes de réseaux sociaux, les entreprises ont instauré de plus en plus de règles pour assainir le contenu et maintenir l’expérience qu’elles proposaient la plus agréable possible. Mais cela s’est complexifié à mesure que le nombre d’utilisateurs a progressé.

L’idée du conseil de surveillance est venue d’un professeur de droit de Harvard, Noah Feldman. Pour lui, les médias sociaux devaient créer des systèmes quasi juridiques, une sorte de « tribunal d’entreprise », afin de traiter les questions difficiles liées à la liberté d’expression. Zuckerberg a soutenu l’idée devant son conseil d’administration dubitatif et partagé, en expliquant qu’un conseil d’experts serait le mieux placé pour prendre les décisions difficiles auxquelles l’entreprise était de plus en plus confrontées. Il a lancé le projet. La charte du conseil de surveillance et ses règles de procédures, rédigées par des experts et employés de FB, ont, de réunion en réunion, été nettoyées de leur emphase juridique pour devenir plus accessibles. Les rouages de l’instance ont été mis en place : composée d’une vingtaine de membres, très bien payés, pour une quinzaine d’heures de présence par semaine. Une commission choisit les cas les plus représentatifs des 200 000 publications qui posent problème chaque jour et les soumet à une partie des membres réunis anonymement pour qu’ils statuent.

L’utilisateur incriminé doit déposer un mémoire écrit pour sa défense. Un représentant de l’entreprise dépose un argument pour expliciter la décision de l’entreprise. Le panel décide et FB exécute la décision prise. Actuellement, les utilisateurs peuvent faire appel en cas de suppression de leur publication (take-downs), mais pas quand elles sont laissées en place (keep-ups) – or un grand nombre de problèmes signalés sont bien souvent maintenus en ligne. Les utilisateurs ne peuvent pas non plus faire appel sur des questions comme la publicité politique, les algorithmes ou la déplateformisation de pages de groupes (mais FB a annoncé qu’il devrait permettre d’élargir l’appel des décisions par les utilisateurs)… Quant au conseil, il ne peut prendre des décisions que sur les affaires que lui renvoie FB, pas de sa propre initiative. Autre limite : les décisions du conseil ne deviennent pas une politique ! C’est-à-dire que si le conseil supprime ou rétabli un contenu, cela n’oblige pas FB a retirer ou maintenir les publications similaires (cela reste à la discrétion de l’entreprise). Enfin, les recommandations politiques du conseil ne sont que consultatives, ce qui en limite la portée, mais, malgré tout, entrouvre une fenêtre inédite de pression publique sur la politique de l’entreprise.

Klonick s’amuse également des discussions qui ont eu lieu pour choisir les membres de ce conseil de surveillance et notamment des innombrables pressions reçues. Dès les premières annonces, les controverses ont fleuri. En mai 2020, sa composition a été annoncée, déclenchant l’ire de certains, notamment du président Trump, sans que FB ne cède à ses pressions. Les détracteurs restent néanmoins nombreux. Pour la professeure de droit Julie Cohen (@julie17usc), ce panel de stars somptueusement rémunérées n’a aucun intérêt et ne peut se prononcer sur les problèmes les plus fondamentaux de FB. Pour Zuckerberg, FB va avoir besoin d’institutions et de surveillance supplémentaire. Créer des produits pour communiquer n’est pas le même travail que gouverner une communauté, expliquait-il directement à Klonick pour justifier de la création du conseil.

En avril 2020, les membres du conseil se sont réunis pour la première fois (sur Zoom !) et ont suivi une formation pour se connaître les uns les autres et sur les normes en matière de modération de FB. En octobre, FB a (entre)ouvert la possibilité d’appels (à 5 % des utilisateurs choisis aléatoirement). En novembre, le conseil a reçu ses premiers cas.

Un des cas traités était une photo d’église détruite en Azerbaïdjan par un utilisateur se plaignant de l’agression du pays à l’encontre des Arméniens. FB avait supprimé le post sous prétexte qu’invitait à la haine. Certains membres du conseil ont trouvé étrange d’appliquer cette règle dans le cas d’une publication se plaignant d’un groupe dominant en conflit avec un autre. Mais le conseil a finalement voté pour la suppression du message.

Dans un autre cas – une vidéo et un texte provenant de France se plaignant que le gouvernement avait refusé d’autoriser l’hydroxychloroquine contre le Covid-19 -, que FB avait supprimé pour ne pas promouvoir l’automédicamentation, les discussions ont été nourries. D’un côté des membres soulignaient que FB devait combattre la désinformation, de l’autre, des membres ont souligné que la publication prônait un changement de politique et donc relevait d’un risque de censure de discussions politiques. Le médicament n’étant pas en vente libre en France et ne pouvant donc pas promouvoir l’automédication, le conseil a finalement décidé de ne pas le censurer et de restaurer la publication.

Quelques semaines plus tard, alors que les protestations Black Lives Matter se répandaient dans le pays, Trump a publié sur FB et Twitter un message menaçant d’envoyer l’armée pour les maîtriser, précisant « quand les pillages commencent, les tirs commencent », une phrase dont la charge raciste est sans équivoque. Twitter a alors signalé à ses lecteurs que le tweet violait ses règles, mais pas FB. Zuckerberg a publié lui-même une déclaration expliquant qu’il ne partageait pas ces propos, mais que c’était aux gens de s’en rendre compte en soulignant dans une interview à Fox News que son entreprise ne pouvait pas être « l’arbitre de la vérité ». Des employés en colère ont organisé un débrayage virtuel face à cette inaction. Quelques jours plus tard, l’un des membres du conseil a suggéré une réunion du conseil au complet qui a débattu du sujet.

Plusieurs membres étaient choqués et souhaitaient publier une déclaration condamnant la décision de FB. D’autres étaient contre le fait de prendre une décision partisane. Après 2 heures de discussion, les membres ont décidé pourtant de ne pas s’exprimer sur cette question.

Face à Trump, comment Facebook s’est pris les pieds dans son opacité

Et puis il y a eu la contestation des résultats de l’élection et la prise d’assaut du Capitole. FB a supprimé deux publications de Trump le jour même. Et le lendemain des événements, Zuckerberg, sur son propre fil FB, a annoncé la suspension indéfinie du compte de Trump. Le lendemain, Twitter l’a banni à son tour. Cette « déplateformisation » comme on l’a appelé a bien sûr fait couler beaucoup d’encre. Certains s’en sont félicités, d’autres ont exprimé leur inquiétude du fait que FB avait fait taire un dirigeant démocratiquement élu. Pour le professeur de droit Eugene Volokh (blog), la cinquième entreprise des États-Unis, en situation de quasi-monopole sur son créneau, a restreint la liberté d’expression d’une personnalité politique auprès des trente millions de personnes qui le suivaient. C’est peut-être très bien… Mais ça reste un pouvoir immense, confiait-il à Klonick. Angela Merkel a qualifié cette suppression de problématique et Navalny, l’un des opposants de Poutine, a dénoncé une censure inacceptable.

En interne, seul FB avait le pouvoir de renvoyer la suspension de Trump devant le conseil de surveillance. Le conseil d’administration a plaidé pour que le conseil de surveillance examine le cas, afin de ne pas porter atteinte à sa jeune légitimité. Le lendemain de l’investiture de Joe Biden, FB a envoyé le dossier au conseil de surveillance. L’article de Klonick se terminait sur les attentes que représentait cette décision. Elles ont été douchées depuis.

Comme le raconte Klonick dans le Washington Post, le réseau social espérait s’en remettre à son instance d’appel, mais ce n’a pas été le cas. Si le conseil a confirmé la décision de bannir Trump, il a demandé que l’entreprise assume davantage la responsabilité de ses décisions. FB a dépensé 130 millions de dollars pour mettre en place ce conseil (pour assurer son fonctionnement pour une durée de 6 ans), rappelle Klonick.

Pendant des années, rappelle-t-elle, FB a maintenu des conditions exceptionnelles pour laisser Trump s’exprimer, alors qu’en regard de sa politique, il aurait dû être censuré depuis longtemps. « Lorsque vous accordez des exceptions aux personnes les plus puissantes du monde, elles abusent de leur pouvoir », alors qu’appliquer la même justice pour tous reste une des plus puissantes boussoles collectives qui soient. Le 6 janvier, ces petits accommodements ont finalement explosé au visage de l’entreprise.

Dans sa décision, le conseil rappelle finalement que FB n’a pas utilisé de règles claires, notamment parce que l’entreprise n’a cessé de les modifier à la volée, ce qui n’est pas conforme ni aux règles ni à l’équité. Il a expliqué que si FB voulait exclure Trump de façon permanente, c’était à l’entreprise de créer les règles pour cela. Le conseil rappelle que le manque de transparence de FB sur ses propres règles lui est préjudiciable et a demandé à l’entreprise de répondre sur la façon dont les décisions concernant les utilisateurs influents sont prises… Elle a aussi demandé à ce que FB éclaircisse comment ses algorithmes avaient amplifié les messages de Trump – mais pour l’instant, FB a refusé de répondre à cette question. Cette remarque est certainement la plus importante de l’avis, explique Klonick. « Si FB veut que le conseil de surveillance soit respecté comme tribunal indépendant, refuser de répondre à ses questions n’aidera pas ». Et souligne que l’enjeu principal à toute transparence demeure la question du calcul de la mise en visibilité et invisibilité des contenus.

Dans une longue interview pour The Verge, Klonick précise encore que le conseil rend des décisions anonymes à la majorité, mais éclaire dans ses notes le fait qu’il y ait des opinions divergentes. Elle rappelle à nouveau qu’une des limites du conseil c’est de rendre des décisions très étroites sur la suppression ou non d’un contenu qui ne s’élargissent pas à des contenus similaires, ce qui limite beaucoup sa portée. Le conseil a pourtant le droit de faire des recommandations de politique auxquels FB doit répondre dans les 30 jours pour préciser les raisons qui la conduise à les mettre en place ou pas. Pour le professeur de droit de Harvard, Mark Tushnet, cela reste une forme de contrôle de « forme faible », une pression de réputation surtout. Le conseil ne fait pas le droit. Il ressemble bien plus à un tribunal de première instance qu’à une Cour d’appel ou une Cour suprême !

Ce que souligne la décision malgré tout, c’est qu’une suspension permanente est de facto disproportionnée. Pour Klonick, FB semble effectivement avoir des « règles » différentes pour certaines personnes, mais nous n’avons « ni accès à la liste des personnes concernées, ni ne savons comment elle est gérée, ni bien sûr les exceptions aux règles dont elles bénéficient » – pour autant qu’il y ait vraiment des règles, il est probable, ajouterai-je qu’ils bénéficient surtout de modérateurs/appréciateurs de contenus dédiés par rapport au traitement massifié de tous les autres utilisateurs. En demandant à FB de s’expliquer, le conseil de surveillance a pleinement rempli son rôle.

Depuis, Facebook a fait de nouvelles annonces et enfin répondu au conseil de surveillance. Notamment en annonçant ramener le bannissement de Trump à 2 ans et en annonçant de nouvelles règles (avec des sanctions plus strictes, hiérarchisées et croissantes) pour les « personnalités publiques », explique FastCompany. Reste que la réponse de FB demeure floue : « Nous autorisons certains contenus dignes d’intérêt ou importants pour l’intérêt public à rester sur notre plateforme, même s’ils sont susceptibles de violer nos normes communautaires » et n’explique toujours pas qui sont les utilisateurs influents qu’il distingue du commun des mortels et qui vont continuer à recevoir un traitement particulier et accéléré pour mieux saisir leurs intentions et la réception de leurs propos. Comme le constate le chercheur Olivier Ertzscheid (@affordanceinfo2) dans une tribune pour Libération, c’est un revirement pour FB puisque désormais tout propos pourra être modéré… mais ce revirement date surtout des conséquences des décisions du 7 janvier, plus que de la réponse de FB. Pour autant, les personnalités publiques ne sont pas encore ramenées au rang de simples utilisateurs, et encore une fois, si tout propos peut-être modéré, il n’en sera pas de même si vous êtes riches et puissants que pauvre et malade !

En 2019, Klonick avait publié un article pour comprendre depuis quels critères FB pouvait définir un statut spécifique de personnalités publiques « dignes d’intérêt ». Mais « dignes d’intérêt pour qui ? » interrogeait-elle avec perspicacité. Ici, le conseil de surveillance rappelle soit que FB devrait supprimer ces exceptions soit être clair à leur sujet.

Pour Klonick, la suite des débats sera intéressante. Il est probable que le conseil s’oppose de plus en plus à FB, s’isole et finisse par s’éteindre à son terme. Mais, malgré ses innombrables limites et son pouvoir circonscrit, le conseil de surveillance de FB pourrait aussi montrer aux autorités qu’on pourrait exiger de toutes plateformes une instance de ce type – le Canada d’ailleurs envisagerait de rendre obligatoire la création de conseils de surveillance pour les plateformes de médias sociaux, avance-t-elle un peu rapidement dans l’interview, mais le projet de loi C-10 pour modifier la loi sur la radiodiffusion dont il semble être question n’avance pas ce type de propositions. Reste à savoir, suggère encore Klonick si le conseil de surveillance (de FB, mais qui ne le porte pas dans son nom officiel), va rester le conseil de surveillance de FB ou si finalement, comme l’induit son nom, il ne pourrait pas devenir une autorité pour toutes les plateformes… Twitter, qui ne s’est pas doté d’autorité de ce type, pourrait demain déverser également une somme équivalente dans la société indépendante créée par FB pour former son propre conseil… Pour Klonick, la diversité des politiques de modération des plateformes, leurs positionnements, leurs rôles et leurs différences algorithmiques sont certainement essentiels. Dans un scénario de fusion des conseils de surveillance, le risque est aussi que les normes soient partout les mêmes… Pire : l’idée qu’une entité unique contrôle demain la libre expression des États-Unis et du monde est certainement une perspective plus problématique qu’autre chose.

Et Klonick de rappeler que seulement 7 % des utilisateurs de FB sont américains ! FB impose des normes au monde entier alors que celles-ci sont décidées par une population qui n’y est même pas majoritaire ! Que FB décide de la nature de ses politiques, soit. Mais ce qui importe, c’est qu’elles soient justes, cohérentes, proportionnées, équitables. Or, les résultats injustes semblent plus la norme que l’exception, avance Klonick, qui explique que le taux d’erreur sur les décisions de modération de contenu serait de 80 % [en fait, ce chiffre semble issu d’un article d’analyse de la décision du conseil de surveillance par le Center for Democracy & Technology qui souligne que 25 contenus postés sur le compte de Trump ont été marqués comme contraires aux standards de FB, mais que suite à leur examen, seulement 5 d’entre eux ont été retenus comme contraires aux standards, ce qui révèle un taux d’erreur dans l’application des standards de 80% ! Et les auteurs de généraliser ce taux d’erreur aux décisions de retraits qui impactent tous les utilisateurs… – qui ne bénéficient pas du même traitement de vérification que les utilisateurs « dignes d’intérêt » – en rappelant d’ailleurs que FB, dans ses rapports de transparence, n’est pas très clair sur son taux d’erreur, ni sur le taux de contenus rétablis, NDT]. Dans son avis, souligne encore Klonick, le conseil de surveillance pointe le rôle du comité discret qui écrit, modifie et réécrit les règles de modération de FB à assumer son rôle politique. Pas sûr que ce soit pourtant la piste que poursuivra l’entreprise ! Jusqu’à présent, ces instances internes qui précisent et peaufinent les règles de modération, quand elles existent, ont toujours été éminemment discrètes et particulièrement protégées.

« Une plus grande modération des contenus ne signifie pas une meilleure modération »

Très concrètement, l’IA est toujours aussi nulle pour modérer les discours de haine, soulignait la Technology Review, depuis une étude (.pdf) qui a testé 4 systèmes distincts de modération en montrant que tous avaient du mal à distinguer les phrases toxiques des phrases inoffensives. Pour accomplir leur étude, les chercheurs ont mis au point 29 tests différents, afin de mieux déterminer où chaque système échoue, et ont distingué 18 types différents de discours de haine et 11 scénarios qui n’en relèvent pas et qui piègent souvent les systèmes automatisés (comme l’usage de jurons, la récupération d’insultes en contre-discours…), ainsi que des modèles spécifiques pour les groupes protégés par les lois contre la discrimination américaines. Pour chaque catégorie, ils ont créé des exemples modèles et une base de données, HateCheck. Ils ont ensuite testé des services commerciaux, comme Perspective de Google Jigsaw (utilisés par Reddit, le New York Times et le Wall Street Journal) ou SiftNinja de Two Hat. Leurs résultats soulignent la difficulté du curseur : « Modérez trop peu et vous ne parvenez pas à résoudre le problème ; modérez trop et vous pourriez censurer le type de langage que les groupes marginalisés utilisent pour s’autonomiser et se défendre ». Les catégories d’exemples produites devraient permettre d’améliorer les modèles, estiment cependant les producteurs d’outils testés.

Mais peut-être que la solution est à chercher non pas dans l’amélioration de la modération automatisée, mais dans l’amélioration des interfaces elles-mêmes ? C’est ce que montrent des chercheurs de l’université de Washington (voir l’étude) qui ont travaillé à trouver des idées de conception pour rendre les conflits sur Facebook plus « constructifs ». « Même si les espaces en ligne sont souvent décrits comme toxiques et polarisants, les gens souhaitent avoir des conversations difficiles en ligne », explique Amanda Baughan (@amanda_Baughan). Aujourd’hui, les désaccords produisent surtout des engueulades et se terminent bien souvent par des blocages ou suppressions mutuelles. Parmi les story-boards de propositions, les interfaces pourraient proposer de passer en conversation privée quand les propos s’enveniment – ce qui se passe assez souvent – ou encore de faire remonter les commentaires les plus constructifs (ce que les likes et les modalités d’affichages par importance, permettent souvent de faire déjà), ou encore d’ouvrir un écran d’alerte quand les réponses qu’on s’apprête à poster détectent des mots violents ou encore des modalités qui mettent les réponses en attente pour permettre à leurs auteurs d’y réfléchir, comme pour ralentir les conversations.

Pas sûr que ces solutions suffisent pourtant…

Dans Wired, la juriste Evelyn Douek (@evelyndouek) dresse un constat similaire : à mesure qu’elle s’étend, la modération à un coût. La modération de contenu est en train de dévorer les plateformes prévient-elle – peut-être un peu rapidement, vu les profits qu’elles engrangent. Les règlements et politiques à destination des utilisateurs explosent et se complexifient alors que les demandes de régulation par les pouvoirs publics se précisent et s’intensifient aussi. L’élection américaine et les urgences de santé publique ont poussé les mesures à une intensification inédite. Pour la chercheuse, l’époque où Facebook et Twitter se lavaient les mains des problèmes qu’ils généraient, en pensant que les internautes se gouverneraient eux-mêmes, est certainement loin derrière eux. Mais penser que l’on va résoudre tous les problèmes en effaçant chaque jour un peu plus de contenus des réseaux sociaux tient d’une réponse simpliste et inefficace à une question complexe. « Une plus grande modération des contenus ne signifie pas une meilleure modération ». Chaque étape nécessite des compromis et ce n’est pas parce qu’on les ignore qu’ils n’existent pas.

Les plateformes ont agi assez rapidement pour répondre à la désinformation autour de la pandémie et plutôt efficacement estime la juriste, tant et si bien que beaucoup se demandent maintenant pourquoi elles ne sont pas plus efficaces pour combattre d’autres types de fausses informations. Mais pour elles, la désinformation sur le virus était différente, se justifient-elles, notamment parce qu’elles pouvaient se référer à des autorités claires, comme l’Organisation mondiale de la santé (OMS). Cette ligne claire n’a pas tenu longtemps pourtant et elles n’ont cessé d’étendre les garde-fous. Elles ont collé des étiquettes d’information un peu partout, sans qu’on puisse dire qu’elles aient été efficaces. Suite à la crise du Capitole, elles ont même censuré plus que jamais négationnistes et conspirationnistes… jusqu’au président des États-Unis lui-même.

Pourtant, pour beaucoup de commentateurs, les efforts des plateformes restent insuffisants. Les appels à la modération demeurent forts et réguliers et les législateurs n’ont pas cessé leurs menaces. À l’heure actuelle, il n’y a pratiquement pas un seul pays dans le monde qui ne prenne de mesure pour réglementer les médias sociaux d’une manière ou d’une autre. Et les plateformes ne cessent de préciser leurs règles, d’en produire de nouvelles et surtout de développer un empilement de boîtes de modération – et de spécifications pour leurs éboueurs du web – les unes sur les autres (pédocriminalité, terrorisme, nudité…). Reste que depuis que Trump a été réduit au silence et que nombre de complotistes ont été chassés ou sont partis ailleurs, l’angoisse s’est un peu calmée – à croire qu’une grande partie de l’angoisse tenait peut-être plus de la politique que des plateformes elles-mêmes, souligne Douek. Mais l’impressionnante démonstration de pouvoir qu’elles ont montré a laissé des traces. L’idée qu’il existerait une catégorie claire de « fausses informations » a également pris du plomb dans l’aile.

La semaine dernière par exemple, Facebook est revenu sur une de ses décisions et a déclaré qu’il ne supprimerait plus les publications affirmant que le Covid-19 est d’origine humaine ou fabriqué. Pourtant, il n’y pas si longtemps, le New York Times lui-même et toute la presse avec lui, citait cette théorie « sans fondement » comme une preuve que les médias sociaux avaient contribué à une « crise de la réalité ». Au début de la pandémie jusqu’en juin 2020, FB a interdit les publicités pour les masques, jusqu’à ce que l’OMS les recommande. Les médias sociaux semblent s’être surtout beaucoup adaptés à la fois à une science qui s’est faite en marchant et aux erreurs commises par les autorités, sans parvenir à délimiter les limites raisonnables du débat public.

Comme le rappelle la maxime, « la science n’est pas la vérité, mais sa recherche. Quand elle change d’opinion, elle ne nous ment pas. Elle nous dit qu’elle a appris davantage » (voir notamment nos articles : « Naviguer dans les ruines de la réalité consensuelle » et « Une pandémie de données ne soigne pas de la vérité »).

Enfin, les appels à toujours plus de mesures de répression ont également montré qu’elles pouvaient avoir des coûts géopolitiques forts, rappelle Douek. Les gouvernements autoritaires et répressifs ont pu faire référence à la rhétorique des démocraties libérales pour justifier leur propre censure, à l’image du gouvernement indien tentant de faire pression pour que les plateformes limitent les critiques sur sa gestion de la crise Covid au détriment de la liberté d’expression. Pour l’instant, les gouvernements occidentaux ont refusé de regarder ce problème, laissant les plateformes se débrouiller seules face à la montée de l’autoritarisme numérique des gouvernements illibéraux. Le problème, c’est que les plateformes sont en train de perdre ce combat, estime Douek, à l’image de la suspension de Twitter par les autorités nigérianes suite à la censure d’un tweet de leur président. On le voit, la régulation des plateformes ne peut pas conduire à « augmenter la censure ici et la réduire plus loin ».

Enfin, souligne Douek, il reste encore d’autres compromis à faire. « Comme la modération du contenu à très grande échelle ne sera jamais parfaite, la question est toujours de savoir de quel côté de la ligne il faut se tromper lorsqu’on applique des règles ». Le risque est bien sûr de multiplier les règles strictes et la sévérité de leur application notamment avec une modération de plus en plus automatisée. « Ces outils sont brutaux et stupides » : ils ne peuvent pas évaluer le contexte ou faire la différence entre un contenu glorifiant la violence ou enregistrant des preuves de violations des droits de l’homme, par exemple. Les conséquences de ce type d’approche ont été mises en évidence lors de la récente crise du conflit israélo-palestinien de ces dernières semaines, Facebook ayant supprimé à plusieurs reprises des contenus importants provenant de Palestiniens ou les concernant (voir notamment, l’analyse de Mathew Ingram pour la Columbia Journalism Review ou celle du Washington Post qui expliquent que les activistes palestiniens reçoivent le même traitement que les activistes Noirs américains : ils sont bloqués !). Ces cas ne sont pas isolés. Et ces différences de traitements ont toujours tendance à toucher de manière disproportionnée les communautés déjà marginalisées et vulnérables (comme le pointait le travail de la sociologue Jen Schradie).

Pour Douek, le retrait de contenu ne résout pas les problèmes sociaux et politiques sous-jacents, pas plus que la disparition des comptes de Trump n’a fait s’évaporer son emprise sur le parti républicain – même si le monde en ligne parle beaucoup moins de lui (selon une récente étude relayée par le New York Times cependant, depuis son éviction, certains de ses messages sont parvenus à recevoir beaucoup d’attention notamment parce que ses plus fervents partisans continuent de les diffuser, estime le Global Disinformation Index. Malgré ces relais, leur diffusion est tout de même moindre, soulignant en creux l’énorme pouvoir des sociétés de médias sociaux. Le bannissement de Trump ne résout pas la désinformation, mais perturbe ses réseaux et atténue l’influence des individus les plus nuisibles qui se sont réfugiés ailleurs. En tout cas, les réseaux ont retrouvé un certain calme et Trump ne façonne plus seul l’agenda politique de son pays et du monde.

À l’heure où beaucoup d’argent se déverse dans la création de plateformes alternatives, notamment extrêmistes ou complotistes, bien plus permissives, la censure automatisée des contenus des plateformes grands publics risque de s’avérer encore moins efficaces qu’elles ne l’ont été, surtout que ces « petits » réseaux risquent d’être beaucoup plus laxistes dans leur modération.

« Supprimer les contenus ne supprime pas la cause qui les a fait naître », conclut Douek. Il est tentant de penser que nous pouvons modérer la société, mais il va être bien plus difficile de résoudre les problèmes sociaux et politiques dont ils sont l’expression. Les plateformes ne seront jamais en mesure de compenser les défaillances de nos sociétés. Cela ne veut pas dire que les plateformes ne doivent pas continuer à réfléchir à la manière d’atténuer leurs effets néfastes, bien sûr. Toute expérimentation qui n’est pas binaire (laisser ou supprimer) notamment est bonne à prendre, par exemple le fait que Twitter incite ses utilisateurs à lire un article avant de le tweeter, ou le fait de limiter le nombre de fois où l’on peut transférer un contenu depuis une même plateforme (comme le propose WhatsApp). D’innombrables ajustements peuvent être tentés sans que les plateformes ne décident de la vérité à notre place.

Quelles transparences ? Quelles gouvernances ?

On l’a vu avec ces exemples, notamment celui du conseil de surveillance et des politiques de modération de FB comme dans le cas du GIFCT, les questions de transparence et de contrôle démocratique demeurent au cœur des enjeux de régulation de la modération. Reste à savoir comment organiser, très concrètement, le contrôle démocratique d’instances qui risquent de se démultiplier à l’avenir. Reste à savoir aussi de quelle transparence nous avons besoin.

C’est la question que posait Daphne Keller sur son blog. Alors qu’elle écrit depuis des années sur le sujet, elle reconnaissait, avec humilité qu’elle ne savait pas très bien quelle transparence elle appelait de ses vœux. Beaucoup de gens estiment que plus de transparence est un mieux, mais personne n’a une liste claire de ce qui devrait être transparent. « Quelles informations sont essentielles ? Lesquelles faut-il vraiment rendre transparentes ? Quels sont les compromis à faire ? » Cette imprécision est en passe de devenir un problème, alors que nombre d’autorités s’apprêtent à produire des exigences de transparence auprès des plateformes. Or, « ce que la loi n’exigera pas ne sera peut-être jamais plus rendu accessible », reconnait la juriste. Exiger une transparence totale n’est peut-être pas pleinement judicieux d’autant plus que cela a un coût, explique la juriste à la suite d’Evelyn Douek. « Des obligations de transparence très prescriptives pourraient également entraîner une normalisation et une homogénéité de facto des règles des plateformes, des pratiques de modération et des fonctionnalités. » Ce ne sont bien sûr pas des raisons d’y renoncer, mais de pointer que nous devons être plus précis sur ce que la transparence signifie vraiment et concrètement.

Keller a dressé une petite liste « préliminaire et très provisoire » des problèmes que posent les rapports de transparence existants. Pour la chercheuse, par exemple, il est essentiel de savoir avec une grande précision le nombre de demandes d’accès à des données qu’une plateforme reçoit des autorités, comment elle y répond, quel contrôle judiciaire elles produisent. Elle rappelle également que les chiffres ne sont pas tout. Pour comprendre les erreurs ou les préjugés des plateformes sur leurs propres données, il est nécessaire que les chercheurs indépendants puissent voir le contenu impliqué dans les décisions de retrait par exemple.

En 2009, nous nous interrogions avec Lawrence Lessig sur les limites de la transparence. Il nous disait déjà que la transparence nue n’était pas un remède magique. Pour ma part, il me semble que la transparence se rapproche des mêmes problématiques que celles que nous évoquions à propos de l’explicabilité. Plus qu’une liste d’éléments qui doivent être rendus transparents ou d’exigences précises, la transparence relève d’échelles, d’impacts et de multimodalités de niveaux de transparence. Devrons-nous demain définir des transparences « contrastables et actionnables », « sélectives, mais loyales », « techniques et/ou sociales »…, « jouables », selon des échelles allant de « fortes, faibles à inexistantes » ? La transparence nécessite d’être évaluée et appréciée dans toutes ses dimensions, comme une matrice qui permet de mesurer son étendue, sa profondeur et bien sûr ses effets. Ce qui est sûr, c’est que pas plus que les explications, la transparence n’est en rien réductible à une technique, à des listes, mais relève profondément d’un dialogue entre un système et la société. Plus que d’obligations, de droits et de devoirs (de checks-lists ou de systèmes d’évaluation d’impact), c’est bien ce dialogue qu’il va falloir nourrir pour parvenir à dépasser une vision bien trop binaire de la modération…

Dans un article de recherche, Evelyn Douek montrait d’ailleurs très bien que les plateformes ont une politique plus complexe que le mode binaire entre supprimer et laisser faire. Les plateformes ont mis en place nombre de mesures intermédiaires, allant de l’étiquetage à la vérification des faits en passant par les écrans d’avertissements… Des mesures qu’il faut certainement continuer à diversifier, mais dont il est nécessaire aussi d’évaluer les effets.

Pour cela, il est plus que jamais nécessaire qu’elles s’ouvrent aux contrôles indépendants et qu’on évalue leur transparence dans leur complexité, d’une manière dynamique. Pour le dire autrement, la transparence et la gouvernance, comme l’explicabilité, tiennent de pratiques qui doivent évoluer. Ce sont des objectifs vers lesquels les systèmes doivent tendre. Pour cela, il y a certes des modalités dynamiques (publications ouvertes, accès ouvert à la recherche, modalités de contribution des utilisateurs, ouverture de la gouvernance…) qui dépendent chacune d’échelles. Pour évaluer ces paramètres, nous aurions besoin d’une forme de « nutriscore » qui puisse informer de la qualité des explications, de la transparence, de la gouvernance… et qui permettrait de pointer un idéal auquel tendre !

Hubert Guillaud

PS : signalons les très intéressantes études de cas de modération du groupe de réflexion The Copia Institute (@copiainstitute) – découvertes au détour de nos lectures -, qui soulignent très bien par des exemples concrets la difficulté de la modération et montrent les compromis inhérents à toute décision.