« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Dans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Illustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Le risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.

Dans un article de 2018 pour la revue de recherche Information, Communication & Society (@ICSjournal), Rena Bivens (@renabivens) et Amy Hasinoff (@amyadele, auteure de Sexting Panic, University Press of Illinois, 2015, non traduit), livrent une très intéressante analyse des caractéristiques des applications contre le viol.

Les deux chercheuses ont enquêté sur 215 applications pour téléphones mobiles (en langue anglaise) conçues pour prévenir les violences sexuelles. L’enjeu pour elles : comprendre à travers l’examen des fonctionnalités, comment les développeurs comprennent l’intervention dans les problèmes de violence sexuelle ? À qui se destinent ces applications ? Quelles stratégies de prévention sont intégrées dans ces outils ? Quelles idéologies sur la nature, la cause ou la prévention du problème sont intégrées à ces fonctionnalités ?

Dans leur article, les deux chercheuses rappellent que les applications contre le viol s’inscrivent dans une longue histoire de solutions technologiques contre les violences sexuelles. Or, celles-ci relèvent bien plus d’un problème social qui nécessite des efforts systémiques et à long terme, plutôt que des solutions ponctuelles.

Malgré leurs bonnes intentions, ces « solutions » technologiques ont plutôt tendance à exacerber les problèmes qu’elles cherchent à résoudre, expliquent les deux spécialistes. Dans l’ensemble, l’essentiel de ces applications reproduit surtout des mythes que les spécialistes des violences sexuelles réfutent depuis des décennies, notamment le fait que les auteurs de violences sont généralement et très massivement des proches des victimes, très rarement des inconnus. Or, la grande majorité des applications sont conçues pour intervenir lors d’un incident où un étranger attaque soudainement quelqu’un et pour s’éteindre quand l’utilisatrice entre dans un espace sûr, comme son domicile ou son lieu de travail (alors que les dangers sont plutôt là !). Autre problème, ces applications de prévention ciblent surtout les victimes potentielles plutôt que les agresseurs (seul 0,02 % des applications étaient destinées aux agresseurs). Pour les deux chercheuses, ces applications sont surtout conçues pour accroître la vigilance des victimes potentielles, encourageant l’acceptation de mesures de surveillance très intrusives pour elles, et produisent un discours sur les tactiques d’évitement assez culpabilisant pour les victimes potentielles. Les applications reposent sur l’idée que les violences sexuelles peuvent finalement être évitées pour autant que les victimes potentielles soient vigilantes et responsables. Ce qui est loin d’être la réalité.

Des fonctionnalités qui n’adressent pas les problèmes

Nombre d’initiatives, comme l’initiative américaine Apps Against Abuse (une compétition lancée en 2011 par la Maison-Blanche pour imaginer des solutions techniques à l’encontre des violences et abus sexuels) ou l’application Circle of 6 (qui emporta d’ailleurs le challenge), rendent les victimes potentielles comme responsables de la prévention de la violence et se limitent souvent à des conseils standards qui présupposent que les femmes peinent à résister aux agressions (parce qu’elles s’habillent mal, boivent, vont dans des lieux dangereux…). Les deux chercheuses estiment qu’il faut regarder les applications comme des plateformes culturelles et normatives, dont il faut analyser, derrière les choix de conception, les idéologies. Derrière les « bonnes intentions » des solutions, il nous faut comprendre pourquoi aucune de ces applications n’a réduit les violences qu’elles promettaient d’adresser !

Pour analyser les applications, les deux chercheuses ont listé leurs fonctions, leurs actions (comme de pouvoir suivre ses déplacements, enregistrer des éléments, alerter une autre personne…) et leur stratégie de prévention (à savoir si elles proposent des formes d’intervention ou plutôt des éléments d’information…). La majorité des applications visent à alerter d’autres personnes qu’un incident est en train de se produire. Beaucoup délivrent également un matériel d’information et de sensibilisation au risque. Elles sont souvent produites par des institutions éducatives, des ONG voire des services de police. 87 % se destinent aux victimes potentielles, 12 % à ceux qui assistent à des violences et seulement 1 % aux auteurs de violence. 74 % sont principalement conçues pour intervenir en cas d’incident et 26 % proposent d’abord des fonctions d’éducation et de sensibilisation. Pour celles qui proposent des fonctions d’alertes, plus de la moitié visent à alerter une liste de contacts prédéfinis ou à partager des informations sur l’incident avec ces personnes (comme la localisation de l’incident). Une autre caractéristique très commune de ces applications est le bouton d’assistance téléphonique qui permet de joindre soit un centre d’aide aux victimes d’agression, soit la police, soit les services d’urgences.

Très souvent, leurs fonctionnalités proposent, en cas de risque, de renforcer la surveillance de la victime potentielle pour détecter les signes d’incidents que ce soit en activant le GPS, l’enregistrement audio, la capture d’images ou le détecteur de mouvements… qui sont alors partagés instantanément ou stockés. D’autres fonctions visent à créer des formes d’évitement, c’est-à-dire par exemple, des modes furtifs, comme de faux écrans d’accueil, des alertes silencieuses, des systèmes de messagerie qui se masquent dans des jeux… Les applications centrées sur l’éducation et la sensibilisation proposent surtout des informations statiques et statistiques sur la violence, les signes d’alerte, les contacts sur les organisations de soutiens ou des exercices pour réduire son stress… D’autres proposent des moyens pour éviter les personnes et lieux dangereux ou pour les signaler et les géoréférencer…

Les applications destinées à ceux qui sont témoins de violence sont surtout axées sur l’éducation et la sensibilisation, la surveillance de milieux spécifiques et la collecte de preuves. Plus rares sont celles qui invitent à l’intervention des témoins, notamment en apportant des conseils pour entraver les actions d’un agresseur potentiel.

Très peu d’applications sont conçues pour les auteurs de crimes (6 sur 205). Le moins qu’on puisse dire, c’est qu’elles semblent particulièrement étranges. L’une d’elles, Consenting Adults, vise à fournir un accord explicite avant de s’engager dans des activités sexuelles, comme pour mieux protéger les agresseurs potentiels.

Des solutions qui semblent n’avoir jamais vu la moindre victime

Au terme de cette étude, les deux chercheuses expliquent que l’essentiel de ces applications renforce deux mythes : celui que la violence sexuelle est principalement perpétrée par des inconnus et que les victimes potentielles sont responsables de la prévention de cette violence. Autant dire qu’elles risquent surtout de contribuer au problème plus que de l’atténuer !

Les fonctionnalités sociales de ces applications ne voient les relations sociales que comme de possibles intervenants d’urgence plus que comme des moyens de relever les niveaux de vigilance ou d’engagement citoyens… Les principales fonctions de ces applications, à savoir le fait de pouvoir contacter d’autres personnes pour obtenir de l’aide ou pour surveiller l’agression ou la victime, ont peu de chance d’être efficaces contre les attaques perpétrées par des auteurs connus des victimes. Aucune de ces solutions ne s’attaque aux formes de coercition, de manipulation émotionnelle, d’abus, de relations de pouvoir dont sont réellement victimes les victimes. Quant à la surveillance géolocalisée, elle n’offre pas beaucoup d’appui quand on sait que l’essentiel des crimes a lieu dans les espaces familiers.

Surtout, expliquent les chercheuses, ces solutions créent une culture de la peur qui n’est pas adressée au bon endroit. Beaucoup de conseils qu’elles délivrent incitent finalement à intérioriser un contrôle social, comme de réduire sa mobilité, faire attention à son comportement… Au final, elles blâment surtout les victimes reprenant les messages dominants, à savoir que c’est aux victimes d’être responsables… Les concepteurs d’application considèrent majoritairement que les actions individuelles des victimes potentielles sont les meilleures voire la seule réponse au problème, renforçant l’idée qu’elles sont les seules à pouvoir se défendre ! Quand les applications font participer les témoins, elles se focalisent majoritairement sur les situations d’urgence. Finalement, en n’invitant pas à intervenir dans nombre d’autres situations problématiques, elles limitent l’intervention, mettent l’accent sur des moments isolés, particuliers, sur une forme d’héroïsme, sans voir combien le problème tient surtout d’une violence normalisée, minimisée et qui se déroule dans nos interactions les plus quotidiennes. Au final, dans ces applications, si les incidents ne sont pas extrêmes, ils ne sont pas considérés comme des problèmes ! Pour les deux chercheuses, les dispositifs d’intervention n’adressent pas le problème social fondamental des inégalités des rapports de genre. Pire, pourrait-on ajouter, les caractéristiques des outils soulignent combien ceux en charge de leur conception semblent finalement n’avoir jamais croisé la moindre victime d’abus, et n’ont jamais associé celles-ci aux solutions qu’ils proposent.

Dans la dernière partie de leur article, les deux chercheuses relèvent le défi de faire des propositions. Sur la question de la prévention, les deux chercheuses rappellent que beaucoup de programmes de formation à destination des victimes consistent à apprendre des compétences d’autodéfense verbale et physique pour mieux résister aux agresseurs connus. Si ces programmes ont également des limites (on sait qu’il est difficile pour les victimes de s’opposer à des personnes qui abusent d’elles et qui ont souvent des formes d’emprise ou de pouvoir sur elles), cette piste est totalement absente des applications existantes. « Les applications qui traitent les violences sexuelles comme une catastrophe imminente ne contribuent pas à éliminer le problème social des violences sexuelles ».

Les programmes de prévention de la violence à l’encontre des prédateurs, eux, sont souvent multimodaux. Ils impliquent parents, pairs, éducateurs et surtout des figures d’autorité modèles. Ceux qui ont des résultats positifs permettent de critiquer et démonter les stéréotypes de genre ou d’acquérir des compétences pour gérer les relations et conflits tout en augmentant l’empathie à l’égard des victimes. Reste que le public des prédateurs est certainement difficile à adresser en dehors des programmes de rééducation spécifiques… Quant aux témoins, des applications de sensibilisation et de formation à l’intervention seraient peut-être là aussi plus efficaces pour améliorer la sensibilité à la large gamme des violences existantes et à mieux intervenir, dans le réel, comme sur les réseaux sociaux, lorsqu’ils sont témoins non pas seulement de violences, mais plus largement de comportements déplacés. Elles soulignent également qu’il est possible de documenter et construire des stratégies responsables à l’égard des comportements abusifs au travail ou dans des communautés spécifiques, là encore via des programmes de formation spécifiques que des applications pourraient encadrer. La force de ces propositions consiste justement à ne pas seulement répondre aux violences les plus graves, mais de tenter de changer les normes et attitudes sociales qui autorisent et permettent nombre de formes de violences à l’égard des femmes.

Comprendre les idéologies de la conception

Dans un article bien plus récent, pour le Journal of Digital Social Research (@jdsr_journal), les deux chercheuses proposent une méthode pour analyser le rôle de l’idéologie dans la conception d’applications. « Les solutions proposées par les développeurs (pour résoudre un problème) reflètent surtout la façon dont ils pensent que les utilisateurs et autres parties prenantes comprennent le problème ». Pour elles, en analysant le fonctionnement des outils que les designers proposent (comme elles l’ont fait plus tôt en observant le scope des applications de lutte contre le viol), ont peu révéler la façon typique dont les développeurs et innovateurs pensent résoudre un problème. Pour cela, il faut observer le contenu, les interfaces, les fonctionnalités, les affordances des outils… Elles proposent donc une méthode pour « analyser les caractéristiques » de solutions techniques dédiées à un problème spécifique. Un moyen de comprendre les normes, les hypothèses et les idéologies culturelles qu’elles recouvrent.

La méthode est très proche de celle exposée dans leur étude sur les applications de viol. Elle consiste à identifier les outils, puis à identifier et classer les fonctionnalités que ces outils mettent à disposition, puis à catégoriser comment les fonctionnalités adressent le problème en s’intéressant aux actions qu’elles proposent. Enfin, elles proposent d’utiliser la conception spéculative pour imaginer des alternatives. Elles invitent également à étudier les développeurs, à être attentifs aux publics auxquels ces outils s’adressent. Peut-être oublient-elles un peu rapidement l’importance à rappeler les apports de la littérature scientifique sur les questions étudiées, notamment parce qu’elle aide plus que jamais à comprendre combien les outils répondent bien souvent à côté de ce que la science sait.

Cette étude vient compléter des observations que d’autres avaient déjà faites et que nous avions déjà évoquées. À savoir que « les applications pour l’accessibilité des personnes handicapées ne suffisent pas à rendre la ville plus accessible », que celles pour les réfugiés ne répondent pas à leur besoin… À nouveau, pour lutter contre le solutionnisme et l’idéologisme du solutionnisme, nous continuons à avoir besoin des utilisateurs… Le mantra du « Pas pour nous sans nous », consistant à remettre l’usager dans la boucle de la conception, a encore – hélas – bien du mal à s’imposer !

Hubert Guillaud

« La science est un puissant outil politique ». Pourtant, si nous avons appris quelque chose de ces deux années de pandémie, c’est certainement combien elle n’est pas neutre. Combien elle n’est pas à même de régler les désaccords publics… explique le spécialiste de la gestion de risque à la New Mexico Tech Taylor Dotson (@dots_t) dans un lumineux extrait de son livre The Divide : how fanatical certitude is destroying democracy (Le clivage : comment la certitude fanatique détruit la démocratie, MIT Press, 2021, non traduit).

La science est souvent présentée comme pure, exempte de valeurs. De prime abord, la méthode scientifique semble à l’opposé la méthode politique. « La première présente les faits pour se demander quelle conclusion en tirer, quand la seconde présente ses conclusions pour chercher les faits capables de la soutenir ». Dans le rapport entre les deux, le problème à résoudre semble relativement simple : il y a souvent trop de politique et pas assez de science ! Mais c’est encore croire que la science serait quelque chose d’intrinsèquement pur, uniquement corrompue par des forces qui lui sont extérieures. Pour le spécialiste des rapports science-société, Daniel Sarewitz, la science a toujours été façonnée par la société. Archimède, ce scientifique modèle, a surtout fabriqué des machines de guerre, tout comme aujourd’hui la science est largement orientée par les entreprises. Reconnaître ces influences ne signifie pas que tout financement corrompt, mais que de puissants groupes d’intérêts économiques et politiques orientent effectivement la recherche. La science est orientée d’intérêts. La recherche est traditionnellement masculine et bien plus à destination des populations aisées, blanches et âgées qu’autre chose. On dépense bien plus pour les dysfonctionnements érectiles que pour les maladies tropicales. « Les valeurs façonnent la science à presque tous les stades, qu’il s’agisse de décider des phénomènes à étudier ou de choisir comment les étudier et en parler ».

« Qualifier un produit chimique de « perturbateur endocrinien » plutôt que d' »agent hormonal actif » met en évidence son potentiel de nuisance. Les scientifiques font chaque jour des choix chargés de valeurs en ce qui concerne leur terminologie, leurs questions de recherche, leurs hypothèses et leurs méthodes expérimentales, qui peuvent souvent avoir des conséquences politiques. Partout où les spécialistes des sciences sociales ont regardé de près, ils ont trouvé des éléments de politique dans la conduite de la science. Tant et si bien qu’il n’est pas simple de discerner précisément et exactement où finit la science et où commence la politique.

Certaines recherches deviennent problématiques quand d’autres ne sont toujours pas remises en question (comme les partis-pris en faveur de de l’industrie de l’armement que dénonçait brillamment le journaliste Romaric Godin de Mediapart en soulignant combien ce secteur particulièrement aidé ne produisait que très peu d’effets d’entraînement industriel ou de ruissellement d’innovation…). Le fait de considérer la science comme pure jusqu’à ce qu’elle soit politisée de l’extérieur empêche donc un débat plus large sur la question suivante : « Quels types d’influences politiques sur la science sont appropriés et quand ? »

« Améliorer la capacité des femmes et des minorités à devenir des scientifiques ou orienter la science vers des objectifs plus pacifiques ou plus satisfaisants pour la vie est politique dans un sens différent de celui qui consiste à occulter intentionnellement les effets nocifs du tabagisme », explique Taylor Dotson. Reste que pour faire ces distinctions, il serait nécessaire d’arrêter de croire au mythe d’une science apolitique – et en la croyance que la politique pourrait être basée sur LA science. Là encore, l’un des problèmes c’est certainement de croire qu’il n’y en a qu’une ! La pandémie nous a pourtant pleinement montré que la vérité de l’épidémiologie n’était pas là même selon les spécialités médicales d’où on la regardait. Pour beaucoup, il suffirait pourtant de placer des experts à la tête des décisions politiques pour éclaircir les influences que la science subit et mieux révéler une vérité qui serait, elle, impartiale. Mais, explique Taylor Dotson, « la scientisation de la politique repose sur la même hypothèse que les attaques contre la politisation explicite de la science ». Bien souvent, elle vise à dépolitiser les questions publiques qui posent problème.

Pourtant, rappelle-t-il, nous croulons sous les études scientifiques mal menées, mal conçues, aux résultats peu reproductibles ou peu fiables… Une politique guidée par la preuve scientifique ne nous garantit pas vraiment qu’elle soit guidée par la réalité. En fait, on peut largement douter que la science puisse fournir une base solide et indiscutable à l’élaboration des politiques. Reste, souligne Dotson, même si les valeurs et la politique jouent un rôle dans la recherche, la science doit rester un moyen dominant de régler les questions publiques. « Il ne fait aucun doute qu’il est préférable d’avoir recours à certaines recherches scientifiques pour décider d’une question complexe plutôt que de ne pas en avoir du tout. De plus, même si les résultats scientifiques sont parfois biaisés ou même complètement faux, les institutions scientifiques valorisent au moins le fait d’essayer d’améliorer la qualité des connaissances. »

La science s’établit progressivement, par l’accumulation de preuves et de démonstrations qui vont dans le même sens. Mais l’expertise doit toujours pouvoir être balancée et contre-balancée. Et dans ce domaine, rappelle très justement Dotson, la scientisation des controverses publiques empêche souvent de reconnaître que les personnes qui ne sont pas scientifiques ont d’importantes contributions à apporter. À Flint, dans le Michigan, les scientifiques n’ont pas porté beaucoup d’attention aux plaintes des habitants qui signalaient d’importants problèmes de santé jusqu’à ce que les études soulignent qu’ils avaient raison.

Dans la science, les controverses sont nombreuses. Bien souvent, elles sont politiques. Les écologistes sont plus critiques à l’égard des cultures génétiquement modifiées que ceux qui travaillent dans le secteur de la transformation des organismes. Aucun groupe d’experts ne peut donner une analyse complète et juste d’un problème, soutient Dotson. Dans Uncertain Hazards (Cornell University Press, 2001, non traduit), Silvia Noble Tesh explique qu’il est souvent très difficile, voire impossible, de prouver qu’une substance a des effets néfastes sur le corps humain. Les tests sont réalisés sur des animaux pour des raisons éthiques et leurs réactions sont très différentes de celles des humains. La thalidomide par exemple, qui même en quantités infimes produit des malformations congénitales chez l’homme, n’affecte les chiens qu’à fortes doses. De même, il est difficile d’obtenir une mesure précise d’une quantité de toxine à laquelle des gens peuvent être exposés et trop de facteurs favorisent des confusions (tabagisme, autres substances toxiques…) d’autant que les populations exposées tiennent de petits groupes… L’examen approfondi de cas litigieux révèle souvent des perspectives contradictoires plus que des convergences d’opinions. Daniel Sarewitz estime que dans de nombreux cas la science aggrave les controverses plus qu’elle ne les résout, notamment parce que la politique attend des certitudes, quand la science produit surtout de nouvelles questions. La science avance souvent en produisant de nouvelles incertitudes et de nouvelles complexités. On pourrait ajouter aussi qu’elle produit souvent des tendances, plus que nécessairement des certitudes.

En fait, l’un des problèmes de la science est d’introduire ses propres biais. Dans Seeds, Science and Struggle (MIT Press, 2012, non traduit), « la sociologue des sciences Abby Kinchy (@abbykinchy) a constaté que le fait de privilégier les évaluations fondées sur des faits tend à écarter les préoccupations non scientifiques. La controverse sur les cultures génétiquement modifiées est souvent réduite à la seule probabilité d’un dommage évident pour l’environnement ou le corps humain. Pour de nombreux opposants, cependant, les conséquences les plus inquiétantes des cultures OGM sont d’ordre économique, culturel et éthique », et notamment sur les cultures non transgéniques. Pour que le débat reste ancré dans la science, il exclut très souvent ce qui n’en relève pas. Ainsi dans notre réponse scientifique à la pandémie, les considérations médicales se sont faites au détriment de toutes autres considérations, notamment celles liées aux libertés publiques. De même, les débats sur le génie génétique oublient les préoccupations socio-économiques qui vont à l’encontre d’une vision industrielle de l’agriculture. De même, dans le débat sur les voitures sans conducteur, on oublie d’observer si l’avenir de nos déplacements ne bénéficierait pas bien mieux d’un monde de transports en commun…

« La politique scientifique privilégie les dimensions de la vie qui sont facilement quantifiables et rend moins visibles celles qui ne le sont pas ». Les débats scientifiques sont également biaisés quant à la charge de la preuve. Les lobbies d’entreprises exigent que les réglementations les affectant soient prouvées par une science solide, mais cela signifie qu’aucune réglementation stricte ne peut être élaborée tant qu’un préjudice n’est pas démontré de manière concluante – et ce sans compter que les camps n’ont pas toujours le même rapport de force pour élaborer ces preuves. Enfin, les scientifiques peinent souvent à fournir des réponses fermes, notamment face à des phénomènes complexes, comme c’est le cas en médecine ou dans les sciences de l’environnement. Les appels à une science solide finissent par être une tactique dilatoire qui donne un avantage aux produits industriels, et ce malgré leurs risques… Ainsi, « les scientifiques ont appris dans les années 1930 que le bisphénol A, un composant de nombreux plastiques, imitait les œstrogènes dans les cellules des mammifères, mais ce n’est qu’en 1988 que l’Agence américaine de protection de l’environnement a commencé à réglementer l’utilisation du bisphénol A et ce n’est qu’en 2016 que les fabricants ont finalement été contraints de le retirer de leurs produits. » Dans ce cas, pendant des années, les partisans du bisphénol ont fait passer leurs adversaires plus prudents pour des antiscientifiques au prétexte que les faits (c’est-à-dire l’absence de preuve concluante) n’étaient pas établis. Trop souvent finalement « l’absence de preuve est considérée comme une preuve de l’absence ».

Pourtant, chacun semble de plus en plus agir comme si la science pouvait être apolitique, alors qu’actions et discours qui résultent de cette croyance relèvent bien plus du fanatisme que du scientisme. « Dans une culture dominée par le scientisme politique, les citoyens et les responsables politiques oublient comment écouter, débattre et explorer les possibilités de compromis ou de concession les uns avec les autres. Au lieu de cela, nous en venons à croire que nos opposants n’ont qu’à être informés des faits ou vérités « corrects », sévèrement sanctionnés ou simplement ignorés. Il existe sans doute des cas où le fanatisme peut être justifié, mais le scientisme politique risque de transformer tout débat comportant un élément factuel en un débat fanatique. »

Les risques d’une politique factuelle

Dans un long article pour disponible sur The New Atlantis, Taylor Dotson rappelle que pour le philosophe Karl Popper déjà, dans La société ouverte et ses ennemis, la menace à laquelle sont confrontés nos sociétés démocratiques et ouvertes, n’est pas la désinformation ou l’ignorance, mais la certitude. Pour Popper, la connaissance scientifique est par nature provisoire. L’objectivité scientifique ne découle pas tant des qualités cognitives ou de la neutralité des chercheurs, mais de leur engagement critique vis-à-vis de leurs travaux respectifs, dans une forme de dissidence productive. Les ennemis de ce système sont ceux qui insistent d’abord et avant tout sur une certitude parfaite. « La conviction que la désinformation est aujourd’hui la principale menace pour la démocratie nous rend aveugles aux effets pernicieux de la certitude ». Popper promouvait une défense épistémologique de la démocratie, c’est-à-dire l’idée que la démocratie comprend en elle même un ensemble de stratégies pour aider les sociétés à faire face à l’incertitude. Elle met l’accent sur le caractère provisoire des vérités politiques. La politique est le résultat d’un processus de négociation dans lequel les individus se défient les uns les autres, et pas la décision liée à une compréhension supérieure d’une classe d’experts. Popper n’avait pas imaginé que la certitude fanatique descendrait jusqu’aux individus.

Internet permet de choisir son propre chemin de découverte. L’expérience que l’individu y fait lui semble libre, même si les messages, informations et recherches peuvent être sélectionnés par des algorithmes ou présentés de manière partiale. Les médias sociaux promettent une forme de liberté intellectuelle, suggérant que nous pouvons nous débrouiller seuls dans le dédale de l’information. Le scientisme est une théorie simple de l’expertise qui consiste à déléguer les questions spécifiques et techniques aux experts. Le problème, c’est que le scientisme refuse aux non-experts tout rôle dans les réponses spécifiques. Les non-experts se doivent d’écouter la science, comme si les compromis politiques qu’elle produisait n’étaient pas de leur ressort ni problématiques. Depuis que l’expression post-vérité est entrée dans notre vocabulaire, les inquiétudes liées au conspirationnisme ont explosé. Reste que la désinformation et la mésinformation ne s’y réduisent pas. D’abord parce que les conspirations existent et surtout parce que nous sommes en droit d’interroger et critiquer. Bien sûr, le conspirationnisme réduit toutes les questions politiques à des machinations, dans une forme de théorie cynique de l’expertise, où les experts ne servent que les nantis et les puissants.

Conspirationnisme comme scientisme sont tous deux préoccupés par la certitude, estime Taylor Dotson, qui les renvoie dos à dos. Les deux séduisent nos sociétés ouvertes et incertaines en promettant un monde plus simplement ordonné. D’un côté en rejetant les expertises, de l’autre en les adoubant. Pour Dotson, nous devons résister à la tentation de les mettre sur le compte de la personnalité des gens, de leur état mental ou même des médias sociaux. Car les deux tirent leur pouvoir de séduction de la préoccupation de notre culture pour les faits et les données. L’un comme l’autre produit une « politique factuelle », où les citoyens ne débattent plus, ne délibèrent plus, mais consacrent leur énergie à aligner les preuves pour étayer leurs croyances et intérêts. Ils construisent des formes d’intolérance excessives qui sont pour l’un comme l’autre camp, indiscutablement rationnelles et objectives. « Cette politique est pathologiquement pathologisante – c’est-à-dire qu’elle vise à disqualifier les opposants en les diagnostiquant comme pathologiques » Le risque est de transformer tout désaccord en maladie psychique et à en immuniser celui qui fournit le diagnostic. Pire, cela suggère que la seule raison de participer à la politique est d’avoir des opinions fondées sur des preuves. Certes, les preuves et les faits ont une grande importance, mais les valeurs en ont tout autant. Le risque, en masquant nos oppositions sur les valeurs, est de miner nos capacités à délibérer, et finalement à dépolitiser nos désaccords, à leur enlever leur complexité morale et pratique. « Dès lors que nous considérons que la politique est définie uniquement par « les faits », la politique n’existe plus », rappelle Dotson. « La démocratie fonctionne traditionnellement par le biais de la fracturation et de la reformation constantes de coalitions, d’alliances composées de groupes disparates cherchant chacun à transformer leurs propres aspirations en lois. Elle dépend des ennemis précédents qui s’associent et négocient pour conclure des accords, pour atteindre des objectifs communs ». Mais si l’opposition politique n’est considérée que comme le produit de la désinformation ou de l’analphabétisme scientifique, tout compromis devient impossible, irrationnel, puisqu’il consiste à sacrifier la vérité. « Nous nous sommes profondément trompés en croyant que l’ère de la post-vérité pouvait être combattue en redoublant d’efforts en faveur de la science », estime Dotson. Au contraire, le scientisme rend plus difficile l’enjeu à réconcilier des positions antagonistes et qui deviennent méfiantes l’une envers l’autre. La politique factuelle attise le conspirationnisme. « En se retranchant à tout bout de champ derrière le principe « suivre la science », nos dirigeants ont réduit les gens à des vecteurs de propagation de la maladie, à des points de données à contrôler, tout en affichant une attitude indifférente à l’égard de leurs réalités vécues ». Ce « leadership » rend assurément les personnes sceptiques, explique Dotson en se référant à une étude qui s’intéresse à l’impact du leadership sur les croyances conspirationnistes de leurs employés. Les leaderships despotiques – « où les employés se sentent dominés, contrôlés et marginalisés » – nourrissent les craintes. Là où les leaders sont despotiques, les employés sont plus susceptibles de croire que leurs managers sont ligués contre eux. En minimisant le caractère faillible des avis d’experts et la nature provisoire des connaissances, en minimisant le doute, le scientisme alimente le conspirationnisme. Lorsque les erreurs et changements d’avis des experts ne sont pas ouvertement discutés, l’intention malveillante devient souvent la seule explication. La politique factuelle oublie de tenir compte de l’essence même de la politique : à savoir des visions morales différentes, l’évaluation et la recherche de compromis constants. Le scientisme comme le complotisme promettent un monde où la politique serait pure. Tous deux produisent une société fermée aux désaccords politiques.

Pour Dotson, la politique devrait se préoccuper bien plus de connexion que de savoir. Pour l’historienne Sofia Rosenfeld, « ce dont les individus ont besoin, c’est du retour à un type de vie publique qui les oblige à peser et à considérer constamment les choses du point de vue des autres » – or, à tout voir par les données, le risque est de n’embrasser aucun point de vue, comme nous le disaient Lauren Klein et Catherine D’Ignazio. Pour le politiste Benjamin Barber, le discours démocratique fort incorpore « l’écoute aussi bien que la parole, le sentiment aussi bien que la pensée, et l’action aussi bien que la réflexion » Le désaccord est inéluctable. La politique est un processus d’apprentissage qui doit accepter ses incertitudes. « Les experts de la santé n’auraient pas dû décourager aussi vigoureusement le port de masques au début de la pandémie, surtout pas en affirmant avec une confiance aussi mal placée qu’il n’y avait aucune preuve que les masques fonctionnaient. Au lieu de cela, ils auraient dû faire part de leurs préoccupations concernant la pénurie de masques et de leur incertitude quant à l’utilité exacte des masques en dehors d’un hôpital ». Pour Dotson, le déploiement du vaccin restera entravé tant que les experts et les responsables nieront leurs incertitudes les concernant. Les accidents nucléaires du milieu du XXe siècle sont en partie imputables aux faits que les centrales aient été déployées plus rapidement que la reconnaissance de leurs dangers potentiels. Boeing a poussé ses ingénieurs à travailler deux fois plus vite qu’à l’accoutumée pour mettre au point la conception du 737 Max compromettant sa stabilité. L’adoption généralisée de techniques agricoles intensives a généré des problèmes environnementaux imprévus. « La nouveauté, le rythme et l’échelle se combinent pour mettre à l’épreuve la capacité des organisations, même les meilleures, à reconnaître et à corriger les erreurs. »

Dans Dealing with an Angry Public (Free Press, 1996, non traduit), Lawrence Susskind et Patrick Field soulignaient que les colères des publics sont alimentées lorsqu’elles sont minimisées ou sous-estimées. Lorsque les erreurs se produisent – et elles se produisent -, la confiance est bien souvent irrévocablement perdue. « Tant que les experts et les politiques tenteront de forcer le consensus en faisant appel à la science, les préoccupations des citoyens ne feront que croître ». Et Dotson de rappeler, à la suite du livre de l’historienne Nadja Durbach Bodily Matters (2004) que le mouvement de résistance nourri contre la vaccination antivariolique en Angleterre au XIXe et début du XXe siècle a été apaisé en introduisant l’objection de conscience. Pour Dotson, nous devrions apprendre des désaccords et leur laisser de l’espace. Être d’accord est plus la fin de la politique plus que son début, et même ainsi, être d’accord est souvent partiel, provisoire et contingent. Pour lui, en abandonnant l’idée que le consensus doit précéder la politique, nous pouvons promouvoir une gouvernance plus réactive, qui aspire à gagner la confiance progressivement en testant de nouvelles politiques.

Partir de l’expérience des gens pour les amener à considérer les points de vue différents et à créer des liens, fonctionne mieux qu’une approche basée sur les faits ou l’information. Enfin, il souligne qu’il est plus que nécessaire de s’intéresser sérieusement aux expériences de ceux qui hésitent à se faire vacciner. Les Afro-Américains par exemple, sont plus sceptiques à l’égard des vaccins alors qu’ils ont été plus touchés par le virus. Mais leur hésitation est le fruit d’une longue méfiance à l’égard du système médical, lié aux injustices raciales historiques et aux disparités de traitement actuelles, bien plus qu’à leur analphabétisme scientifique ! Le scepticisme vaccinal des personnels de santé s’explique bien plus par le fait qu’ils aient travaillé pendant des mois sans protection efficace et que le système, finalement, ne fait pas de leur bien-être une priorité. « Si notre politique avait été ancrée dans l’appréciation de l’expérience plutôt que dans l’idolâtrie de l’expertise, nous aurions depuis longtemps reconnu que l’hésitation à se faire vacciner n’est pas seulement une question d’ignorance. Nous aurions remarqué les dysfonctionnements plus profonds de notre système médical. »

Enfin, estime Dotson, nous devons ouvrir nos débats à une diversité de considérations morales plutôt que de ne regarder que les modèles épidémiologiques.

Dotson ne semble pas confiant. Remettre l’incertitude, l’expérience et le désaccord moral en politique nécessite un long chemin. Nos dirigeants préfèrent maintenir le cap d’une politique factuelle. Pour résoudre ces difficultés, Helene Landmore propose de transférer davantage de gouvernance à des conseils délibératifs… comme l’a été, en France, la convention citoyenne pour le climat. Encore faut-il entendre ce que ces conventions disent ! Pour Dotson, nous devons trouver la voie d’une démocratie qui cherche moins à avoir raison et qui recherche un peu plus la délibération et l’interconnexion.

Pas sûr que nous en prenions le chemin. Dans un monde où la donnée devient centrale, celle-ci risque de produire beaucoup d’illusion du consensus que d’antagonismes et de diversité.

Hubert Guillaud

« Apprendre à vivre avec le virus » est un message peu rassurant qui nous demande d’apprendre à vivre avec l’incertitude, explique Lauren Collee (@lacollee) dans l’indispensable Real Life (@_reallifemag). « Ce message est aussi effrayant pour les organismes que pour le grand public, car l’incertitude est fondamentalement en contradiction avec le type de rationalisme empirique qui génère des récits rassurants sur la fermeture », c’est-à-dire sur la fin possible de la pandémie. Or, après 2 années de pandémie, le soulagement d’une fin de pandémie ne semble toujours pas à l’horizon.

En psychanalyse, Arie Kruglanski, dans les années 90 a imaginé le concept de « besoin de closure cognitive », c’est-à-dire le besoin de mettre fin à quelque chose pour en évacuer l’incertitude, l’inconfort ou l’ambiguïté. Pour la sociologue Nancy Berns (@nancy_berns), qui a étudié La fin du deuil et ce qu’il nous coûte (Temple University Press, 2011, non traduit), la fermeture est souvent considérée comme essentielle à la guérison ou à l’acceptation. Nous n’avons cessé de nous accrocher à un espoir que le moment Covid s’arrête, que le monde revienne à la normale, comme le fait une tempête. Mais, ni le Covid à court ou moyen terme, ni le réchauffement climatique à long terme n’annoncent de retour à la normale.

Pour la spécialiste de bioéthique, Catherine Belling (@CateBelling), auteure de La condition du doute : le sens de l’hypocondrie (Oxford University Press, 2012, non traduit), nous devrions plutôt prendre mieux en compte l’hypocondrie, c’est-à-dire, derrière notre inquiétude obsessionnelle à la santé, revoir le schéma trop simple qui nous mène d’un symptôme à une guérison. Pour elle, l’hypocondrie n’est pas tant un trouble psychique, que quelque chose d’inhérent à la médecine contemporaine où la connaissance est nécessairement confrontée à son propre doute. Elle n’est pas qu’une façon de se croire malade, mais un terrain d’anxiétés sociétales partagées lié à un système médical qui se pense plus omniscient qu’il n’est ! L’hypocondriaque est le reflet sombre de la biomédecine, explique-t-elle. Il pose la question de ce que l’on sait et de ce que l’on ne sait pas. Nous avons tous eu l’impression depuis le début de l’épidémie d’avoir plusieurs fois eu les symptômes du Covid. Nous sommes nombreux à être inquiets dès que quelqu’un tousse ou expectore à nos côtés ! Pourtant, l’hypocondriaque est bien le contraire du malade chronique : il ne cesse de chercher obsessionnellement une fin à ses symptômes, quand le malade chronique sait lui combien le mot guérison est un piège. Et pourtant, l’hypocondriaque ne parvient pas à fermer la page, à clore son rapport à ses angoisses médicales. Pour Belling, l’hypocondrie est finalement la condition d’un être humain rationnel dans une société médicalisée aux connaissances par nature instables. Pour l’hypocondriaque, le diagnostic du médecin est lu en relation avec nombre d’autres informations. La fermeture du diagnostic semble alors plus difficile à accepter. Comme si plus d’informations ne conduisaient jamais à plus de certitudes. Ici, l’internet n’a pas changé la donne, au contraire, comme nous le pointions nous-mêmes. Même si nous percevons l’information comme un narrateur omniscient, nous sommes surpris de constater qu’il ne peut pas toujours répondre à nos questions, comme le pointait très bien Linda Besner dans un précédent article de Real Life sur ce que nous ne pouvons pas googliser et les réponses que ne nous apportent pas l’information. Pour Belling, les récits de santé publique s’appuient souvent sur des conventions narratives assez linéaires. À l’heure où les vaccins montrent qu’ils ne sont pas la solution miracle attendue et que rien ne nous garantit d’une « fin » du Covid, on comprend que les récits simplistes et solutionnistes des autorités politiques ou scientifiques soient brouillés par des actualités qui montrent justement que cette lecture est trop simpliste et que l’avenir est plus complexe et incertain. Pour Belling la stratégie des autorités à utiliser la peur comme outil de communication finit souvent par produire une anxiété moins cohérente, qui résiste à toute réassurance. Pour Belling, le doute et l’incertitude font partie intégrante de la médecine qui ne doit pas chercher à la nier. L’hypocondrie ne vise pas tant à saper l’expertise médicale finalement, mais l’invite à adopter des modes plus auto-réflexifs et finalement plus complexes. L’idée d’avoir à vivre avec le virus nous renvoie à une cohabitation qui va continuer à façonner nos vies et nos décisions d’une manière plus incertaine que nous ne le voudrions. Accepter ces incertitudes devrait être essentiel pour construire des systèmes médicaux plus humains, plus justes, plus durables… et finalement moins coercitifs et injonctifs. Pour autant, l’espoir de fermeture demeure fort. Il explique peut-être pourquoi nous nous accrochons à des solutions imparfaites en termes de mesures de santé publique, comme ont pu l’être les confinements ou comme peut l’être le passe sanitaire.

Aimee Walleston (@AimeeWalleston) propose un constat assez proche dans un autre article pour Real Life. Le refus vaccinal doit lui aussi s’entendre dans le contexte d’une médicalisation toujours plus étendue de la société. La promesse vaccinale qui se dessinait dès l’hiver 2020 a apporté l’espoir d’un retour à la normale. Mais les variants et la difficulté à atteindre une efficacité vaccinale optimale ont rapidement douché les espoirs. Les vaccins se sont avérés protecteurs notamment contre les formes graves de la maladie. Mais tout comme les masques ou les tests, les vaccins sont également devenus un point de division de la société. Pourquoi ce vaccin a-t-il été considéré par tant de personnes comme suspicieux (contrairement aux autres obligations vaccinales, dont le rejet est finalement très marginal) ou comme une atteinte à la liberté individuelle ? À l’inverse, pourquoi ce vaccin a-t-il été promu comme LE moyen de mettre fin à la pandémie ? Ces deux réactions sont opposées, mais s’inscrivent l’une comme l’autre dans la même histoire de médicalisation de la société et la croyance que nombre de nos problèmes de santé peuvent être résolus par une intervention médicale individuelle.

La distanciation sociale, le port du masque, la fiabilité des tests, comme la vaccination… ont tous reçu le même accueil. D’un côté, ils étaient la nouvelle liturgie des uns, de l’autre ils étaient la nouvelle profanation des libertés fondamentales des autres. Les uns considérant les autres comme paranoïaques, égoïstes, soumis à un lavage de cerveau et totalement déconnectés de la réalité… et inversement. Le scepticisme comme la foi en l’autorité de l’expertise médicale étaient pour les uns comme pour les autres considérés comme de l’ignorance ou de l’aveuglement.

Les informations sont toujours restées confuses, comme elles l’ont longtemps été sur le port du masque ou comme elles le demeurent encore un peu sur ses modalités concrètes d’utilisation. Les désaccords scientifiques ont été nombreux (par exemple sur le mode de transmission). Les incohérences nourries. Les critiques à l’encontre de la médicalisation de nos sociétés et du régime de vérité imposé par la santé remontent aux années 60, armées par des sociologues, des philosophes et des psychiatres comme Irving Zola, Ivan Illich, Peter Conrad ou Thomas Szasz. Ces critiques ne disent pas que la médecine a souvent tort, mais pointent surtout combien la santé personnelle a cherché à imposer des formes de conformité sociale, comme l’explique Tiago Correia (@correia_tiag) dans un article « Revisiter la médicalisation : une critique des postulats de ce qui compte dans la connaissance médicale ». La médicalisation évoque d’abord l’influence et le rôle de la réglementation médicale dans la vie quotidienne qui a remplacé les institutions de contrôle social précédentes, notamment l’Église et l’État, notamment dans la gestion de la déviance. La maladie a pris la suite du péché et du crime dans la condamnation des comportements non conformes. Ces changements de perspectives n’ont pas eu que des effets délétères, bien sûr. La médicalisation a certainement largement participé à l’amélioration des conditions de vie sur terre. Elle a élargi ses impacts : certains comportements ne relevaient plus d’une défaillance morale personnelle ou d’un crime, mais d’une maladie, comme l’a montré la montée de la prise en compte des addictions. Mais la médicalisation a également étendu son regard sur des états qui ne relevaient ni du crime ni de la morale, recouvrant un éventail toujours plus large d’expériences. C’est un peu comme si tous nos comportements étaient désormais devenus médicaux, comme si les frontières entre les questions médicales et les autres questions s’étaient estompées. La société semble avoir pathologisé les problèmes quotidiens. C’est ce que dénonçait notamment Illich dans son livre, Némésis médicale : l’expropriation de la santé (Le Seuil, 1975), expliquant que la règle médicale s’imposait partout. « La maladie est présumée jusqu’à ce que la santé soit prouvée, tout le système juridique prétend présumer l’innocence », explique Walleston. Pour Illich, le médecin est efficace quand il diagnostique, mais, s’il ne présume pas que le patient est atteint d’une maladie, c’est néanmoins ce qu’il recherche. Il diagnostique donc la maladie plutôt que la santé. Pour Illich, nous sommes désormais dans une société qui transforme les gens en patients où les professionnels de santé exercent une autorité qui va au-delà de la salle de soins, comme l’a montré plus que jamais la pandémie. Pour Illich, nous sommes entrés dans un « impérialisme du diagnostic » qui permet aux « bureaucrates médicaux » de « subdiviser les gens entre ceux qui peuvent conduire une voiture, ceux qui peuvent s’absenter du travail, ceux qui doivent être enfermés, ceux qui peuvent devenir soldats, ceux qui peuvent franchir les frontières, cuisiner, pratiquer la prostitution… ceux qui ne peuvent pas se présenter aux élections (…) ».

Même si cela ne suffit pas pour rejeter les mesures de santé publique, l’idée permet de considérer le refus de la souveraineté médicale non pas tant comme un acte d’ignorance volontaire, mais comme une forme de lutte politique contre ce qui est perçu comme un excès de bureaucratie ou de décision du système médical comme des autorités. Si la médecine a tout pouvoir, la seule façon de s’y soustraire est de la refuser. Dans La médecine comme institution du contrôle social (1972), le sociologue Irving Zola affirme que le discours médical « écarte, voire incorpore, les institutions plus traditionnelles que sont la religion ou l’État. Il devient le nouveau dépositaire de la vérité, le lieu où les jugements absolus et souvent définitifs sont portés par des experts supposés moralement neutres et objectifs », contrairement au clergé ou aux représentants de la loi. Les jugements portés au nom de la santé semblent toujours incontestables (qui voudrait être en mauvaise santé ?), pourtant elle reste un concept politique comme un autre. La santé est ouverte au débat, complexe, multidimensionnel et évolutif, selon par exemple l’importance accordée aux objectifs individuels ou collectifs ou ce qu’on mesure comme relevant de la santé ou n’en relevant pas. « Tout comme il existe de nombreuses façons d’être désavantagés dans la société américaine, il existe de nombreuses façons de définir ce que le terme d’incapacité (ou de maladie ou de handicape) recouvre ». La crise des opioïdes est l’exemple classique de ce qu’Illich qualifiait d’iatrogenèse, par lequel l’intervention médicale accroit la maladie et ses maux sociaux.

Le Covid est bien une crise de santé publique, estime Walleston qu’on peut atténuer par les gestes barrières ou les vaccins. Reste que le scepticisme n’est pas qu’une question de désinformation, il est aussi l’expression de ce que la médicalisation de la société et l’individualisme produisent. Comme l’ont rappelé Caroline Buckee, Abdisalan Noor et Lisa Sattenspiel dans un article pour Nature, les forces centrales qui façonnent les variations locales et mondiales de la charge et de la dynamique de la maladie sont sociales, plus que biologiques. Si d’importantes questions biologiques restent sans réponses, les multiples vagues d’infections qui ont eu lieu ont aussi été favorisées par des politiques de contrôle changeantes et hétérogènes et notamment sur l’impact disproportionné que la maladie a eu sur les communautés les plus pauvres et éloignées des soins. « La perspective d’une réponse médicalisée a négligé de tenir compte de la manière dont les normes communautaires ont un impact sur la santé globale de la société – et ce d’autant plus que dans son cadre limité de diagnostics individuels, elle ne donne pas la priorité à la santé « sociale ». » La médecine est elle aussi sous l’emprise des impératifs du capitalisme et des exigences du consumérisme, comme l’a montré la crise des opioïdes et la réponse à la pandémie ne s’est pas extraite de ce contexte-ci.

Ces dernières années, l’expansion du médical dans nos vies a produit une contre-réaction importante, faite de discours alternatifs entre médecine alternative et promotion du bien-être. Le soin personnel (self-care ou auto-soin) est un concept qui a été proposé par la théoricienne des soins infirmiers Dorothea Orem pour décrire la responsabilité d’un individu dans la gestion et le maintien de sa propre santé. Pour elle, un patient ne doit pas être trop dépendant de l’assistance médicale. C’est à lui d’abord de prendre soin de lui, la médecine prenant le relais quand cela ne suffit plus. Le capitalisme a depuis avalé le concept en faisant à la fois de la santé un produit à consommer et du soin personnel une alternative à la médecine.

Enfin, explique Walleston, la question de la santé et notamment de l’assurance maladie, aux États-Unis, est largement liée à l’emploi. La santé est liée à la viabilité économique d’une personne, « comme si le maintien du bien-être était une question de maintien de la productivité du travailleur ». La santé, la sécurité ou le bonheur sont de plus en plus souvent présentés comme quelque chose qui peut être consommé de manière individuelle. Et c’est là un héritage du cadre médicalisé dans lequel nous vivons et qui a façonné la logique des réponses à la pandémie, tant de l’État, que du système de soin, que des individus. Le vaccin est devenu un combat entre factions en guerre : « un groupe veut une sécurité parfaite grâce au médical, l’autre veut une liberté parfaite grâce au refus. Mais prendre ou ne pas prendre le vaccin ne peut apporter ni l’un ni l’autre. »

Bien sûr, souligne Walleston, ces constats n’apportent aucun argument au refus vaccinal. Choisir d’être vacciné pour répondre à une crise de santé publique est la meilleure approche et la plus universellement bénéfique que nous ayons en ce moment. Reste que les controverses sur l’obligation vaccinale ne devraient pas nous servir à haïr les autres, mais à nous poser la question de la santé que nous voulons. Et celle-ci ne peut assurément pas reposer uniquement sur les ordres qu’on nous donne. Surtout quand ceux-ci finalement ne perçoivent de leurs objectifs que la seule santé au détriment de tous les autres droits. C’est un peu comme cette rengaine que la sécurité serait la première des libertés. Nos droits sont un équilibre. Les ordres de la médecine ne suffisent pas à faire société, au contraire, à mesure qu’ils se démultiplient, ils en interrogent plus que jamais le sens !

Hubert Guillaud

Les organismes de réglementation ont visiblement compris qu’ils doivent réglementer la manière dont les autorités utilisent les algorithmes et les technologies d’IA. Mais ce que les régulateurs oublient trop souvent quand ils élaborent des politiques, c’est de tenir compte de la manière dont les décideurs humains interagissent avec les systèmes, explique Ben Green (@benzevgreen) dans une tribune pour The Hill (@thehill). Chercheurs, journalistes, militants… n’ont cessé ces dernières années de révéler combien les systèmes algorithmiques utilisés par les tribunaux, la police, les services d’éducation, de protection sociale et autres, sont bourrés d’erreurs et de biais. Aux États-Unis, deux projets de loi proposent d’imposer aux administrations d’évaluer les algorithmes avant de pouvoir les utiliser. Le projet de loi sur l’IA de la commission européenne va dans le même sens. Mais, souligne Green, si examiner les systèmes est certes nécessaire, ces dispositions oublient la manière dont les prédictions affectent les décisions politiques.

Les outils d’aide à la décision améliorent-ils la décision ?

Bien souvent, les algorithmes sont proposés comme des outils d’aide à la décision aux personnes qui les prennent. Reste que leurs décisions doivent équilibrer les prédictions que les systèmes fourbissent avec d’autres objectifs concurrents qui ne sont, eux, pas pris en compte par les machines. Green prend l’exemple des systèmes d’évaluation des risques qu’un prévenu ne se présente pas à son procès, très utilisé par les tribunaux américains. Pour ceux en charge de juger les prévenus, ces prévisions, pour autant qu’elles soient précises et justes – ce dont doutent nombre de défenseurs des droits et de chercheurs qui les ont étudiés -, doivent s’équilibrer d’autres intérêts, comme la présomption d’innocence. Pour Green, la question centrale qui est très souvent oubliée n’est pas seulement de savoir si les prédictions sont justes, mais aussi et surtout, de savoir si ces systèmes améliorent la décision humaine. Or, même si ces systèmes proposent des prédictions, ils n’améliorent pas nécessairement la décision. Quand on leur présente ces évaluations, bien souvent, les humains ont tendance à être plus attentifs au fait de réduire le risque justement, au détriment d’autres valeurs, changeant la manière même dont ils prennent leurs décisions, explique Green à la suite d’une étude expérimentale. Dans la pratique, ces systèmes imposent leurs choix, leur angle, leur vision… d’une certaine manière, leur idéologie. Reste que trop souvent, leur premier effet est d’altérer les processus de prise de décision. Même si dans l’étude de Green, les effets de ces outils semblent assez faibles, ils n’en sont pas moins là (et ce d’autant que l’altération de la décision est difficile à apprécier). Dans le domaine judiciaire américain, plusieurs études ont montré que les juges ont tendance à passer outre les recommandations de remises en liberté que proposent ces outils ! En fait, les juges semblent devenir plus sévères que les systèmes, parce que les systèmes leur mettent sous les yeux le risque plutôt que l’esprit des lois, comme la présomption d’innocence. En fait, les systèmes aggravent la partialité des juges en les rendant sur-attentifs aux risques !

Dans un autre article de recherche, Green souligne un autre problème, celui de la surveillance humaine des décisions algorithmiques que de plus en plus de réglementations imposent. Or, explique le chercheur, derrière ces décisions, bien souvent, les personnes sont incapables de remplir les fonctions de surveillance qui leur sont attribuées. Green estime par exemple que nous devrions calculer le taux de dérogation c’est-à-dire quand la décision n’est pas conforme à la suggestion de l’algorithme pour savoir si le processus décisionnel est automatisé ou pas.

Cette surveillance des systèmes trop souvent légitime le recours à des algorithmes défectueux, sans aborder réellement les problèmes qu’ils génèrent. Pour le chercheur, la surveillance des algorithmes donne un faux sentiment de sécurité. Pour Green, il est essentiel de s’interroger d’abord sur la nécessité du déploiement et surtout d’évaluer l’efficacité du contrôle humain des traitements, explique-t-il en rappelant la nécessité d’une meilleure évaluation, non seulement technique, mais plus encore humaine. Les politiques se doivent d’être plus rigoureuses, estime-t-il, et surtout, elles ne doivent pas seulement étudier les biais techniques des systèmes, mais aussi prendre en compte la relation homme-algorithmes et les biais qu’elle génère.

Or, rappelle le chercheur, les réglementations sur l’éthique des systèmes se concentrent uniquement sur la façon dont le calcul fonctionne. Les systèmes d’évaluation de la responsabilité algorithmique ou d’impacts évaluent une responsabilité « technique » plus qu’humaine, sans tenir compte des relations tissées avec les systèmes.

Aussi précis ou juste que le calcul soit – et il ne l’est pas souvent -, il modifie la façon de décider. En fait, ces outils génèrent des changements qui déséquilibrent l’évaluation qui est au cœur même de la prise de décision. Pour Green, la question de l’évaluation de l’IA devrait nécessiter des preuves empiriques sur ses effets, c’est-à-dire qu’elle devrait également démontrer que ces systèmes sont susceptibles d’améliorer la prise de décision. Pour cela nous devrions réaliser des évaluations expérimentales sur la collaboration homme-algorithmes, en testant comment les gens interagissent avec le système pour s’assurer qu’il produit les résultats escomptés.

Evaluer les outils de la décision, mais également la décision

L’évaluation est trop souvent encore le parent pauvre de la réglementation. Au mieux, elle reste technique. Mais bien souvent, elle reste aveugle aux impacts concrets de ces outils sur ceux qui les utilisent, suggère Green qui invite à non seulement évaluer les outils de la décision, mais également leurs impacts sur la décision.

Le constat de Green souligne combien, alors que les systèmes techniques s’imposent, l’évaluation de leurs effets concrets, elle, n’est pas à la hauteur. Derrière les biais des calculs, nous devons nous préoccuper d’autres formes d’évaluation – comme le propose les méthodes développées pour que la politique fasse la preuve de son efficacité (on parle d’evidence-based policymaking). Le gouvernement britannique a initié en ce sens un réseau d’évaluation des politiques publiques, le « What Works Network », dont l’une des branches, par exemple, a évalué les systèmes d’identification automatisés des enfants à risque par les services à l’enfance, en pointant leur inefficacité manifeste. Les États-Unis viennent de lancer une plateforme dédiée à l’évaluation des politiques publiques, rapportait récemment Federal News Network. Malgé les recommandations émises par le Conseil d’État en septembre 2020 pour améliorer l’évaluation des politiques publiques, si l’on en croit l’état du site dédié à l’évaluation en France, la priorité donnée à l’évaluation n’est pas encore là ! Si des efforts ont été initiés pour l’évaluation par les usagers des services publics – via des indicateurs de performance et de satisfaction, à l’image de ceux disponibles sur resultats-services-publics.fr ou voxusagers.gouv.fr -, la question – bien plus importante, il me semble – d’une meilleure évaluation des politiques publiques selon leurs effets semble encore avoir des marges de progrès.

Hubert Guillaud

PS : Sur LPE, Frank Pasquale annonce la tenue prochaine aux Etats-Unis d’un symposium sur l’analyse coût/bénéfice. Les méthodes quantitatives promettent d’apporter la rigueur et l’objectivité à l’évaluation des politiques publiques, mais dans les faits, leurs applications accélèrent souvent les injustices et les discriminations. Dès janvier 2021, l’administration Biden a annoncé vouloir « moderniser les modalités d’évaluations réglementaires ». Les initiatives réglementaires importantes sont de plus en plus souvent sommées de produire une analyse comparative de leurs coûts et avantages. Si ces initiatives semblent rationnelles (les coûts d’une réglementation ne doivent pas dépasser ses avantages), ces outils ont souvent été utilisés pour limiter la réglementation plutôt que pour améliorer son efficacité. Enfin, souligne Pasquale, tout est-il quantifiable ? Quelle est la valeur monétaire d’une journée sans aucune pollution au Grand Canyon ou d’une ressource naturelle ? À nouveau, la quantification n’a rien de neutre et ne peut être le seul mode d’évaluation des politiques publiques.

Il est temps de refermer cette 15e saison d’InternetActu.net (@internetactu) ! Merci à tous de votre fidélité !

Cette année, nos articles (une petite quarantaine) ont réalisé en moyenne 25 000 vues (tout support confondus). InternetActu.net repose essentiellement sur 4000 à 5000 lecteurs très fidèles, qui lisent quasiment chacun de nos articles, que ce soit par e-mail, RSS ou sur le site. Une audience plus resserrée qu’il y a quelques années, notamment parce que nous avons arrêté les partenariats extérieurs et les republications. En retour, l’audience se révèle assurément moins volatile et plus fidèle – pour ce que nous en mesurons, à savoir très peu, puisque depuis 2016 nous avons supprimé tout traceurs d’audience autre qu’un simple compteur de vue par article, préférant l’autonomie et la liberté de nos lecteurs à leur contrôle, en accord avec nos convictions.

Nous espérons en tout cas que cette saison vous a nourri de sujets, de concepts, d’idées, de leviers et d’exemples pour mieux comprendre les évolutions du numérique. C’est en saisissant ses effets en profondeur que nous nous armerons collectivement pour le réorienter.

Nous avons consacré beaucoup d’articles à évoquer les risques que fait peser le numérique sur la société et notamment les dérives de l’aide sociale automatisée relatives à l’enfance, aux prestations sociales, en passant par l’extension des boites noires aux dangers de l’exécutabilité des règles, de la mal-mesure, que cela concerne la santé et la médecine comme la modération automatisée…

Nous avons plongé en profondeur dans quelques livres, toujours critiques, qui permettent de renouveler nos compréhension du numérique et de ses effets, comme Race after technology, La nouvelle guerre des étoiles, Dictature 2.0, L’âge du capitalisme de surveillance, Design Justice, Atlas of AI et Contrôler les assités…

Nous avons profondément interrogé le sens du développement informatique, sa prétendue robustesse, ses enjeux de société, les limites des méthodes prédictives, l’addiction algorithmique, les limites de l’audit algorithmique, celles de la critique, les causes de ses échecs et pannes, ses limites à auto-corriger ses propres errements, et son idéologie même.

Nous avons également instruits des questions pour retrouver des modalités d’action : l’algovernance, l’enjeu du renouveau des licences libres et celui de libérer les modes de gouvernance, interroger la question des modalités de la dé-surveillance (et ses enjeux), le levier du définancement, l’enjeu à créer une diversité de services numériques publics… et nous avons cherché à interroger les modalités possibles d’une politique numérique de gauche.

Nous avons pointé le besoin d’une mobilisation plus forte pour défaire les développements toxiques du numérique reposant sur la transparence ou son exact contraire, le risque d’une opacité sans limite ou encore l’enjeu à réparer l’ingénierie du social…

Enfin, nous avons également tenté d’instruire des questions plus difficiles liées aux transformations qu’à introduit la crise pandémique : sur la difficulté à saisir l’incertitude, sur le constat que la démultiplication des données ne fait advenir aucune vérité, sur les enjeux de la visioconférence dans laquelle nous avons tous basculés, sur la désorganisation ou encore l’avènement d’une ville de la souscription…

Nous espérons que tous ces sujets vous ont apporté de la matière pour comprendre et ré-orienter le développement technique.

Nous vous invitons à continuer à nous lire bien sûr et surtout à nous partager, à nous aider à nous faire découvrir à de nouveaux lecteurs encore et toujours, à nous référencer… Nous espérons surtout que nos propos génèrent plus de discussions demain qu’aujourd’hui, parce que plus que jamais le numérique nécessite d’être débattu, mis en question, critiqué.

Bonnes vacances à tous et à très vite !

Hubert Guillaud

La revue Terrain (@RevueTerrain, blog, index) publie un hors-série sur le « sublime bureaucratique », coordonné par les ethnologues et sociologues Emmanuel Grimaud (qui vient de faire paraître par ailleurs Dieu point zéro, PUF, 2021), Anthony Stavrianakis et Camille Noûs (@NousCamille, un pseudonyme collectif émanant du groupe RogueESR –@rogueesr – personnalisation d’une communauté académique critique issue du laboratoire délocalisé et interdisciplinaire Cogitamus – @CogitamusLab).

Un hors série qui plonge dans les formulaires et les techniques de production de la rationalité administrative, entre admiration et terreur. Dans ces exercices d’exorcisme (magnifiés de contributions graphiques provenant d’une belle diversité d’artistes pour mieux les subjuguer), les chercheurs soulignent, via nombre d’exemples, envoûtants, combien la technicité ne pourra jamais embrasser le monde. L’ensemble livre de belles épaisseurs sur l’absurdie à laquelle nous participons, que ce soit sur des objets convenus, comme Parcoursup – « Numéritocratie », une synthèse parfaite du sujet par la toujours remarquable Isabelle Bruno – , le Crédit impôt recherche – « L’équation managementale » par Nicolas Bataille qui s’intéresse aux contorsions à produire des justificatifs – , le FMI – « Dessine-moi un FMI » d’Horacio Ortiz qui s’interroge sur la difficulté à saisir une organisation par ses productions… Ou des objets qui le sont bien moins comme la formule du taux de mortalité journalier des usines à poulet en Europe – « La formule de la chimère » de Gil Bartholeyns – qui vient de publier Le hantement du monde (éditions du Dehors, 2021) qui interroge l’origine même de la production de normes. Ou encore l’incroyable article d’Etienne Bourel, « (Dé)rég(u)ler la forêt » qui s’intéresse aux diamètres minimum d’autorisation de coupe d’arbres dans l’exploitation forestière au Gabon. Les formulaires de comités d’éthique pour produire de l’éthique de Christos Panagiotopoulos dans « Déformuler » qui souligne combien la variabilité des protocoles de recherche produit d’inconsistance. Les calculs complexes du taux d’incapacité qui souligne les limites de la reconnaissance du handicap, comme si l’administration était incapable finalement de produire la sensibilité nécessaire à mesurer le sensible – « 50 nuances d’incapacité » par le groupe d’intervention Usher-Socio. Ou encore une plongée glaçante dans le formulaire de calcul du niveau de coma (le « Coma recovery scale revised ») par Sélima Chibout qui nous rappelle que plus la réalité est insaisissable, plus nous produisons des dispositifs inopérants… Ou encore ce puissant retour sur la naissance d’Excel, « La feuille qui calcule le réel » par le Recursion Lab, qui met en abîme le réductionnisme de la mise en cellule du calcul…

Nous sommes cernés par des catégorisations qui segmentent le réel sans jamais parvenir à le réduire, nous explique ce numéro. A mesure que nous recherchons plus d’efficacité, nous démultiplions les procédures certes, mais surtout les confusions… Nous éloignant toujours plus du vivant qu’on voudrait saisir. Cette « descente » dans le cœur des normes, des formulaires, des calculs, des procédures montre assurément que c’est là désormais que la politique se produit. Comme l’expliquent dans leur introduction Emmanuel Grimaud et Anthony Stavrianakis, l’envoutement se referme sur nous. « Nous ne pouvons imaginer d’autre solution » à la rationalité et à la technicité que nous mettons en œuvre, alors qu’elle ne cesse de produire ses propres limites. Nous sommes pris dans le cercle infernal de notre propre désir de règles « claires, édictées, matérialisées, formulées »… « Peut-on contrer la pulsion organisationnelle par autre chose que de l’organisation ? » Passionnant !

Hubert Guillaud

PS : nous ajouterons les liens vers les publications en ligne lorsqu’elles seront disponibles.

Dans une longue interview pour le magazine belge Agir par la culture (@agirparculture), je tente de poser des pistes pour repolitiser la question numérique…

À l’heure où les réponses légales sont trop mouvantes, où les réponses techniques sont contournables, où les réponses économiques ne concernent pas du tout les déploiements techniques, où les réponses éthiques sont limitées, comment contenir ce que le numérique optimise trop bien ? Comment limiter et contraindre le délire calculatoire qui vient ?

« L’enjeu à venir à nouveau consiste à faire des choix de société sur ce que nous devons numériser, ce que nous devons dénumériser et comment. Mais la réponse à ces questions n’est pas numérique, mais bien politique : comment étendre les protections sociales et environnementales ? Que devons-nous définancer ? Que devons-nous refuser de moderniser ? Où devons-nous désinnover ? Si on regarde le monde numérique à l’aune de sa durabilité, ce monde n’est pas soutenable. Si on le regarde à l’aune de ses enjeux démocratiques ou sociaux, le numérique ne produit pas un monde en commun. Il va donc falloir refermer des possibles que le numérique a ouverts. La surveillance, la fausse efficacité qu’elle promet ne propose que du contrôle, de la répression, des discriminations, de la sécurité au détriment de la liberté, de l’équité, de l’égalité. On ne fait pas société seulement en calculant son efficacité maximale ! »

En espérant que cette contribution livre quelques pistes d’action !

Hubert Guillaud

La surveillance relève la plupart du temps de la coercition, mais bien souvent, elle nous est présentée comme un moyen de prendre soin des autres, et cet argument sert à nous y adapter, à normaliser et justifier la surveillance. Le problème, c’est que l’argument de la protection de nos proches, comme le proposent nombre de technologies proposées aux parents par exemple, contribue à l’acceptation finalement de bien d’autres formes de surveillance. Pour autant, si la surveillance relève bien d’une idéologie, si la surveillance de nos proches peut relever du soin, elle a des conséquences problématiques sur nos capacités à faire société, quand elle instrumente et alimente nos anxiétés en réseaux.

De la surveillance des enfants à la surveillance d’État : un continuum

En février, Hannah Zeavin (@hzeavin), historienne spécialiste des technologies médicales (qui s’apprête à publier cet été The Distance Cure, MIT Press, 2021, une histoire de la « téléthérapie »), revenait pour Real Life (@_reallifemag) sur l’origine du babyphone, ce fantasme de vigilance parentale. Depuis l’enlèvement du bébé Lindbergh au début des années 30 et la frénésie médiatique qui l’a accompagné, la peur des disparitions d’enfants a façonné les technologies de leur surveillance. « La promesse d’étendre et d’augmenter l’attention et la protection parentales a conduit à la commercialisation et au développement de nombre de technologies parentales de surveillance des enfants comme de ceux qui en ont la charge ». L’intensification de la surveillance parentale liée aux vulnérabilités des enfants définit différentes menaces face auxquelles les enfants ne sont pourtant pas tous égaux socialement. Pour autant, ces modalités modernes de surveillance n’ont cessé de s’étendre : le babyphone inventé à la fin des années 30 est désormais utilisé par environ 75 % des parents américains. Il a été complété depuis de nombreux autres appareils (bracelets GPS, dispositifs biométriques…) dans une offre d’innovation toujours plus étendue. Ces surveillances ont l’air innocentes, mais leurs implications ne sont pas sans poser problème, à l’image des caméras pour surveiller celles et ceux qui s’occupent des enfants. Lorsqu’elles sont apparues, l’industrie et la culpabilité parentale ont été stimulées par les images qui en ont été diffusées. L’anxiété s’ajoute au classisme, voire au sexisme ou au racisme, et participe notamment d’une matrice psychologique ancienne à l’égard des travailleurs domestiques comme des enfants.

Les dispositifs de surveillance numériques tiennent de dispositifs d’auto-apaisements, explique Hannah Zeavin. « Le soin s’accommode et justifie la surveillance et la présente comme une nécessité de sécurité, une nécessité « éthique », plutôt que comme un choix politique ». Les technologies de surveillance domestiques se présentent comme permettant de renforcer les barrières entre l’extérieur et l’intérieur, alors que les captures qu’elles produisent (données et vidéo notamment) ouvrent de nouvelles voies d’intrusion dans les foyers (par d’autres services que ce soit la police ou les fournisseurs de technologies, mais aussi par leur piratage…), renforçant finalement les anxiétés qu’elles sont censées apaiser. Ces technologies ne cessent de renforcer leurs techniques pour lutter contre l’anxiété qu’elles génèrent, comme quand les babyphones se dotent de capteurs biométriques pour tenter de distinguer le sommeil d’un arrêt respiratoire. En fait, souligne l’historienne, ces outils développent surtout l’anxiété des parents : la compulsion à leur vérification conduit nombre d’entre à des insomnies voire à des dépressions et les faux positifs de ces appareils conduisent également nombre de parents jusqu’aux services pédiatriques d’urgence expliquait le New York Times.

Pour Hannah Zeavin, la surveillance des enfants et la surveillance d’État sont moins distinctes qu’il n’y paraît. L’utilisation de technologies parentales peut sembler un choix individuel, mais leur portée dépasse souvent ce cadre par les impacts qu’ils peuvent produire auprès de services sociaux, des services de police ou par l’entretien voire le renforcement des préjugés culturels de la société. Le risque de leur généralisation ou de leur extension (à l’école notamment) montre que les compromis moraux et politiques des parents ont un impact au-delà de la cellule privée. Du soin à la surveillance, il y a un continuum d’anxiété qui a des effets sur la société elle-même.

Distinguer le soin de la surveillance : une question de genre ?

Dans un autre article du magazine Real Life, Autumm Caines (@autumm) revient sur la militarisation du soin. Pour cela, la chercheuse rappelle la distinction établie par l’éthique de la sollicitude (ou éthique du care), dans les travaux fondateurs des années 80 de Nel Noddings (auteure de Caring, University of California Press, 1984, non traduit) et de Carol Gilligan (auteure de Une voix différente, 1986) : à savoir, la distinction entre « l’attention vertueuse » et « l’attention relationnelle », la première étant plus théorique et générale, quand la seconde est plus intime et contingente – la seconde étant souvent plus dévaluée que la première et plus souvent féminisée. Les deux semblent pourtant pareillement utilisées pour justifier le déploiement de la surveillance de nos proches, pourtant elles restent mobilisées distinctement l’une de l’autre. Pour Caines, cela montre que dans la communication, le soin reste distinct du contrôle et que l’on peut adopter l’un sans assumer les implications de l’autre. Cette distinction fait écho à celle établie par Luke Stark (@luke_stark) et Karen Levy (@karen_ec_levy) dans leur article sur le « consommateur surveillant » qui distingue le consommateur gestionnaire (le vertueux) du consommateur observateur (le relationnel). Par exemple quand les consommateurs sont recrutés pour faire de la surveillance en évaluant les travailleurs des plateformes de services (comme Uber), ils sont recrutés en invoquant un idéal de service au service de la commodité afin d’améliorer la qualité de service plutôt que de prendre soin des travailleurs qui effectuent ces services. Alors que les dispositifs de surveillance du consommateur observateur visent surtout à « améliorer » nos relations, comme le propose un babyphone. « Dans ce paradigme, la surveillance est construite comme étant normativement essentielle aux devoirs de soins (…). L’observation et le contrôle ne sont pas simplement interprétés comme les droits d’un parent responsable, d’un partenaire romantique consciencieux ou d’un enfant aimant, mais comme des obligations inhérentes à ces rôles ». Prendre soin de ceux que nous aimons est l’un des instincts humains les plus forts, et les sociétés de surveillance s’en servent comme d’une vulnérabilité. Pour Caines, « à mesure que les technologies créent des moyens de surveillance toujours plus nuancés, la ligne définissant ce qui est raisonnable de ce qui ne l’est pas devient floue » et permet de justifier des intrusions toujours plus avancées.

Dans un cas comme dans l’autre, la communication joue des stéréotypes de genre qui leur sont liés, pour renforcer ces deux types d’attention aux autres. « Leur lien avec les différentes manières de prendre soin des autres est utilisé pour inciter les gens à adopter des technologies de surveillance contraires à l’éthique, en fonction de la manière dont ils aspirent à s’identifier à ces normes : pour être suffisamment homme ou femme, il faut être capable de démontrer un engagement à surveiller d’une manière particulière ». Ces stéréotypes influencent la façon dont le soin est instrumenté dans des milieux professionnels eux-mêmes sexués et genrés. L’éducation par exemple est truffée de technologies de surveillance, comme le montrait la spécialiste du sujet Audrey Watters, avec une approche plus relationnelle quand elle concerne les enfants les plus petits. L’attention vertueuse, elle, est souvent convoquée pour promouvoir des systèmes de surveillance à distance, comme ceux déployés à l’égard des étudiants tels que ProctorU, ce système pour protéger les examens en distancie de la triche, qui visent à protéger l’intégrité académique. Dans ce cas, bien sûr, comme dans celui des plateformes de livraisons, les préjudices subis par les étudiants sont clairement minimisés. Les outils de surveillance, relationnels comme vertueux, sont également très développés dans le domaine de la santé. La poétesse et militante féministe Audre Lorde a rejeté les idées d’un soin sexué. Pour elle, le soin est un acte politique qui nécessite de reconnaître qu’il peut être utilisé comme une arme contre les intérêts des communautés auxquels chacun est relié, contre ses proches et contre soi-même. Pour Caines, cela implique que nous ayons besoin de mieux comprendre les limites du soin.

Hubert Guillaud

MAJ du 24/06/2021 : Pour le « Nouveau lexique de l’IA » que lance l’AI Now Institute – un appel à contribution pour générer d’autres récits sur l’IA -, Hannah Zeavin rappelle que dès l’origine l’IA a été orientée vers le soin des humains. L’IA s’est imposée dans nombre d’établissements hospitaliers et de soins, comme alternative, outil d’aide, ou mesure palliative lorsque les infrastructures traditionnelles du soin ne sont plus accessibles (voir notre article « En médecine, l’IA est en plein essor, mais pas sa crédibiilité »). Mais en fait, l’IA a surtout contribué à étendre la portée des inégalités (tout en prétendant le contraire) car elle intègre et recodifie la race et le genre… Pour Zeavin, c’est le contrôle prédictif qui explique cette expansion rapide de l’IA dans la santé. L’IA est utilisée pour atteindre plus de gens, dans une dépersonnalisation problématique, ainsi ceux qui sont les plus loins des soins de santé, mais qui sont aussi rendus encore plus vulnérables par cette auscultation nouvelle et ce qu’elle génère… Derrière l’extension du soin qu’ils promeuvent, les outils étendent surtout la surveillance et la discrimination… et proposent de nouvelles formes de soins qui flirtent à la marge de la médecine. En fait, l’IA en santé vise une montée en charge par le déploiement de systèmes sans médecins, où les patients sont désormais responsables de la coordination de leurs propres soins, sous couvert d’une idéologie comptable et profondément individualiste. Désormais, il nous faut prendre soin de soi sans le soin d’un autre. Ce que Zeavin appelle le développement de « l’auto-soin » assisté par l’IA, une forme ultime d’accès au soin sans ce qui fonde le soin : l’autre !

Peut-on pourtant faire reposer la responsabilité des traitements uniquement sur les personnes qui en ont besoin ? Comment en sommes-nous arrivés à une forme de soin qui finalement dénie ce qui le fonde, la relation ? Pas étonnant qu’en réaction on entende parler de « soins radicaux », comme le proposent Hi’ilei Hobart (@hiokinai) ou Tamara Kneese (@tamigraph) pour nous inviter à trouver des modalités de soins plus mutuelles. Pour Kim TallBear (@kimtallbear), ces relations doivent être mises en réseau et non hiérarchisées, déroulées d’une manière spatiale sous la forme d’une toile relationnelle pour mieux prêter attention à nos obligations.

MAJ du 30/06/2021 : The Markup revient sur la multiplication de caméras de surveillance dans les maisons de retraite, placées par les enfants des retraités pour garder un oeil sur les traitements que leurs aïeux reçoivent. Des caméras qui posent des problèmes juridiques spécifiques de surveillance sur lesquels de plus en plus de juridiction américaines doivent se prononcer, alors que depuis la pandémie, la demande de surveillance des résidents en maisons de soin a augmenté. Pour Clara Berrigde qui étudie depuis longtemps l’utilisation des caméras de surveillance dans les centres de soins, celles-ci ont un coût réel en terme de perte d’intimité, de surveillance… (voir notamment son article de recherche sur l’éthique de la surveillance). Elles ne résolvent pas le problème essentiel : le fait que le personnel soit sous-payé et surchargé ! Pour elle aussi, la caméra est un symptôme plus qu’une solution. La question est en tout cas en train de devenir explosive !

Avec la pandémie, les chercheurs ont eu plus que jamais recours à l’IA pour tenter de percer les secrets du Covid-19, notamment pour tenter de détecter la maladie plus tôt sur les images pulmonaires et mieux prédire quels patients sont plus susceptibles de tomber gravement malades. Des centaines d’études ont été publiées dans les revues médicales et sur les serveurs de prépublication pour démontrer les capacités de l’IA à effectuer ces analyses avec précision. Une équipe de recherche de l’université de Cambridge en Angleterre a examiné quelques 400 de ces modèles pour Nature et est arrivée à une conclusion bien différente. Chacun d’eux présentait de graves lacunes méthodologiques. En fait, dans la plupart des études, les algorithmes étaient entraînés sur de petits échantillons de données, provenant d’une seule origine, avec une diversité très limitée. Certaines études ont même utilisé les mêmes données pour l’entraînement et les tests, ce qui conduit souvent à des performances impressionnantes, mais totalement fallacieuses.

Le problème ne se limite pas au Covid, explique le toujours excellent Casey Ross (@caseymross) pour Statnews (@statnews) – qui nous avait déjà alerté sur les limites du Watson d’IBM dans le domaine de la santé, qui a visiblement depuis tiré des leçons de ses échecs et changé sa politique. Le Machine learning génère des milliards d’investissements en médecine, mais est confronté à une crise de crédibilité. Nombre d’articles s’appuient sur des données limitées ou de faibles qualités, beaucoup d’autres ne précisent par leurs méthodes, et d’autres voire les mêmes ne vérifient pas si leurs modèles fonctionnent pour des personnes de sexe, d’âge ou d’origines différentes. Certes, l’intensité de la concurrence et l’urgence ont tendance à générer la surpublication d’études peu rigoureuses. Mais le problème tient plutôt du cercle vicieux de l’apprentissage automatique : il existe peu de grands ensembles de données diversifiées pour entraîner et valider un nouvel outil. Trop souvent, les données sont protégées pour des raisons juridiques ou commerciales. Conséquence, les évaluateurs n’ont pas de données pour tester ou comparer, étape pourtant clé dans l’approbation des travaux. Le fait de ne pas tester les modèles avec des données différentes est courant dans les études de prépublication… Le problème, c’est que les algorithmes semblent souvent précis et efficaces, mais lorsque les modèles sont exposés à d’autres données (parfois seulement des images médicales obtenues avec d’autres appareils !), leur niveau de performance s’effondre. Au final, le risque, c’est d’approuver des modèles, des services ou des algorithmes auxquels nous ne pouvons pas faire confiance, explique Matthew McDermott (@mattmcdermott) du MIT qui vient de cosigner un article sur cet enjeu.

En fait, c’est déjà le cas avec des systèmes utilisés pourtant pour traiter des maladies graves comme les maladies cardiaques ou le cancer. En février, Casey Ross avait publié un article sur le sujet qui montrait que seuls 73 des 161 produits basés sur l’IA approuvés par la Food and Drug Administration (FDA), l’autorité qui autorise la commercialisation des médicaments aux États-Unis, ont publiés les données qu’ils avaient utilisés et que seulement 7 ont donné des indications sur la composition et la diversité des populations étudiées. En fait, les sources de données ne sont « presque jamais » indiquées !

Dans un autre article pour Nature, des chercheurs de Stanford ont lancé l’alerte sur ces produits d’IA à haut risque autorisés par la FDA. L’étude des chercheurs de Cambridge souligne quant à elle que seuls 62 des 400 articles passent un succinct contrôle de qualité sur la question de l’indication de sources de données et d’explication sur la méthode d’entraînement. Mais qu’ensuite, sur ces 62 articles, 55 sont jugés à « haut risque de partialité » ! Un des problèmes que rencontre ce champ de recherche émergent tient à l’absence de normes consensuelles pour évaluer la recherche en IA en médecine. Les chercheurs de l’université de Cambridge, eux, ont utilisé une des rares listes de contrôle méthodologique dans le domaine (CLAIM) qui établit une liste de critères pour les auteurs et évaluateurs.

L’urgence peut certes peut-être excuser les lacunes de nombres de ces études… Mais les failles méthodologiques ne concernent pas que le Covid ! La mise en évidence des problèmes du machine learning en médecine, exhortant la recherche à améliorer ses méthodes d’évaluation et leurs transparences, est même devenue un sous-genre à part entière dans la recherche médicale (voir notamment notre article « Vers un renouveau militant des questions technologiques »), estime Casey Ross. Le problème c’est que l’incapacité à reproduire les résultats érode la confiance dans l’IA et sape les efforts qui cherchent à la déployer dans les soins cliniques.

« Un examen récent de plus de 500 études sur l’apprentissage automatique dans de multiples domaines a révélé que celles réalisées dans le domaine des soins de santé étaient particulièrement difficiles à reproduire, car le code et les ensembles de données sous-jacents étaient rarement divulgués. Cet examen, mené par des chercheurs du MIT, a révélé que seulement 23 % des études sur l’apprentissage automatique dans le domaine de la santé utilisaient des ensembles de données multiples pour établir leurs résultats, contre 80 % dans le domaine voisin de la vision par ordinateur et 58 % dans le traitement du langage naturel. »

Ce problème s’explique notamment par les restrictions en matière de protection des données plus affirmées dans le domaine de la santé et la difficulté d’obtenir des données provenant de plusieurs institutions.

Google a récemment annoncé une application qui utilise l’IA pour analyser les problèmes dermatologiques (parmi de nombreuses recherches que Google consacre à la santé), mais a refusé de divulguer publiquement les sources des données utilisées pour créer le modèle. Pour McDermott, ces obstacles structurels doivent être surmontés, notamment en utilisant l’apprentissage fédéré (une méthode qui permet de développer des modèles sans échanger les données) ou en utilisant des données virtuelles, modelées depuis des patients réels. Casey Ross signale encore un autre problème : dans un monde en constante évolution, les effets des maladies sur les patients peuvent rapidement changer tout comme les méthodes de traitement, rendant les modélisations plus fragiles sur le long terme. Pour McDermott, la stabilité des résultats en santé n’est pas acquise. « Un paradigme réglementaire statique où nous disons : « OK, cet algorithme obtient un tampon d’approbation et maintenant vous pouvez aller faire ce que vous voulez avec lui pour toujours et à jamais » – cela me semble dangereux. »

Hubert Guillaud

MAJ du 07/06/2021 : Au coeur de la pandémie, Epic, un des géant privé américain de la gestion de dossiers médicaux électroniques et l’un des principaux fournisseurs de données de santé, a accéléré le déploiement d’un outil de prédiction clinique du Covid depuis un système d’IA pour aider les médecins dans leur sélection de personnes à placer en soins intensifs en produisant un « score de détérioration », rapporte Fast Company. Pour les médecins Vishal Khetpal et Nishant Shah, ce score d’automatisation du « tri » des patients censé aider les médecins dans leur décision n’est pas sans poser problème, comme le pointait également Casey Ross. Une étude a montré que l’indice réussissait moyennement à distinguer les patients à faible risque de ceux qui avaient un risque élevé d’être transférés dans une unité de soin intensifs. Le déploiement « précipité » a pourtant créé un inquiétant précédent. Alors que l’utilisation d’algorithmes pour soutenir les décisions cliniques n’est pas nouvelle, leur mise en oeuvre, jusqu’à présent, nécessitait des examens rigoureux. Si Epic produit la liste de variable utilisée et l’estimation de l’impact de chaque variable sur le score, les données et les calculs demeurent non auditables par le corps médical. L’indice de détérioration n’a pas fait l’objet d’une validation indépendante avant son déploiement. Le risque bien sûr est qu’il encode des préjugés. Les médecins rappellent néanmoins que là encore, pourtant, il existe des listes de contrôle et des normes pour juger de la fiabilité d’une prédiction clinique (comme la liste de contrôle Tripod en 22 points (.pdf) développée en 2015 par le réseau international Equator Network). Et les médecins d’exiger une évaluation indépendante rapide de cet outil.

MAJ du 23/06/2021 : Dans un nouvel article pour State News, Casey Ross revient sur une étude (.pdf) du Centre pour l’intelligence artificielle appliquée de Chicago Booth qui montre que les préjugés algorithmiques dans la santé sont omniprésents et influent sur d’innombrables décisions quotidiennes concernant le traitement des patients par les hôpitaux. Le rapport est accompagné d’une check list pour aider les équipes à contrôler leurs outils d’aide à la décision. Parmi les calculs biaisés, les chercheurs pointent « l’indice de gravité des urgences », rien de moins que le système pour prioriser les arrivées aux urgences ! Mais encore les systèmes qui évaluent la gravité de l’arthrose du genou, ceux qui mesurent la mobilité, les outils de prédiction de l’apparition de maladies telles que le diabète, les maladies rénales et l’insuffisance cardiaque, ou les outils qui tentent d’identifier les patients qui ne se présenteront pas à leurs rendez-vous… Les chercheurs parlent d’un problème systémique. Des premiers éléments montrent que le problème s’étend également aux systèmes d’assurance santé…

MAJ du 16/09/2021 : Dans une tribune pour Le Monde, la spécialiste de l’éthique en IA, Nozha Boujemaa, revient également sur les défaillances de nombres de projets d’IA dans le domaine de la santé et souligne que les checks-lists éthiques, qui se positionnent en amont des déploiements, peinent à évaluer les systèmes. Dans le domaine médical notamment, c’est plus la robustesse et la précision des algorithmes qui pose problème. Tester la robustesse d’un algorithme repose surtout sur des principes de reproductibilité et répétabilité des systèmes : « Un algorithme est répétable s’il délivre les mêmes résultats quand il est appliqué plusieurs fois sur les mêmes données des patients. Il est reproductible quand il donne les mêmes résultats et performances dans des conditions différentes. » Elle signale d’ailleurs que l’Association for Computing Machinery (ACM) a déployé des procédures de validation des publications scientifiques incluant la répétabilité, la reproductibilité et la réplicabilité, comme des leviers pour améliorer la robustesse de l’IA. Il serait peut-être tant de les intégrer au-delà des seules publications scientifiques…