❌

Vue lecture

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.

Scoring partout… justice nulle part

« Si vous n’avez pas accès à votre score ou si vous ne savez pas qu’un score est calculé, quelle possibilité d’action vous reste-t-il ? » Aucune, explique une excellente vidéo du Data Justice Lab (@DataJusticeLab) – et on pourrait d’ailleurs ajouter, que savoir qu’on est calculé ou comment ne vous donne pas pour autant de possibilité d’actions, hélas !

Le problème de la multiplication des « scores de données » comme outils de gouvernance des administrés, explique le laboratoire de recherche de l’Ecole de journalisme de l’université de Cardiff, c’est que les citoyens ont très peu d’informations sur le déploiement de ces systèmes de scoring : ce qui empêche, pour le moment, tout débat public sur leur utilité et leurs biais. L’autre problème, bien sûr, de ces nouvelles modalités de gouvernance des usagers par les services publics (mais également par des systèmes privés), interroge les indicateurs produits (voir notamment notre article « Peut-on limiter l’extension de la « société de la notation » ?) Qu’est-ce qu’on mesure depuis ces scores ? Quelles caractéristiques sont utilisées pour déterminer des comportements ou des risques ? Et comment ces scores déterminent-ils l’affectation de ressources relative aux risques calculés ? Le problème, bien sûr, c’est que ces scores prennent bien plus en compte des facteurs individuels que structurels : ils reposent par exemple sur des défaillances de paiements plus que sur la montée des emplois précaires ou la réduction des prestations sociales, ils prennent plus facilement en compte l’absentéisme des élèves que les problèmes de désorganisation à l’école…

Ces systèmes portent toujours plus d’attention sur les individus que sur les causes structurelles des problèmes sociaux, dénonce avec justesse le Data Justice Lab. Le risque, bien sûr, c’est de produire une modification profonde des relations des organismes publics avec les citoyens ou des entreprises avec leurs employés en accusant toujours les comportements individuels plutôt que les défaillances structurelles ou organisationnelles !

Scores de données : la responsabilité individuelle plutôt que les défaillances structurelles

Couverture du livre Femmes InvisiblesDans un rapport (.pdf) (qui date de décembre 2018) coordonné par Lina Dencik (@LinaDencik), Arne Hintz (@arne_hz), Joanna Redden et Harry Warne, le Data Justice Lab s’est intéressé en profondeur à l’avènement de ces « scores de données » dans les services publics du Royaume-Uni. Le rapport livre plusieurs études de cas (qui portent sur des systèmes liés à la fraude sociale, à la santé, à la protection de l’enfance, aux services sociaux comme à la police), mais souligne surtout la grande carence d’informations sur les déploiements de ces systèmes, que ce soit sur les objectifs des systèmes, les données utilisées, tout comme sur les résultats produits.

Le Data Justice Lab alerte également sur l’étendue de la collecte et du partage de données opérés par ces projets, leur manque criant de transparence, le fait qu’ils soient souvent produits sans consentement des publics cibles, sans garde-fous éthiques, sans garanties ni modalités de contestation, sans association des usagers… et surtout bien sûr, le fait qu’étiqueter quelqu’un à risque consiste essentiellement à cibler et stigmatiser les plus fragiles.

L’analyse de données automatisée est promue dans un contexte économique de baisse budgétaire, de maîtrise des finances publiques et d’amélioration des services publics. Mais, l’introduction de l’analyse de données dans les services publics conduit surtout à réduire les soins, les prestations sociales et les droits, sans que les personnes concernées n’aient la possibilité de comprendre ou contester ces mesures, comme l’ont montré les travaux de Virginia Eubanks. Ces analyses de données reposent sur des pratiques de catégorisation, de segmentation, d’évaluation et de classement des populations en fonction de divers critères dans le but d’allouer les services en conséquence de ces critères et d’identifier des risques ou comportements spécifiques. Le scoring, c’est-à-dire le résultat d’analyse de ces critères, produit des indicateurs qui permettent de rendre les catégorisations effectives. Le scoring est utilisé depuis longtemps dans le secteur financier et le crédit où on utilise non seulement des données « socialement orientées » mais également, de plus en plus, des données comportementales (usages des téléphones mobiles par exemple) ou sociales (analyse des réseaux relationnels par exemple). Ces scores se sont ensuite répandus dans les services publics, notamment dans le secteur éducatif aux États-Unis, dans la mesure de risques juridiques, les outils de contrôle aux frontières, dans la santé et les politiques sociales liées à l’enfance et la famille. Au Royaume-Uni, l’analyse et l’utilisation des scores sont, pour l’instant encore, peu documentées. La Commission de la science et de la technologie de la Chambre des communes dans un rapport (.pdf) recommande au gouvernement de produire, maintenir et publier une liste des algorithmes utilisés par les autorités, notamment là où leur impact social est majeur. Dans les faits, il semble que nous soyons encore assez loin.

Dans leur étude, le Data Justice Lab revient sur plusieurs outils déployés en Grande-Bretagne. À défaut de les observer tous, intéressons-nous à l’un d’entre eux.

À Bristol, le centre d’analyse intégré vise à permettre aux services municipaux de traiter les familles dans leur ensemble, plutôt que chaque service indépendamment. Le programme Troubled Families, lancé en 2011, vise à aider les familles en proie à d’innombrables difficultés… Pour cela, le centre a construit une base de données (Think Family) avec des informations provenant de 35 ensembles de données concernant 54 000 familles. Le but : offrir une compréhension « holistique » des familles confrontées aux problèmes sociaux.

Depuis la création de cet outil d’agrégation de données, la ville a déployé des outils de modélisation prédictive… Parmi les données collectées, il y a des informations de police, des informations scolaires (sur les absences et les exclusions notamment), des informations provenant de l’assistance sociale, de santé… Le centre d’analyse achète également des données de partenaires privés (sur les évolutions socio-démographiques des quartiers notamment). Le centre produit un score de risque pour chaque jeune de sa base de données, basé sur des données d’entraînements provenant de seulement 31 victimes confirmées des années précédentes.

Le rapport souligne que le modèle repose essentiellement sur des données négatives (fréquentation scolaire, violence domestique…) excluant des données contextuelles (par exemple, le fait qu’un enfant soit actif dans des associations, même si sa fréquentation scolaire est plus problématique). Quelque 450 travailleurs sociaux ont accès au système. Il pointe également que les résultats de ce modèle ne dispensent pas de l’avis de professionnels, mais visent surtout à permettre de comprendre les difficultés à venir pour favoriser des interventions en amont.

Le système n’est pourtant pas si optimal qu’il le promet. Par exemple, l’équipe du centre n’a pas la possibilité de corriger les données qui proviennent d’autres services, même quand elles posent problèmes. L’autre enjeu est que le système influe sur les pratiques de travail des travailleurs sociaux, notamment sur le rapport aux enfants que les scores produisent en créant des risques de mauvaise interprétation… Le vrai problème, c’est bien souvent la sur-réaction aux données, comme l’expliquait Ben Green. L’autre difficulté, c’est que le système génère ses propres boucles de rétroactions. Par exemple, un travailleur social peut avoir tendance à prévenir la police du risque élevé affecté à un enfant, mais dans le modèle lui-même, le contact avec la police est lui-même un facteur qui élève le risque ! Exemple typique de boucles de rétroactions où les scores s’alimentent les uns les autres, au risque de produire des indices encore plus problématiques qu’ils ne sont ! Enfin, rappellent les auteurs du rapport, un système de ce type oublie le travail préventif et proactif, pour favoriser des réactions à des seuils et niveaux de risques. Il concentre le travail sur certains cas, au détriment des autres. Dans un contexte d’austérité et de ressources limitées, le risque est de ne travailler qu’à partir de certains scores, qu’à certains niveaux de vulnérabilité, que depuis des alertes… Enfin, bien sûr, si le système peut identifier des besoins, reste à savoir si les structures d’aides à l’enfance peuvent y répondre ! Le risque, bien sûr, c’est qu’à mesure qu’elles perdent en moyens, les seuils d’alertes s’élèvent… Enfin, comme le pointait une étude que nous avions relayée sur les systèmes d’identification automatisés des enfants à risques par les services à l’enfance britanniques, aucun de ces systèmes de prédiction des risques ne donne de résultats probants.

Le rapport consacre également plusieurs pages au rôle que jouent des ensembles de données privées dans ces projets à destination de services publics. Il détaille notamment le cas d’Experian, une agence d’évaluation du crédit à la consommation qui dispose d’un outil de segmentation géodémographique – moteur de la personnalisation publicitaire, comme l’expliquait Tim Wu dans son livre, Les marchands d’attention – lui permettant de trier la population en segments. Mais c’est également le cas d’entreprises comme Xantura, Callcredit et Capita qui fournissent des services de profilage, de vérification d’identité ou d’évaluation des risques. Né dans les années 60, le développement des techniques de géodémographie a été financé par le ministère américain du Logement pour parvenir à mieux cibler les subventions au logement, avant d’être étendu à des usages plus commerciaux. Dans les années 80, ces travaux ont été adaptés au Royaume-Uni par Richard Webber afin de produire une classification des quartiers (Webber a fondé la division micromarketing d’Experian). Pour ses promoteurs, la géodémographie consiste à dire que l’endroit où l’on vit compte pour comprendre les valeurs, choix et comportements des consommateurs. Elle utilise de nombreuses données pour placer chaque citoyen dans une catégorie en fonction du quartier où il vit. Dans le secteur public, les autorités publiques, et surtout locales, intègrent de plus en plus souvent des données géodémographiques pour affiner les leurs. Mosaic, le produit de classement géodémographique d’Experian, classe les individus en 15 grands groupes et 66 types. Reste que si les services utilisent, les chercheurs soulignent qu’on ne sait pas grand-chose des données mobilisées par ces entreprises, ni les méthodes d’analyses qu’elles y appliquent. Experian estime détenir des informations sur 49 millions des 63 millions d’adultes du Royaume-Uni… et sait produire des taux de correspondance à 50 % avec Facebook et 35 % pour Twitter.

Vers des systèmes sans évaluation qui transforment les problèmes sociaux en problèmes individuels

La dernière partie du rapport donne la parole à différents groupes de la société civile que les auteurs ont rencontré, des associations britanniques qui travaillent dans le domaine des droits numériques, des droits sociaux, de l’éducation en les interrogeant sur leur compréhension de ces systèmes (comme Defend Council Housing, Disabled People Against Cuts, Netpol, Big Brother Watch, Open Rights Group, Involve, Liberty,British Association of Social Workers). Pour l’essentiel, celles-ci se montrent inquiètes de ces évolutions, à la fois en ce qui concerne l’étendue de la collecte, du partage, le risque de partialité et de discrimination, la possibilité de ciblage, de stigmatisation, de stéréotypie de groupes, le manque de transparence, de consentement, d’information… L’inquiétude porte notamment sur une forme de « maximisation des données » qui consiste à collecter toujours plus de données et à accroître leur partage sans grandes limites, quel que soit le caractère sensible des données. Or, nombreux rappellent que la minimisation des données est essentielle pour répondre à cette tendance. Les personnes calculées et les associations s’inquiètent de cette fluidification des données : les communautés de migrants par exemple s’inquiètent de voir leurs statuts d’immigration divulgués quand ils se rendent à l’hôpital et que celui-ci puisse être utilisé pour les exclure des soins ou les dénoncer aux services sociaux ou de police… et ont donc tendance à renoncer à se rendre dans certains services publics. Autres constats que dressent les associations, celle de la transformation du travail, notamment des travailleurs sociaux, qui passent de plus en plus de temps à collecter et renseigner les données. Les systèmes transforment la façon dont les problèmes et les solutions sont définis. Or, bien souvent, les systèmes mis en place pensent que les données sont la solution, plutôt que de s’interroger sur pourquoi et comment elles peuvent y contribuer. Beaucoup d’acteurs sont préoccupés par cette collecte extensive et plus encore par la situation de monopole qu’elle crée, renforçant la nature asymétrique du pouvoir entre les autorités et les administrés. Bien sûr, les acteurs de la société civile sont très inquiets des effets de stigmatisation, de ciblage, de stéréotypie et de discrimination que renforcent ces outils. « Les personnes bénéficiant de l’aide sociale ont toujours été particulièrement visées (par le contrôle social) et cela semble s’aggraver », estime Big Brother Watch. De quel droit étiquetons-nous quelqu’un à risque uniquement parce qu’il appartient à une famille pauvre ?, s’inquiète l’Open Rights Group. Sans compter que l’étiquetage a tendance à être durable si ce n’est permanent. Tous s’inquiètent du manque de transparence des systèmes, des critères, des calculs. Quant au consentement, il est bien souvent arraché sans que les familles n’en saisissent les implications ou ne puissent en fait s’y opposer. Tous les groupes de la société civile souhaitent une meilleure réglementation, mais peinent à en formuler les règles qui seraient nécessaires. Pour tous pourtant, ces systèmes sont politiques. L’exploitation des données est profondément liée à l’austérité. Le but n’est pas de les utiliser au service des gens, mais bien de construire une approche très technologique de la politique dans une forme d’hypersurveillance des plus en difficultés.

Dans leurs conclusions, les chercheurs soulignent la difficulté à évaluer les différents systèmes mis en place, du fait qu’aucune procédure standard n’est mise en œuvre et que leurs usages mêmes peuvent être très différents d’un acteur l’autre. Certains s’en servent pour maximiser l’information, d’autres pour calculer de nouvelles informations. Reste que tous ces systèmes se mettent en place dans des contextes d’austérité, c’est-à-dire visent à utiliser les données pour mieux définir les ressources, mais sans que ces enjeux d’affectation des ressources ne soient posés en regard du déploiement de ces systèmes de calcul. Nous entrons dans des services « riches en données, mais pauvres en ressources », comme s’en inquiétait Dan McQuillan pour Open Democracy. Si ces systèmes laissent souvent à ceux qui y accèdent des modalités d’appréciation, la limitation des ressources et la déqualification des personnels font que ces résultats limitent considérablement leur appréciation. Pour les calculés en tout cas, la manière (et les raisons) de mise en œuvre de ces systèmes reste insaisissable. Le manque de transparence demeure un problème majeur. Quand, il y a quelques modalités d’organisation de la transparence, celles-ci sont insuffisantes pour remédier à l’asymétrie de pouvoir entre les institutions et les citoyens… En tout cas, elle ne conduit pas à des possibilités de recours efficaces.

Pour les chercheurs, il est plus que nécessaire d’ouvrir ces systèmes à des audits citoyens et à des formes de participation du public. À nouveau, nombre de ces systèmes visent d’une manière disproportionnée une partie particulière de la population : ceux qui font appel aux services sociaux. Pour les chercheurs, il est nécessaire de mieux équilibrer l’utilisation des données et notamment mieux comprendre les situations où elles ne sont pas nécessaires et quand elles risquent de produire des utilisations qui vont au-delà de leurs objectifs, même ceux qui semblent vertueux, comme une vision plus intégrée des bénéficiaires. Enfin, il y a une hypothèse sous-jacente aux développements de ces systèmes : celle que l’information conduit à agir, mais sans que les actions produites par les scores soient elles-mêmes définies ! Produisent-elles des mesures plus préventives ou plus punitives ? Comment ces actions sont-elles évaluées et décidées ? Quels effets produit l’étiquetage des populations ? Et plus encore, quels effets produisent ces étiquetages de risque dans des chaînes de systèmes ?… Il est aussi nécessaire d’observer le réductionnisme que ces données produisent au détriment de la connaissance sociale et réelle des personnes, permettant à des opérateurs d’agir sans qu’ils aient la connaissance des contextes particuliers des personnes cibles. Enfin, bien sûr, ces systèmes privilégient des calculs et des réponses individuelles sans que soit interrogée la démission des réponses collectives ou structurelles que ces réponses atomisées induisent. Par exemple, nous courons le risque de mesurer l’impact des absences scolaires, mais pas les lacunes d’un accompagnement scolaire défaillant, car non financé. Ces systèmes renforcent finalement les corrélations sur les causalités et transforment les problèmes sociaux en problèmes toujours plus individuels. Les individus ne sont plus vus comme des participants à la société, mais uniquement comme des risques. Pire, bien souvent ces systèmes disqualifient les professionnels qui sont en première ligne avec ces publics… comme si finalement les données pouvaient remplacer leurs évaluations, leurs expériences, leurs compréhensions des contextes réels des familles.

Couverture du rapport sur l'Electronic Visit VerificationIllustrons ces constats d’un autre exemple pour nous aider à comprendre. De l’autre côté de l’Atlantique, le toujours excellent Data & Society (@datasociety) vient lui de publier un rapport sur la surveillance des personnels de soins à domicile. En effet, l’État fédéral a lancé une application mobile de vérification électronique des visites (EVV) permettant de surveiller à la fois les personnels de soins et ceux qui bénéficient de leurs aides, bien souvent deux populations l’une comme l’autre marginalisées. Pour la chercheuse Alexandra Mateescu (@cariatidaa), ces systèmes de contrôle, très intrusifs, privilégient des formes de normalisation et d’efficacité au détriment des expériences vécues et des réalités de terrain. Ces applications enregistrent les heures et les déplacements des personnels de soin à domicile. L’application de suivi a rendu le travail des travailleurs du soin plus difficile et a tendu les relations entre les travailleurs et les bénéficiaires, par exemple en informant les aidants que les fonds des bénéficiaires étaient insuffisants alors qu’ils ne l’étaient pas. Ces systèmes exigent des validations permanentes et contraignantes, plusieurs fois par jour. Déployés au prétexte de fraudes – sans que leurs niveaux ne soient jamais évalués -, ces systèmes de contrôle produisent des erreurs, au détriment de ceux qui prodiguent le soin comme de leurs patients, expliquaient Virginia Eubanks et Alexandra Mateescu cet été dans une tribune pour The Guardian. Dotée de fonctions de géolocalisation (pour vérifier que les travailleurs à domicile se rendent bien au domicile des bénéficiaires), l’application signale par exemple automatiquement le fait de s’éloigner du domicile des bénéficiaires, comme pour les emmener à un rendez-vous chez le médecin, et demande de le justifier. Au final, nombre de bénéficiaires ne souhaitent plus bouger de chez eux, de peur que ces signalements ne leur fassent perdre les prestations de soins à domicile dont ils bénéficient. Une surveillance qui risque de miner le droit à l’autonomie des personnes dépendantes, rappellent les chercheuses. Le système ne surveille finalement pas seulement le personnel qui dispense des soins, mais également ceux qui en bénéficient, explique une association qui mène campagne contre la généralisation du système. Le système a également produit des retards de paiement généralisés. Rappelons au passage que l’Arkansas, où ont eu lieu les premiers déploiements de ce système, avait déjà été épinglé pour des problèmes relatifs à des systèmes d’évaluation des besoins des personnes handicapées en 2016 (voir notre article « L’État automatisé au risque d’une crise de légitimité »). Pourtant, tous les systèmes de surveillance des personnels qui fournissent des soins à domicile ne sont pas conçus de la même manière. En Californie, le syndicat des travailleurs domestiques et l’organisation pour les droits des personnes handicapées ont collaboré pour produire un système qui ne recueille pas de données de déplacements ni n’enregistre les heures passées en temps réel. En Virginie, la géolocalisation est facultative et exempte les aidants familiaux du système. En étant conçus sans prendre en compte les besoins réels des personnes, en produisant du surcontrôle, ces systèmes produisent surtout du mépris envers les populations qu’ils sont censés adresser.

Couverture du rapport Little Tech WorkersLe risque, bien sûr, c’est que ces formes d’hypersurveillance se démultiplient. L’association Coworker (@teamcoworker) a récemment publié un rapport (.pdf) (et une base de données des plateformes et applications de surveillance au travail) qui revient sur l’explosion des outils d’analyse et de gestion des travailleurs. Des outils qui sapent et contournent les réglementations en matière de travail et qui ne sont pas transparents sur les données qu’ils collectent et la manière dont ils en tirent profit. Ce secteur des « Little Tech », comme les appelle CoWorker – mais qui relèvent bien plus du « bossware » – qui collecte des données sur les travailleurs, approfondit et accélère une forme d’ubérisation généralisée de l’emploi. Ce secteur met concrètement en œuvre l’infrastructure qui fait tourner l’économie, les lieux de travail et les marchés de l’emploi. Cette Little Tech qui outille notamment l’économie des petits boulots, produit des technologies d’amélioration de la productivité, en exploitant des données sensibles, sans rémunérer davantage les travailleurs, et bien souvent, en portant atteinte à leur sécurité, et sans prévenir des formes de discriminations. « L’industrie technologique n’est pas puissante à cause des produits qu’elle développe, mais parce qu’elle restructure fondamentalement les marchés du travail (…) par une surveillance sans contrôle ».

Hubert Guillaud

MAJ : Eve Zellickson (@zel_eve) pour Points, le magazine de Data & Society revient sur le vol des pourboires par les plateformes de l’économie des petits boulots. Amazon a été condamné à payer 61,7 millions de dollars pour vol de pourboire à ses chauffeurs ! Les chauffeurs ont fini par remarquer que les pourboires étaient à la baisse et s’en sont plaint. Amazon leur a répondu individuellement en soutenant qu’ils recevaient 100 % des pourboires, alors que l’entreprise les utilisait en partie pour améliorer le salaire de base que gère l’application. Zellickson note que les chauffeurs sont habitués à être en relation avec un support peu réactif face aux problèmes qu’ils rencontrent, hormis pour la livraison elle-même. Le problème de l’absence de communication réciproque et de processus clair de résolutions de conflits, dans ces applications, est au cœur de bien des problèmes, souligne la chercheuse. Signalons que ce problème ne touche pas qu’Amazon.

Du soin à la surveillance…

La surveillance relève la plupart du temps de la coercition, mais bien souvent, elle nous est présentée comme un moyen de prendre soin des autres, et cet argument sert à nous y adapter, à normaliser et justifier la surveillance. Le problème, c’est que l’argument de la protection de nos proches, comme le proposent nombre de technologies proposées aux parents par exemple, contribue à l’acceptation finalement de bien d’autres formes de surveillance. Pour autant, si la surveillance relève bien d’une idéologie, si la surveillance de nos proches peut relever du soin, elle a des conséquences problématiques sur nos capacités à faire société, quand elle instrumente et alimente nos anxiétés en réseaux.

De la surveillance des enfants à la surveillance d’État : un continuum

Couverture du livre The Distance Cure de Hannah ZeavinEn février, Hannah Zeavin (@hzeavin), historienne spécialiste des technologies médicales (qui s’apprête à publier cet été The Distance Cure, MIT Press, 2021, une histoire de la « téléthérapie »), revenait pour Real Life (@_reallifemag) sur l’origine du babyphone, ce fantasme de vigilance parentale. Depuis l’enlèvement du bébé Lindbergh au début des années 30 et la frénésie médiatique qui l’a accompagné, la peur des disparitions d’enfants a façonné les technologies de leur surveillance. « La promesse d’étendre et d’augmenter l’attention et la protection parentales a conduit à la commercialisation et au développement de nombre de technologies parentales de surveillance des enfants comme de ceux qui en ont la charge ». L’intensification de la surveillance parentale liée aux vulnérabilités des enfants définit différentes menaces face auxquelles les enfants ne sont pourtant pas tous égaux socialement. Pour autant, ces modalités modernes de surveillance n’ont cessé de s’étendre : le babyphone inventé à la fin des années 30 est désormais utilisé par environ 75 % des parents américains. Il a été complété depuis de nombreux autres appareils (bracelets GPS, dispositifs biométriques…) dans une offre d’innovation toujours plus étendue. Ces surveillances ont l’air innocentes, mais leurs implications ne sont pas sans poser problème, à l’image des caméras pour surveiller celles et ceux qui s’occupent des enfants. Lorsqu’elles sont apparues, l’industrie et la culpabilité parentale ont été stimulées par les images qui en ont été diffusées. L’anxiété s’ajoute au classisme, voire au sexisme ou au racisme, et participe notamment d’une matrice psychologique ancienne à l’égard des travailleurs domestiques comme des enfants.

Les dispositifs de surveillance numériques tiennent de dispositifs d’auto-apaisements, explique Hannah Zeavin. « Le soin s’accommode et justifie la surveillance et la présente comme une nécessité de sécurité, une nécessité « éthique », plutôt que comme un choix politique ». Les technologies de surveillance domestiques se présentent comme permettant de renforcer les barrières entre l’extérieur et l’intérieur, alors que les captures qu’elles produisent (données et vidéo notamment) ouvrent de nouvelles voies d’intrusion dans les foyers (par d’autres services que ce soit la police ou les fournisseurs de technologies, mais aussi par leur piratage…), renforçant finalement les anxiétés qu’elles sont censées apaiser. Ces technologies ne cessent de renforcer leurs techniques pour lutter contre l’anxiété qu’elles génèrent, comme quand les babyphones se dotent de capteurs biométriques pour tenter de distinguer le sommeil d’un arrêt respiratoire. En fait, souligne l’historienne, ces outils développent surtout l’anxiété des parents : la compulsion à leur vérification conduit nombre d’entre à des insomnies voire à des dépressions et les faux positifs de ces appareils conduisent également nombre de parents jusqu’aux services pédiatriques d’urgence expliquait le New York Times.

Pour Hannah Zeavin, la surveillance des enfants et la surveillance d’État sont moins distinctes qu’il n’y paraît. L’utilisation de technologies parentales peut sembler un choix individuel, mais leur portée dépasse souvent ce cadre par les impacts qu’ils peuvent produire auprès de services sociaux, des services de police ou par l’entretien voire le renforcement des préjugés culturels de la société. Le risque de leur généralisation ou de leur extension (à l’école notamment) montre que les compromis moraux et politiques des parents ont un impact au-delà de la cellule privée. Du soin à la surveillance, il y a un continuum d’anxiété qui a des effets sur la société elle-même.

Distinguer le soin de la surveillance : une question de genre ?

Dans un autre article du magazine Real Life, Autumm Caines (@autumm) revient sur la militarisation du soin. Pour cela, la chercheuse rappelle la distinction établie par l’éthique de la sollicitude (ou éthique du care), dans les travaux fondateurs des années 80 de Nel Noddings (auteure de Caring, University of California Press, 1984, non traduit) et de Carol Gilligan (auteure de Une voix différente, 1986) : à savoir, la distinction entre « l’attention vertueuse » et « l’attention relationnelle », la première étant plus théorique et générale, quand la seconde est plus intime et contingente – la seconde étant souvent plus dévaluée que la première et plus souvent féminisée. Les deux semblent pourtant pareillement utilisées pour justifier le déploiement de la surveillance de nos proches, pourtant elles restent mobilisées distinctement l’une de l’autre. Pour Caines, cela montre que dans la communication, le soin reste distinct du contrôle et que l’on peut adopter l’un sans assumer les implications de l’autre. Cette distinction fait écho à celle établie par Luke Stark (@luke_stark) et Karen Levy (@karen_ec_levy) dans leur article sur le « consommateur surveillant » qui distingue le consommateur gestionnaire (le vertueux) du consommateur observateur (le relationnel). Par exemple quand les consommateurs sont recrutés pour faire de la surveillance en évaluant les travailleurs des plateformes de services (comme Uber), ils sont recrutés en invoquant un idéal de service au service de la commodité afin d’améliorer la qualité de service plutôt que de prendre soin des travailleurs qui effectuent ces services. Alors que les dispositifs de surveillance du consommateur observateur visent surtout à « améliorer » nos relations, comme le propose un babyphone. « Dans ce paradigme, la surveillance est construite comme étant normativement essentielle aux devoirs de soins (…). L’observation et le contrôle ne sont pas simplement interprétés comme les droits d’un parent responsable, d’un partenaire romantique consciencieux ou d’un enfant aimant, mais comme des obligations inhérentes à ces rôles ». Prendre soin de ceux que nous aimons est l’un des instincts humains les plus forts, et les sociétés de surveillance s’en servent comme d’une vulnérabilité. Pour Caines, « à mesure que les technologies créent des moyens de surveillance toujours plus nuancés, la ligne définissant ce qui est raisonnable de ce qui ne l’est pas devient floue » et permet de justifier des intrusions toujours plus avancées.

Dans un cas comme dans l’autre, la communication joue des stéréotypes de genre qui leur sont liés, pour renforcer ces deux types d’attention aux autres. « Leur lien avec les différentes manières de prendre soin des autres est utilisé pour inciter les gens à adopter des technologies de surveillance contraires à l’éthique, en fonction de la manière dont ils aspirent à s’identifier à ces normes : pour être suffisamment homme ou femme, il faut être capable de démontrer un engagement à surveiller d’une manière particulière ». Ces stéréotypes influencent la façon dont le soin est instrumenté dans des milieux professionnels eux-mêmes sexués et genrés. L’éducation par exemple est truffée de technologies de surveillance, comme le montrait la spécialiste du sujet Audrey Watters, avec une approche plus relationnelle quand elle concerne les enfants les plus petits. L’attention vertueuse, elle, est souvent convoquée pour promouvoir des systèmes de surveillance à distance, comme ceux déployés à l’égard des étudiants tels que ProctorU, ce système pour protéger les examens en distancie de la triche, qui visent à protéger l’intégrité académique. Dans ce cas, bien sûr, comme dans celui des plateformes de livraisons, les préjudices subis par les étudiants sont clairement minimisés. Les outils de surveillance, relationnels comme vertueux, sont également très développés dans le domaine de la santé. La poétesse et militante féministe Audre Lorde a rejeté les idées d’un soin sexué. Pour elle, le soin est un acte politique qui nécessite de reconnaître qu’il peut être utilisé comme une arme contre les intérêts des communautés auxquels chacun est relié, contre ses proches et contre soi-même. Pour Caines, cela implique que nous ayons besoin de mieux comprendre les limites du soin.

Hubert Guillaud

La militarisation du soin sur Real Life

MAJ du 24/06/2021 : Pour le « Nouveau lexique de l’IA » que lance l’AI Now Institute – un appel à contribution pour générer d’autres récits sur l’IA -, Hannah Zeavin rappelle que dès l’origine l’IA a été orientée vers le soin des humains. L’IA s’est imposée dans nombre d’établissements hospitaliers et de soins, comme alternative, outil d’aide, ou mesure palliative lorsque les infrastructures traditionnelles du soin ne sont plus accessibles (voir notre article « En médecine, l’IA est en plein essor, mais pas sa crédibiilité »). Mais en fait, l’IA a surtout contribué à étendre la portée des inégalités (tout en prétendant le contraire) car elle intègre et recodifie la race et le genre… Pour Zeavin, c’est le contrôle prédictif qui explique cette expansion rapide de l’IA dans la santé. L’IA est utilisée pour atteindre plus de gens, dans une dépersonnalisation problématique, ainsi ceux qui sont les plus loins des soins de santé, mais qui sont aussi rendus encore plus vulnérables par cette auscultation nouvelle et ce qu’elle génère… Derrière l’extension du soin qu’ils promeuvent, les outils étendent surtout la surveillance et la discrimination… et proposent de nouvelles formes de soins qui flirtent à la marge de la médecine. En fait, l’IA en santé vise une montée en charge par le déploiement de systèmes sans médecins, où les patients sont désormais responsables de la coordination de leurs propres soins, sous couvert d’une idéologie comptable et profondément individualiste. Désormais, il nous faut prendre soin de soi sans le soin d’un autre. Ce que Zeavin appelle le développement de « l’auto-soin » assisté par l’IA, une forme ultime d’accès au soin sans ce qui fonde le soin : l’autre !

Peut-on pourtant faire reposer la responsabilité des traitements uniquement sur les personnes qui en ont besoin ? Comment en sommes-nous arrivés à une forme de soin qui finalement dénie ce qui le fonde, la relation ? Pas étonnant qu’en réaction on entende parler de « soins radicaux », comme le proposent Hi’ilei Hobart (@hiokinai) ou Tamara Kneese (@tamigraph) pour nous inviter à trouver des modalités de soins plus mutuelles. Pour Kim TallBear (@kimtallbear), ces relations doivent être mises en réseau et non hiérarchisées, déroulées d’une manière spatiale sous la forme d’une toile relationnelle pour mieux prêter attention à nos obligations.

MAJ du 30/06/2021 : The Markup revient sur la multiplication de caméras de surveillance dans les maisons de retraite, placées par les enfants des retraités pour garder un oeil sur les traitements que leurs aïeux reçoivent. Des caméras qui posent des problèmes juridiques spécifiques de surveillance sur lesquels de plus en plus de juridiction américaines doivent se prononcer, alors que depuis la pandémie, la demande de surveillance des résidents en maisons de soin a augmenté. Pour Clara Berrigde qui étudie depuis longtemps l’utilisation des caméras de surveillance dans les centres de soins, celles-ci ont un coût réel en terme de perte d’intimité, de surveillance… (voir notamment son article de recherche sur l’éthique de la surveillance). Elles ne résolvent pas le problème essentiel : le fait que le personnel soit sous-payé et surchargé ! Pour elle aussi, la caméra est un symptôme plus qu’une solution. La question est en tout cas en train de devenir explosive !

❌