Dans le 3e épisode d’Algorithmique, l’excellent podcast de Next, la journaliste Mathilde Saliou s’entretient avec Valérie, la responsable des enjeux du numérique du collectif Changer de Cap. Celle-ci revient très clairement sur les relations problématiques entre les usagers et la CAF que l’association a fait remonter dès 2021 par le recueil de témoignages d’allocataires. A savoir, la démultiplication des interruptions de versement des droits du fait de contrôles automatisés et l’envolée des indus, notamment sur les aides au logements, où les personnes se voient obliger de rembourser des trop perçus sans explications de l’administration. En 2013 déjà, l’IGAS soulignait pourtant que 30% des indus n’étaient pas le fait des allocataires mais pouvaient provenir d’une erreur de réglementation ou d’erreurs de la CAF elle-même. 

Les allocataires ciblés par ce scoring sont souvent accusées de fraude, c’est-à-dire de fausse déclaration intentionnelle. Or, comme le rappelle Mathilde Saliou, pour une machine, la différence entre erreur et fraude est minime, les deux correspondent à des écarts par rapport au comportement normal. Pour les gens pourtant, la situation est très différente, surtout que quand l’accusation de fraude est déclenchée, la procédure de recours est plus complexe que lorsqu’on tente de faire corriger une erreur. « Lorsqu’il y a une accusation de fraude, on ne peut pas faire de recours amiable ni obtenir d’explication », explique la responsable numérique de Changer de Cap, qui rappelle que c’est la raison qui motive Changer de Cap à réclamer un droit aux explications algorithmiques. « On a repéré rapidement que les publics vulnérables étaient ciblés » ce qui impliquait un algorithme et un score de risque. Le score de risque amène à la démultiplication des contrôles, avec des allocataires qui peuvent subir plusieurs contrôles dans la même année. Quant au non-respect du reste à vivre que pratique la CAF, elle fait reposer sur les associations et les collectivités locales la précarité qu’elle renforce, celles-ci devant compenser l’interruption des droits que pratique la CAF. 

Pour les indus, la recherche d’indus ou les contrôles, les CAF peuvent remonter jusqu’à 2 ans en arrière et 5 ans en arrière en cas de suspicion de fraude. Les retenues sur les aides sociales pour que les gens remboursent les indus dépendent de barèmes qui peuvent ne pas laisser aux gens de quoi vivre, notamment quand elles portent sur des prestations vitales, ce qui est souvent le cas pour les plus précaires. « Une personne qui a 600 euros de RSA peut se retrouver avec 300 euros seulement si 300 euros sont retenus par les CAF. Il n’y a pas de respect du reste à vivre ». 

« Les documents obtenus par la Quadrature du Net ont permis d’apprendre qu’il y avait des variables qui font augmenter le score de risque, comme le fait d’être au RSA, d’être un parent isolé, de recevoir l’allocation adultes handicapés et avoir un petit boulot à côté. » Autant de caractéristiques discriminantes, comme l’ont mis également en avant le dossier réalisé par Le Monde et Lightouse Reports. Mais surtout, rappelle Changer de Cap, le qualificatif même de ces systèmes est faussé : « Nous on conteste l’idée que l’algorithme qui donne un score de risque fait des contrôles de fraudes, pour la simple et bonne raison qu’un algorithme ne peut pas déterminer une intentionnalité. Il calcule les aides attribuées par rapport aux aides auxquelles a droit l’allocataire. C’est un algorithme de recherche d’indus en réalité et non pas de recherche de fraude et qui traite le problème a posteriori, une fois que la somme a été versée ». 

La fraude aux prestations sociales par les usagers est très faible rappelle l’association (notamment par rapport aux fraudes aux cotisations sociales) qui juge cette surveillance des usagers disproportionnée par rapport aux montants collectés. Changer de Cap et d’autres associations comme la Quadrature du Net et la Ligue des droits de l’homme ont récemment attaqué l’algorithme de la CAF devant le Conseil d’Etat. Changer de Cap souhaiterait que les erreurs soient résolues avant de venir frapper les usagers, que les indus et suspensions soient expliqués et motivées. Mais surtout, l’association estime que nous devrions abandonner tout système de scoring, que les traitements soient transparents et subissent des contrôles de légalité, comme des mesures d’impact, mis à disposition de tous. 

L’épisode montre en tout cas très bien que le problème des algorithmes de scoring ne relève pas seulement des modalités de calcul, mais bien de ses agencements sociaux et légaux, comme les garanties et recours qu’il permet ou ne permet pas.

Pas plus qu’il n’y a de données neutres, il n’y a de calculs neutres. Ce que l’on compte et comment on le compte est primordial. Et les différentes façons de compter que l’on peut convoquer imposent avec elles leurs idéologies. Un bon exemple nous est donné avec les discussions autour de la méthode de répartition des revenus du streaming musical. 

Longtemps, la règle de répartition est restée simple, « centrée sur le marché » (market centric), comme l’expliquait le journaliste Justin Delépine dans Alternatives Economiques. Les plateformes divisent le produit des abonnements et de la publicité par le nombre d’écoutes : les plus écoutés sont les plus rémunérés. Simple ! Mais est-ce équitable ? Cette façon de mesurer favorise l’écoute intensive telle que la pratique les plus jeunes notamment, mais qui n’est pas nécessairement le mode d’écoute de tous ceux qui payent un abonnement. Elle concentre les revenus au bénéfice des plus écoutés et au détriment de la diversité. D’où l’émergence d’une autre méthode de calcul, poussée notamment par des éditeurs indépendants, « centrée sur l’usager » (user centric). Ici, le mode de redistribution valorise ce qu’écoutent les abonnées dans leur diversité, les revenus ne sont plus distribués aux plus écoutés, mais selon ce qu’apprécie chaque abonné, permettant de rééquilibrer la distribution des revenus à d’autres genres de musiques et à une plus grande diversité d’artistes. Une autre modalité a été imaginée depuis, poussée par les majors : la méthode « centrée sur l’artiste » (artist centric) qui semble exclure de la rémunération les artistes émergents pour valoriser les artistes dont le public est le plus diversifié, ceux qui totalisent le plus d’abonnés uniques différents. 

Ces différentes conceptions de la répartition de la valeur ne sont pas sans incidences concrètes. Elles nous montrent que le mode de calcul de la valeur n’est pas unique, mais multiple. Chaque modèle proposé a des avantages et des inconvénients, des effets. Tout comme les données sont toujours situées, la manière dont on compte n’est jamais objective. 

Ce que montre également cet exemple, c’est que l’orientation du mode de calcul a un impact profond et que celui-ci est assez peu évalué et qu’il est loin d’être décidé démocratiquement. Le mode de calcul est pourtant un objet politique qui devrait être au cœur de la régulation politique des plateformes. L’acteur public devrait observer les différentes modalités de calcul possibles, leurs impacts, et imposer aux plateformes un mode de répartition de la valeur sur un autre. En France par exemple, qui promeut la diversité culturelle et le soutien aux artistes émergents, le régulateur devrait imposer aux plateformes sur notre territoire un modèle plutôt user centric, qui favorise une distribution plus équitable de la valeur. Ces constats pourraient être élargis bien au-delà des plateformes musicales d’ailleurs. Fort d’études d’impacts sur la répartition de valeur dans les plateformes, nous pourrions ainsi porter des modalités de calculs de la répartition qui permettent de valoriser la création et la diversité. 

Les intérêts des uns et des autres à imposer un mode de calcul sur un autre est ici primordial. Après avoir beaucoup soutenu le market centric, les majors soutiennent désormais le modèle artist centric et, du fait de leur poids économique, parviennent à l’imposer aux plateformes qui dépendent de l’offre de leurs catalogues (les catalogues des 3 majors représentent 65% des écoutes sur les plateformes pour seulement 22% des références). Trop souvent, le choix du mode de calcul s’impose par la force. 

Dernière chose à retirer de cet exemple. Les modalités de calcul ne sont jamais uniques. Pour chaque objet de calcul, nous devrions toujours envisager plusieurs modalités, regarder leur impact et décider en fonction de ceux-ci. Or, trop souvent, les calculs nous sont proposés sans alternatives. A l’heure où ils sont partout, l’enjeu est bien d’observer leurs conséquences et de proposer d’autres options. C’est dans les modalités de calcul désormais que se situe la politique. Quand en 2014 la CAF change la modalité de calcul de la prestation de service unique (PSU), le système de mesure de la subvention qu’elle distribue aux crèches, imposant un contrôle du remplissage à l’heure, elle modifie profondément le modèle économique de celles-ci. Ce qui pose une dernière question à notre enjeu. Si l’acteur public a vocation d’être l’arbitre des négociations entre acteurs aux intérêts divergents, comme ce pourrait être le cas dans la répartition de la valeur entre acteurs privés et intérêt général… Comment peut-il être l’arbitre de l’intérêt général quand il est juge et partie des calculs qu’il produit, comme c’est le cas dans le PSU ? 

Ce que nous racontent ces histoires, c’est que nous devons observer avec attention les transformations des modalités de calcul. C’est désormais là, dans les formules Excel qui agencent les données que se fait la politique. Le risque, c’est que les transformations du calcul s’imposent de plus en plus par la force plutôt que portées par un dialogue démocratique et politique. Qui décide de comment on compte est devenu l’enjeu central d’une société fondée sur les traitements.