Le 24 novembre dernier, l’Unesco a adopté un projet de recommandation sur l’éthique de l’intelligence artificielle (IA) dans le but de donner des fondements éthiques à vocation universelle à ses états membres. Cette annonce, importante comme nous le verrons, peut de prime abord interroger. En effet, en quoi l’éthique peut-elle concerner l’IA ? Ce concept n’est-il pas réservé aux individus ? Pour répondre à cette interrogation, commençons tout d’abord par revenir aux fondements de ce qu’est l’éthique, ainsi qu’à la compréhension de ce qu’est l’IA.

L’éthique, prescripteur des valeurs et des lois

Rappelons que l’éthique est synonyme de morale, en plus actuel, les deux signifiant « les mœurs ». On compte principalement trois doctrines philosophiques permettant de définir et penser l’éthique. Résumées de manière lapidaire, on peut dire que l’éthique du philosophe de la Grèce antique Aristote consiste en un perfectionnement des vertus, conjugué à une manière d’être prudente, ayant le souci du respect des mœurs de la cité. Pour le philosophe prussien Emmanuel Kant, en revanche, l’éthique est un devoir, celui de l’impératif catégorique, qui consiste à n’agir que si l’action en jeu est universalisable, c’est-à-dire pourrait servir de modèle pour les autres hommes. Enfin, dans la pensée utilitariste, dont les précurseurs sont les penseurs britanniques Jeremy Bentham et John Stuart Mill, l’éthique consiste à choisir les actions en fonction de leurs conséquences, bonnes ou mauvaises, en visant le bonheur du plus grand nombre.

Ces trois doctrines historiques, étoffées par nombre de philosophes plus actuels (J. Habermas, H. Jonas, J. Derrida, P. Ricœur, etc.) ont façonné l’acception contemporaine du concept d’éthique tel qu’il est usité dans le débat public. Aujourd’hui, le concept éthique est généralement associé aux avis rendus par des comités consultatifs d’éthique à propos de dilemmes moraux, à l’issue de processus délibératifs, plus ou moins inclusifs et démocratiques.

Ces avis peuvent définir des valeurs, des principes voire des normes de comportements, évitant de nuire à autrui et visant le bonheur des hommes dans une société juste. Les normes, en particulier, ont une vocation pratique par leur transposition naturelle dans la loi, la réglementation ou encore les codes de déontologie, en définissant les droits et devoirs des citoyens, c’est-à-dire en fixant des limites à leurs comportements.

L’IA, science sans conscience d’elle-même

L’intelligence artificielle, quant à elle, est une technologie protéiforme visant à reproduire ou simuler l’intelligence humaine. À la croisée entre mathématiques et informatique, cette discipline connaît aujourd’hui un essor phénoménal permis par l’avènement du big data et les capacités de calculs vertigineux des microprocesseurs. L’IA permet notamment de faire des regroupements homogènes d’ensembles d’objets abstraits sur la base de données d’apprentissage. Cette fonctionnalité, a priori simple, trouve paradoxalement des applications surprenantes pour lesquelles on imaginerait des mécanismes plus complexes.

Ainsi, regrouper des images homogènes, par exemple des photos de chats, permet la reconnaissance d’image. De la même façon, regrouper les sons (phonèmes) composant des mots permet la reconnaissance vocale. Enfin, associer des objets sur la base d’un critère donné permet aux machines de raisonner et prendre des décisions, par exemple en regroupant les candidats admissibles à une embauche, c’est-à-dire en les distinguant de ceux dont la candidature est rejetée.

Cependant, quelle que soit la sophistication de l’IA et le caractère impressionnant de ses performances, l’IA actuelle est dite « faible », car elle ne permet « que » l’exécution d’une unique tâche spécifique : jouer au jeu de Go, identifier une tumeur sur une radio, détecter des transactions bancaires frauduleuses, noter le risque de défaut des emprunteurs, etc. Une intelligence artificielle générale, capable d’effectuer toutes les tâches cognitives propres aux humains, même limitées aux capacités d’un enfant de deux ans, n’est pas à l’ordre du jour, tandis que la création d’une IA dotée d’une forme de conscience de soi et de pensée reste encore un doux rêve au regard des connaissances actuelles en neurosciences.

Une IA n’est finalement rien d’autre qu’un programme informatique adaptatif (qui s’adapte à ses données d’entraînement en Machine Learning ou à son contexte en apprentissage par renforcement), sans conscience, sans valeurs, sans pensées, sans libre arbitre, incapable de discerner le bien du mal et donc d’agir volontairement et consciemment de manière conforme à la morale ou à la loi. Aussi, si une IA peut mécaniquement produire des résultats légaux, c’est-à-dire conformes à la loi, parler de comportement éthique pour une IA relève d’un non-sens, puisqu’agir de façon éthique nécessite la possibilité d’un choix en conscience, rendu possible par le libre arbitre.

L’IA est donc amorale, au même titre que toutes les technologies. Mais de la même manière que la maîtrise de l’électricité a débouché sur des applications devenues indispensables à l’humanité (se chauffer, s’éclairer…) comme néfastes (la gégène a aussi été utilisée à des fins de torture), l’IA offre des usages bénéfiques mais aussi potentiellement nuisibles pour l’humanité.

De fait, si les applications bénéfiques de l’IA sont indiscutables (amélioration des diagnostics médicaux, freinage automatique d’urgence des véhicules, maintenance prédictive, traduction automatique…), les risques qui lui sont associés existent bel et bien. On songe d’abord au risque démocratique, avec les bulles informationnelles des réseaux sociaux qui polarisent le débat, ou avec les deepfakes, ces vidéos contrefaites permettant de faire dire n’importe quoi à n’importe qui de façon très réaliste. Ensuite, l’IA permet l’émergence d’une surveillance généralisée, avec la reconnaissance faciale, voire l’analyse de nos discussions privées. On peut penser également à toutes les décisions prises automatiquement par des IA sans qu’il soit possible d’en expliquer les raisons. Ces dernières peuvent aussi être biaisées avec, en particulier, un risque de discrimination avéré. Des travaux menés aux États-Unis illustrent ce dernier point, et montrent que les populations afro-américaines de l’étude étaient davantage pénalisées par des juridictions recourant à des IA de justice prédictive. On peut y ajouter la question des armes létales autonomes, celle des externalités de l’IA en matière d’empreinte carbone ou encore de son impact sur l’emploi et les inégalités…

Encadrer l’usage de l’IA

On le voit, les risques liés aux applications de l’IA sont nombreux, manifestes et sérieux. Mais si l’on y réfléchit, ce n’est pas tant l’IA, en tant que technologie, qui est ou n’est pas éthique, mais bien davantage ses usages, imaginés et développés par des humains, car seuls ces derniers disposent d’une liberté de choix en conscience.

Alertés sur ces problèmes, les industriels et la communauté scientifique se sont lancés, assez récemment, dans des projets de recherche en IA Éthique (Fair Machine Learning), visant notamment à corriger les biais de discrimination des modèles mais aussi à rendre explicables les résultats des algorithmes. L’explicabilité a pour objet de rendre les résultats des modèles intelligibles pour les utilisateurs. Or, bien que tout algorithme soit compris par son développeur, les résultats de certaines IA ne peuvent être expliqués et justifiés de façon argumentée au regard de la complexité du modèle entraîné. On peut alors parler de boîte noire, inacceptable pour les décisions impactant la vie des individus (recrutement, crédit…). Cette question concerne tout particulièrement les réseaux de neurones, modèles inspirés des neurones biologiques, et de ses avatars les plus populaires et performants, l’apprentissage profond (ou Deep Learning) et les réseaux convolutifs pour lesquels le nombre de paramètres peut se compter en milliards. L’explicabilité est donc une condition nécessaire à l’acceptation sociale des décisions basées sur les modèles d’IA. En outre, son avènement renforcerait la confiance du citoyen dans cette technologie.

Mais si ces projets vont dans le sens d’une justice et d’une confiance accrues, cela ne suffit pas à couvrir l’étendue des risques liés à l’IA mais uniquement de ceux relevant de la légalité des modèles. Ainsi, les questions, déjà mentionnées, liées au risque démocratique, à la surveillance généralisée ou encore aux armes létales autonomes échappent à ces solutions techniques car elles sont d’une autre nature, éthique (est-il moral d’autoriser l’application concernée ?), juridique (quels sont les droits et les devoirs associés à l’application, une fois celle-ci autorisée), ou encore politique (comment gérer les conséquences économiques, sociétales et environnementales des applications concernées ?).

Précisément, le projet de recommandation pour une éthique de l’IA, adopté par les 193 membres de l’Unesco le 24 novembre dernier, pose un cadre normatif de valeurs et de principes qui constitue un socle commun, préalable à la formulation de lois et règlements par les états membres. Par exemple, une recommandation précise concerne la question de la discrimination :

« Les états membres doivent veiller à ce que les stéréotypes fondés sur le genre et les préjugés discriminatoires ne soient pas transposés dans les systèmes d’IA, mais plutôt repérés et corrigés de manière proactive. »

En outre, ce texte prône des garde-fous à toutes les étapes du cycle de vie des IA, responsabilisant les parties prenantes, les individus comme les organisations (et non pas les IA comme nous l’avons vu), concernées par la légalité, la conception, le développement et l’exploitation des applications adossées à cette technologie.

Cet évènement représente donc une avancée utile et importante mais il faut toutefois mentionner deux bémols :

• Tout d’abord, ces recommandations sont juridiquement peu contraignantes dans la mesure où les états membres ne s’engagent, au titre de la constitution de l’Unesco (art. IV, B, §4 et §6), qu’à soumettre les recommandations aux autorités nationales compétentes puis à rendre compte des suites qui leur sont données par la remise d’un rapport ultérieur.

• Ensuite, l’IA est considérée comme l’instrument de la prochaine révolution économique, c’est donc un enjeu géostratégique majeur, sur le plan économique mais aussi militaire.

Or, dans un contexte international de compétition économique exacerbée et de tensions entre grandes puissances (on pense d’abord aux relations Sino-Américaines), on peut s’interroger sur le poids de ces recommandations…

Christian Goglin ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.

L’intelligence artificielle (IA), cet ensemble de technologies visant à reproduire les capacités cognitives et affectives humaines, a envahi notre quotidien. Si certaines applications médiatisées de l’IA inquiètent, telles que la reconnaissance faciale ou les drones de combat autonomes, une application moins sensationnelle prend néanmoins une place croissante dans nos vies : l’IA comme aide à la décision.

Couplé au big data – ce concept qui fait référence à de grandes masses de données – les algorithmes de machine learning apprennent à prédire des phénomènes sur le fondement des relations (corrélations mathématiques), reliant le phénomène considéré à une grande masse de données appelée « jeu d’apprentissage ».

Ces modèles contribuent par exemple à prédire la météorologie du lendemain, sur la base de nombreuses données (température, pression, densité de l’air…). Mais ce type d’aide à la décision permet aussi de prédire si tel candidat à une formation est susceptible d’obtenir son diplôme, ou bien si tel autre candidat à l’embauche sera performant à l’avenir dans son nouveau poste, ou encore si tel emprunteur, sollicitant sa banque dans le cadre d’un crédit immobilier sera, au final, en mesure de le rembourser. On comprend dès lors l’importance sociale de ces décisions guidées par les données.

Le risque de discrimination

L’un des risques de dérive éthique majeure de ces modèles d’aide à la décision concerne la discrimination d’une personne physique sur la base d’un attribut protégé par la loi, c’est-à-dire une caractéristique de la personne qui ne peut en aucun cas être utilisée par respect des valeurs de justice et d’égalité. Par exemple, pour la France, le genre ne peut être un critère recevable pour toute prise de décision regardant la personne.

Aussi, le risque de discrimination algorithmique existe dès lors que les données du jeu d’apprentissage présentent des corrélations entre le phénomène que l’on cherche à prédire et l’attribut protégé, tel le genre.

Pour expliquer ce risque discriminatoire, plaçons-nous dans le cadre de la distribution de crédit bancaire. Supposons, à des fins d’illustration, que les emprunteurs femmes, clientes historiques d’une banque, aient en moyenne et par le passé, moins remboursé leur crédit que les hommes : alors le lien entre le genre et la prédiction du défaut (ne pas avoir remboursé l’intégralité de son crédit) sera « appris » par le modèle de machine learning, qui s’en servira pour ses prédictions futures.

En clair, les emprunteuses seront automatiquement moins bien notées (note appelée credit score) que leurs homologues masculins, toutes choses égales par ailleurs, ce qui constitue une discrimination d’après le genre, prohibée par la loi.

En première analyse, la solution à ce problème semble triviale, il suffit de supprimer tous les attributs protégés par la loi du jeu de données d’apprentissage. Pourtant, par le truchement des corrélations entre attributs protégés et non protégés, le problème demeure sous une forme indirecte, plus subtile à identifier et nécessitant des analyses statistiques.

Illustrons ce cas : en droit français, il est interdit de discriminer un individu d’après son âge. En revanche, rien ne semble interdire, a priori, de fonder la prédiction de défaut d’un client sur son ancienneté dans la banque. Or, cette variable est potentiellement liée (corrélée) à l’âge de l’individu, ce qui entraîne de facto une discrimination indirecte, bannie également en droit français.

Une proposition de règlement européen pour limiter les risques

Consciente de l’importance prise par l’IA dans la vie des citoyens européens et des risques associés, la Commission européenne a proposé un premier cadre légal pour l’IA le 21 avril 2021 dernier.

L’approche retenue est fondée sur les risques, avec une gradation des exigences en quatre niveaux selon l’activité considérée. Le credit scoring bancaire est classé dans la catégorie des risques élevés, ce qui implique que l’IA satisfasse aux exigences définies dans le titre III, chapitre 2 du règlement, préalablement à toute mise sur le marché, afin de réduire au minimum les risques, jusqu’à un niveau résiduel jugé acceptable.

Or, si le jugement de l’acceptabilité d’un niveau de risque constitue déjà une contrainte floue, la commission accorde en outre aux fournisseurs de systèmes d’IA une flexibilité en matière de solution technique de mise en conformité.

L’équité algorithmique

Ainsi, pour minimiser autant que possible le risque discriminatoire, il faut disposer d’un indicateur de mesure approprié. Or la discrimination est associée au concept protéiforme d’équité algorithmique, développé dans le champ du fair machine learning.

On distingue trois formes d’équité algorithmique : individuelle, de groupe et contrefactuelle. La première correspond à la discrimination telle que définie dans les textes légaux (chaque individu est évalué indépendamment des attributs protégés) ; la seconde se situe au niveau du groupe et exige une classification identique pour les individus appartenant à même groupe (par exemple le groupe des femmes) ; la troisième forme impose que les résultats de classification soient insensibles à la modification des valeurs des attributs protégés.

Pour un motif de complexité, l’équité de groupe est privilégiée par les chercheurs comme moyen opérationnel de mesure de l’intensité discriminatoire d’un modèle prédictif. Mais là encore, plusieurs indicateurs entrent en concurrence.

Quelle mesure pertinente du risque de discrimination ?

Considérons les deux principaux indicateurs, pertinents dans le cadre du « credit scoring » :

• L’indicateur d’indépendance impose une prédiction identique pour les groupes définis par l’attribut protégé, ce qui revient à dire, avec l’exemple du genre, que les proportions de femmes et d’hommes obtenant un crédit devraient être strictement égales.

• Au contraire, l’indicateur de séparation autorise des proportions différentes de crédits alloués entre hommes et femmes, mais exige des proportions d’erreurs de prédiction identiques pour les femmes et les hommes.

Ce dernier indicateur semble davantage adapté au cas qui nous intéresse, car le fait d’imposer une stricte égalité dans les proportions de crédits alloués entre hommes et femmes (indicateur d’indépendance parfait) n’est ni une conséquence nécessaire ni une conséquence souhaitable de l’équité individuelle.

Cette idée contre-intuitive s’explique ainsi : si une corrélation empirique réelle existe entre le genre et le défaut, alors ne pas en tenir compte conduirait à allouer des crédits en excès à des individus qui ne pourraient honorer leur dette, les faisant tomber dans la spirale du surendettement, ou bien à ne pas prêter à des personnes pourtant solvables, les menant à une situation d’exclusion bancaire, ces deux résultats étant coûteux socialement.

On comprend dès lors que, dans le cadre du crédit bancaire, le choix d’un indicateur de mesure de la discrimination n’est ni évident, ni neutre.

Un cadre légal qui nécessite davantage de précisions

Aussi, si le cadre légal proposé par la Commission européenne représente une avancée précisant les lignes directrices du futur cadre réglementaire, des conflits d’interprétation inévitables demeurent.

Et certains points, tels les indicateurs de mesure de la discrimination admissibles ainsi que les seuils qui leur sont associés, mériteraient davantage de précisions.

Notons qu’une fois ce cadre réglementaire finalisé et le calendrier d’entrée en vigueur fixé, le secteur bancaire devra se mettre en conformité urgemment car l’APCR notait en juin 2020 que très peu d’institutions financières s’étaient engagées jusque-là dans l’identification et la remédiation des biais de leurs modèles d’IA.

Si l’enjeu de la discrimination par les IA est peu médiatisé, il est pourtant crucial tant les décisions de ces modèles affectent les citoyens à des moments clés de leur vie, déterminants pour leur intégration à la société comme pour l’amélioration de leur niveau de vie : accès à un établissement d’enseignement, accès à l’embauche, distribution de crédit…

Christian Goglin ne travaille pas, ne conseille pas, ne possède pas de parts, ne reçoit pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'a déclaré aucune autre affiliation que son organisme de recherche.