Le 6 février dernier, lors d’un événement officiellement affilié au Sommet pour l’Action sur l’IA, Wavestone et la French Tech Grand Paris ont présenté le livre blanc “L’IA dans les grandes organisations : état des lieux et perspectives 2025″, réalisé en partenariat avec Hub France IA et Viva Technology. Accessible aux non-experts tout en restant précis et équilibré pour les spécialistes, ce document de 15 pages donne la parole à ceux qui rendent possible l’utilisation quotidienne de l’IA au sein des entreprises.

La perception dominante de l’IA est largement influencée par les discours des acteurs de la Big Tech, des start-ups et des décideurs politiques. Or, ceux-ci mettent généralement en avant les avancées technologiques et les cas d’usage réussis, laissant dans l’ombre les difficultés rencontrées par les grandes entreprises lors de l’adoption et de l’implémentation de ces technologies, les travaux en cours et les perspectives.

Ce livre blanc, auquel plus de 40 professionnels, jouant chacun un rôle clé dans la mise en œuvre de l’IA au sein de leur organisation respective ont contribué, cherche justement à combler ces lacunes.

L’une des conclusions majeures du livre blanc est la nécessité d’une gouvernance robuste de l’IA. Alors que l’IA générative suscite un intérêt grandissant, les entreprises doivent repenser leur approche en l’intégrant à leurs stratégies globales. La conformité aux réglementations, notamment l’AI Act européen, soulève des interrogations quant à l’harmonisation des différentes juridictions et à la manière dont les entreprises peuvent s’adapter efficacement.

Chadi Hantouche, Partner Wavestone, a partagé sur LinkedIn, les principaux enseignements tirés de ce rapport articulé autour de 8 chapitres :

Chapitre 1 : Gouvernance de l’IA pour la réussite des métiers et la conformité

• Deux ans après l’essor de l’IA Générative, les démarches en entreprise se structurent, en alignant la technologie aux besoins métiers, et plus l’inverse.
• La visibilité apportée par l’IA Générative offre une opportunité de s’attaquer à des défis persistants en matière de Data et d’IA, avec du support et du budget !
• La complexité de gouvernance du sujet vient en particulier de ses nombreuses facettes, aux maturités hétérogènes, et d’un horizon réglementaire incertain.

Chapitre 2 : L’IA en action, cas d’usage et adoption

• Beaucoup d’entreprises se sont lancées dans une course au cas d’usage, dont peu sont en réalité « révolutionnaires » et passent à très grande échelle.
• Démontrer un retour sur investissement est encore complexe, en particulier quand les gains sont de l’ordre de l’efficacité individuelle.
• Une adoption réussie de systèmes d’IA par les collaborateurs demande une véritable conduite du changement, et ce sujet est encore souvent négligé.

Chapitre 3 : Aspects techniques de l’IA traditionnelle et générative

• L’IA générative ne vient pas remplacer les autres types d’IA. C’est une option de plus, avec ses avantages et ses inconvénients.
• Il est difficile de faire de grands choix technologiques dans un contexte aussi mouvant. Au-delà de ces choix, bien aborder l’architecture/organisation autour est clé.
• Deux orientations semblent claires : les modèles d’IA deviennent majoritairement des commodités, et l’avenir sera multi-IA, multi-agents, multi-modal.

Chapitre 4 : Confiance numérique – Les risques Cyber de l’IA

• L’IA, en particulier générative, amplifie des risques Cyber existants, mais en amène aussi des nouveaux. Cette menace bouge aussi vite que la technologie.
• Des méthodologies de gestion du risque IA émergent. La gouvernance reste à consolider, notamment vis-à-vis des tiers qui vont tous proposer de l’IA.
• Le savoir-faire cyber autour de systèmes d’IA est encore rare. La réponse à incident est complexe, et amène les entreprises à l’externaliser.

Chapitre 5 : Éthique et responsabilité environnementale

• L’IA tire depuis toujours des questions éthiques et humaines. Celles-ci sont amplifiées et pressées par l’arrivée de l’IA Générative.
• Si l’IA traditionnelle peut aider dans la crise climatique, l’IA Générative, elle, l’aggrave. Les entreprises tentent, en majorité, de sensibiliser leurs utilisateurs à ce sujet.
• Plusieurs approches rendront possible la pratique d’une IA responsable : frugalité, transparence, métriques standardisées, et réglementation.

Chapitre 6 : L’avenir du travail avec l’IA (Générative)

• L’IA traditionnelle “révolutionnait” déjà des métiers. L’IA générative a créé une vague qui touche tout le monde, et l’arrivée des agents IA va encore accélérer ce mouvement.
• Toutes les entreprises ont mis en place des formations, plus ou moins avancées. Malgré cela, le niveau général de maîtrise, y compris par le management, reste faible.
• Les départements RH en entreprise commencent à s’emparer du sujet – pour préparer les employés au futur, et aussi pour rester un employeur attractif.

Chapitre 7 : La course mondiale aux talents en IA

• La compétition pour les meilleurs experts en IA est véritablement mondiale, et oppose les grandes entreprises aux géants de la Tech.
• Le manque de compétences dans le domaine de l’IA va nécessiter de former, de rediriger des carrières, et d’ouvrir le domaine à des profils plus divers.
• Cette course aux talents va aussi devoir trouver des réponses communes entre les entreprises, les formations supérieures, et un appui politique.

Chapitre 8 : Autonomie stratégique à l’ère de l’IA

• L’IA devient un enjeu de pouvoir géopolitique et économique, avec le risque qu’il soit détenu par une poignée d’acteurs.
• Certaines entreprises travaillent à créer un écosystème les rendant moins dépendantes à ces acteurs. L’open source peut y jouer un rôle important.
• Une gouvernance mondiale sur certains sujets critiques est indispensable, bien que sa mise en œuvre paraisse difficile dans le contexte actuel, très polarisé.

Retrouver les lignes directrices et le livre blanc ici.

Le premier rapport international sur la sécurité de l’intelligence artificielle, dirigé par Yoshua Bengio et fruit de la collaboration de 96 experts internationaux, vient poser les bases d’une compréhension partagée des risques des systèmes d’IA avancés et de la manière dont ils peuvent être atténués. Inspiré par les travaux du Groupe d’experts intergouvernemental sur l’évolution du climat des Nations Unies, ce document, publié le 29 janvier dernier, contribuera à éclairer les discussions du Sommet pour l’action sur l’IA.

Lors du 1er sommet sur la sécurité de l’IA, 30 pays ont convenu d’établir une compréhension scientifique et factuelle commune des risques de l’IA de pointe grâce à l’élaboration d’un rapport international, indépendant et inclusif sur les risques et les capacités de l’IA de pointe.

Hôte de l’événement, le Royaume-Uni a chargé Yoshua Bengio de le superviser. Cet éminent expert en IA, lauréat du prestigieux prix Turing en 2018, professeur titulaire à l’Université de Montréal, est le fondateur et directeur scientifique de Mila, l’Institut québécois d’IA. Il a été l’un des signataires de la lettre demandant une pause dans le développement des grands modèles de fondation et a fait partie des militants pour un encadrement strict de l’IA en Europe, en amont de l’AI Act.

Le second sommet, qui s’est déroulé à Séoul, s’est appuyé sur une première version provisoire de ce rapport qui fournit désormais une synthèse complète de la littérature existante sur les risques et les capacités des modèles d’IA de pointe.

Il résume les preuves scientifiques sur 3 questions fondamentales :

• Que peut faire l’IA à usage général ?
• Quels sont les risques associés à l’IA à usage général ?
• Quelles sont les techniques d’atténuation contre ces risques ?

Une nécessaire prise de conscience

Les systèmes d’IA à usage général, capables d’effectuer une grande variété de tâches, progressent à une vitesse inédite. Non seulement ils peuvent écrire des programmes complexes et détecter des cybervulnérabilités, mais ils atteignent également des performances comparables à celles d’experts humains en sciences fondamentales. Ces avancées s’accompagnent cependant de nouveaux risques.

Rédigé par des experts provenant de 30 pays, de l’ONU, de l’UE et de l’OCDE, le rapport identifie trois catégories principales de menaces :

• Les risques d’utilisation malveillante, incluant les cyberattaques, la propagation de désinformation ou la conception d’armes biologiques facilitée par l’IA ;
• Les dysfonctionnements systémiques, tels que les biais algorithmiques, les erreurs de fiabilité ou la perte de contrôle sur des systèmes autonomes ;
• Les risques systémiques, relatifs à l’impact économique et social de l’IA, notamment sur l’emploi, la protection des données personnelles et l’environnement.

Transparence et gouvernance : les enjeux clés

L’une des recommandations phares du rapport porte sur l’importance de la transparence. Mieux comprendre comment les modèles d’IA prennent leurs décisions devient un enjeu fondamental pour prévenir les abus et renforcer la confiance du public.

L’avenir de la sécurité de l’IA dépend des choix politiques qui seront faits. Les chercheurs mettent en garde contre une approche attentiste et encouragent les gouvernements à adopter des mesures proactives.

Yoshua Bengio souligne :

“Les capacités de l’IA à usage général ont augmenté rapidement au cours des dernières années et des derniers mois. Bien que cela présente un grand potentiel pour la société, l’IA présente également des risques importants qui doivent être soigneusement gérés par les gouvernements du monde entier.”

Les auteurs du rapport appellent à une coopération internationale renforcée afin d’élaborer des standards de sécurité et des mécanismes de surveillance efficaces :

“Étant donné que l’impact de l’IA à usage général sur de nombreux aspects de nos vies est susceptible d’être profond, et que les progrès pourraient continuer à être rapides, il est urgent de travailler vers un accord international et de mettre en place des mesures appropriées.”

Cependant, parvenir à un consensus mondial reste un défi. Les auteurs, qui reconnaissent leurs divergences d’opinions sur certains aspects de l’IA à usage général, concluent :

“Nous continuons à être en désaccord sur plusieurs questions, mineures et majeures, concernant l’IA à usage général et ses capacités, risques et atténuations des risques. Cependant, nous considérons ce rapport comme essentiel pour améliorer notre compréhension collective de l’IA à usage général et de ses risques potentiels, et pour nous rapprocher d’un consensus et d’une atténuation efficace des risques, afin de garantir que l’humanité puisse profiter en toute sécurité des avantages de l’IA à usage général. Les enjeux sont élevés. Nous nous réjouissons de poursuivre cet effort.”

Le gouvernement britannique continuera d’héberger le secrétariat du rapport et Yoshua Bengio d’en assurer la présidence en 2025.

Le rapport peut être consulté ici.

Tout juste investi 47ème président des États-Unis, Donald Trump a révoqué lundi dernier le décret de Joe Biden du 30 octobre 2023 qui visait à encadrer les risques liés à l’IA. Bien que ce décret ait eu pour objectif de soutenir le développement d’une IA responsable, le nouveau président le considère avant tout comme un frein à l’innovation.

Le décret de Joe Biden exigeait que les entreprises développant des systèmes d’IA avancés présentant des risques potentiels pour la sécurité nationale, l’économie ou la santé partagent leurs résultats de tests de sécurité et d’autres informations critiques avec le gouvernement.

Cette décision, de révoquer ce décret intervient à un moment critique où les principales entreprises d’IA présentent des lacunes significatives dans leurs pratiques de gestion des risques, selon une évaluation de SaferAI, une organisation à but non-lucratif française spécialisée dans la gestion des risques de l’IA.

Siméon Campos, fondateur et directeur exécutif de SaferAI, affirme :

“Les garde-fous qui viennent d’être supprimés doivent être urgemment remplacés. Notre récente notation, mesurant la maturité de gestion des risques des entreprises d’IA, montre que même les entreprises leaders obtiennent des scores entre 1,5 et 1,9 sur 5 en matière de pratiques de gestion des risques, certaines entreprises n’obtenant que 0,1. Ces évaluations révèlent que même les leaders de l’industrie sont loin de mettre en œuvre des pratiques de gestion des risques adéquates, et sans régulation, ces lacunes préoccupantes pourraient s’aggraver.”

Selon l’organisation, les enjeux sont particulièrement élevés compte tenu des développements récents des capacités de l’IA. Le modèle o1 d’OpenAI a démontré des capacités qui pourraient aider des experts à développer des armes biologiques, tandis que les capacités du modèle o3 semblent encore plus significatives. Encore en phase de test, il devrait être lancé d’ici quelques semaines, o3-mini, une version plus rapide et plus économique, le sera d’ici la fin du mois. Si le décret de Biden avait été pleinement mis en œuvre, il aurait exigé le partage des résultats des tests de sécurité et le partage d’information clés au gouvernement pour de tels systèmes.

Henry Papadatos, Managing Director de SaferAI, déclare :

“Sans les exigences du décret en matière de tests de sûreté et de transparence, nous naviguons à l’aveugle avec des systèmes d’IA de plus en plus avancés. Comme le montrent nos notations, les pratiques de gestion des risques que nous observons dans l’industrie suggèrent que les engagements volontaires seuls ne suffisent pas à garantir une gestion adéquate des risques.”

Les experts en gestion des risques de SaferAI appellent à de nouvelles mesures législatives pour combler le vide réglementaire laissé par la suppression du décret. Les dispositions du décret concernant la gestion des risques chimiques, biologiques, radiologiques, nucléaires et de cybersécurité ne seront plus appliquées, suscitant des inquiétudes quant à l’utilisation potentiellement abusive des systèmes d’IA avancés.

Alors que les modèles d’IA deviennent de plus en plus sophistiqués, des craintes ont surgi sur leurs risques potentiels pour la société, notamment dans des domaines sensibles comme la cybersécurité, la chimie ou la biologie. Anthropic, qui a mis à jour récemment sa politique de mise à l’échelle responsable (RSP), exhorte les gouvernements à adopter rapidement des mesures réglementaires efficaces, alertant : “La fenêtre de la prévention proactive des risques se referme rapidement”.

Cofondée en 2021 par les frère et sœur Daniela et Dario Amodei, qui avaient travaillé auparavant chez OpenAI, rejoints par la suite par d’anciens collaborateurs de la start-up, Anthropic est aujourd’hui l’un des leaders de l’IA générative.

Son objectif est de rendre les systèmes plus fiables, orientables et interprétables. Elle a pour cela développé l’IA constitutionnelle, une approche d’entraînement des modèles de langage visant à inculquer des valeurs et des principes spécifiques dans les systèmes d’IA. Sa famille de modèles Claude est ainsi guidée par un ensemble de principes comme ceux de la Déclaration des droits de l’Homme pour générer des réponses plus honnêtes et alignées sur des valeurs éthiques.

En juillet 2023, Anthropic faisait partie des sept grandes entreprises s’engageant officiellement devant le gouvernement Biden à mettre en place de nouvelles normes de sûreté, de sécurité et de confiance et, avec trois d’entre elles, Microsoft, Anthropic et Google, lançait le Frontier Model Forum, un organisme industriel dédié au développement sûr et responsable des modèles d’IA de pointe.

Au mois de septembre suivant, la start-up, soulignant les risques réels que pourraient représenter les modèles de frontière pour les domaines cybernétique et CBRN (chimiques, biologiques, radiologiques et nucléaires) d’ici 2 à 3 ans, présentait sa politique de mise à l’échelle responsable.

Pour elle :

“Une réglementation judicieuse et étroitement ciblée peut nous permettre d’obtenir le meilleur des deux mondes : profiter des avantages de l’IA tout en atténuant les risques. Traîner les pieds pourrait conduire au pire des deux mondes : une réglementation mal conçue et impulsive qui entrave le progrès tout en ne parvenant pas à prévenir les risques.”

Vers un cadre réglementaire inspiré du RSP d’Anthropic ?

Certains acteurs de l’IA ont anticipé ces défis liés à l’IA en adoptant une RSP, plus ou moins similaire à celle d’Anthropic, qui ajuste les mesures de sécurité en fonction des capacités atteintes par les modèles : des seuils de performance sont définis pour chaque nouvelle génération de systèmes, et des mécanismes de sécurité sont déployés lorsque ces seuils sont franchis.

Les RSP permettent aux entreprises de gérer proactivement les risques liés aux IA de pointe, tout en optimisant leurs performances sur le marché. Elles offrent également des avantages en termes de transparence et de responsabilité : les entreprises qui adoptent ce modèle s’engagent à documenter leurs pratiques de sécurité, à identifier et évaluer les risques de manière continue, et à investir dans des équipes dédiées à la sécurité. Chez Anthropic, des équipes spécialisées en sécurité informatique, en interprétabilité, et en évaluations d’équipes adverses (équipe rouge) sont intégrées dans la feuille de route de chaque nouveau modèle.

Dario Amodei soulignait, il y a un an, au Sommet de sécurité de l’IA de Bletchley :

“Les RSP ne sont pas destinés à se substituer à la réglementation, mais plutôt à en être un prototype. Je ne veux pas dire que nous voulons que le RSP d’Anthropic soit littéralement inscrit dans les lois – notre RSP n’est qu’une première tentative de résoudre un problème difficile, et est presque certainement imparfait à bien des égards”.

Les trois piliers d’une réglementation ciblée efficace

Selon l’entreprise, “ce cadre réglementaire ne sera pas parfait“, mais “Quelle que soit la réglementation à laquelle nous parvenons, elle doit être aussi chirurgicale que possible”.

Elle identifie trois piliers essentiels :

• Transparence : Actuellement, il n’existe pas de mécanisme permettant de vérifier l’adhésion des entreprises à leurs politiques de sécurité. Exiger la publication de ces politiques et de leurs évaluations pourrait permettre de construire un registre public des risques associés aux systèmes d’IA ;
• Promotion de pratiques de sécurité robustes : Les entreprises devraient être encouragées, voire obligées, à renforcer leurs mesures de sécurité et à maintenir des standards élevés en matière de gestion des risques. Des organismes de réglementation pourraient ainsi établir les normes minimales en matière de sûreté que chaque système doit respecter ;
• Simplicité et ciblage : Toute réglementation devrait rester aussi claire et ciblée que possible pour éviter d’entraver l’innovation. Une loi simple et bien définie réduit la complexité pour les entreprises et facilite le respect des règles sans générer des obligations excessives.

Des approches autres que celles d’Anthropic réunissent ces trois conditions, ce qu’elle reconnaît volontiers, concluant :

“Il est essentiel au cours de l’année prochaine que les décideurs politiques, l’industrie de l’IA, les défenseurs de la sécurité, la société civile et les législateurs travaillent ensemble pour élaborer un cadre réglementaire efficace qui réponde aux conditions ci-dessus et qui soit acceptable pour un large éventail de parties prenantes”.

Alors que l’IA occupe une place de plus en plus grande dans notre quotidien et que les entreprises sont nombreuses à envisager son adoption, qu’en est-il de notre compréhension des risques liés sur lesquels alertent de nombreux experts ? Les cadres actuels d’évaluation de ces risques, bien qu’utiles, montrent des lacunes significatives. Pour tenter de les combler, les chercheurs du MIT publient “AI Risk Repository”, un référentiel qui comprend une base de données accessible au public, comptant plus de 700 risques liés à l’IA, qui sera élargie et mise à jour pour s’assurer qu’elle reste pertinente.

Ce référentiel a été élaboré par des chercheurs du MIT CSAIL, du MIT FutureTech, de l’Université du Queensland, du Future of Life Institute, de la KU Leuven et d’Harmony Intelligence. En rendant cette base de données accessible au public, ils espèrent non seulement sensibiliser davantage aux risques potentiels de l’IA, mais aussi encourager une collaboration plus étroite entre les différents acteurs concernés, qu’il s’agisse de développeurs, de régulateurs ou de simples utilisateurs. L’objectif est de créer un cadre de référence commun qui facilite la discussion, la recherche et la mise en place de mesures de prévention adaptées, permettant ainsi une adoption plus sûre et plus éthique de l’IA.

Peter Slattery, postdoctorant entrant au MIT FutureTech Lab et actuel chef de projet, explique :

“Étant donné que la littérature sur les risques liés à l’IA est dispersée dans des revues à comité de lecture, des prépublications et des rapports de l’industrie, et qu’elle est très variée, je crains que les décideurs ne consultent involontairement des aperçus incomplets, passent à côté de préoccupations importantes et développent des angles morts collectifs”.

Un référentiel inédit des risques liés à l’IA

Pour construire ce référentiel, les chercheurs ont passé une revue systématique des taxonomies existantes et d’autres classifications structurées des risques liés à l’IA, ce qui leur a permis de recenser et d’analyser 43 cadres déjà en place, d’identifier les forces et les faiblesses de chaque approche. Ils ont intégré les éléments les plus pertinents et robustes de ces différents cadres existants pour créer une classification qui capture de manière complète les divers types de risques associés à l’IA.

Ce référentiel se distingue par son approche systématique et exhaustive. Il est structuré autour de deux taxonomies principales. Une taxonomie causale, qui classe les risques selon leurs facteurs d’origine : entité (humain ou IA), intentionnalité et timing (avant ou après déploiement) et une taxonomie de domaine, qui les organise en 7 catégories : la confidentialité et la sécurité, la désinformation, l’interaction homme-machine, les acteurs malveillants et usage abusif, la discrimination et la toxicité, les dommages socio-économiques et environnementaux, et les défaillances et les limites des systèmes d’IA.

Les 7 domaines ont ensuite été divisés en 23 sous-domaines, souvent négligés dans les évaluations traditionnelles. Selon l’examen des chercheurs, les 43 cadres n’ont mentionné que 34 % des 23 sous-domaines de risque identifiés, près d’un quart en couvrant moins de 20 %. Aucun document ou aperçu n’a mentionné la totalité des 23 sous-domaines de risque, les plus complets n’en couvrant que 70 %.

L’analyse montre que certains domaines de risque, tels que la “sécurité des systèmes d’IA” et les “préjudices socio-économiques”, reçoivent une attention disproportionnée par rapport à d’autres, comme “l’interaction homme-machine” ou la “désinformation”. Par exemple, les risques liés à la “discrimination injuste” sont fréquemment abordés, et ont été mentionnés par 62 % des documents alors que des sujets tels que le “bien-être et les droits de l’IA” (2 %) sont presque totalement ignorés.

Chacun des 777 risques extraits des 43 cadres étudiés a été rigoureusement analysé et classé en fonction de cette double taxonomie, qui permet une analyse plus fine et une gestion plus efficace des risques. Les chercheurs ont également souligné que plus de 65 % de ces risques émergent après le déploiement des systèmes d’IA, ce qui met en évidence l’importance de la vigilance continue et de l’adaptation des stratégies de gestion des risques une fois que les technologies sont en usage réel.

Neil Thompson, directeur du MIT FutureTech Lab et l’un des chercheurs principaux du projet, commente :

“Le référentiel des risques d’IA est, à notre connaissance, la première tentative de sélectionner, d’analyser et d’extraire rigoureusement des cadres de risque d’IA dans une base de données de risques accessible au public, complète, extensible et catégorisée. Cela fait partie d’un effort plus vaste visant à comprendre comment nous réagissons aux risques liés à l’IA et à identifier s’il existe des lacunes dans nos approches actuelles”.

Ajoutant :

“Nous commençons par une liste de contrôle complète, pour nous aider à comprendre l’étendue des risques potentiels. Nous prévoyons de l’utiliser pour identifier les lacunes dans les réponses organisationnelles. Par exemple, si tout le monde se concentre sur un type de risque tout en négligeant d’autres d’importance similaire, c’est quelque chose que nous devrions remarquer et aborder”.

Le référentiel est disponible gratuitement en ligne, peut être téléchargé, copié et utilisé. Il continuera d’évoluer au fur et à mesure que de nouveaux risques seront identifiés et que de nouvelles analyses seront effectuées. Les chercheurs encouragent à contribuer à cette ressource afin qu’elle reste pertinente et à jour.

Références de l’article :

Slattery, P., Saeri, A. K., Grundy, E. A. C., Graham, J., Noetel, M., Uuk, R., Dao, J., Pour, S., Casper, S., & Thompson, N. (2024). “Une revue systématique des données probantes et un cadre de référence commun pour les risques liés à l’intelligence artificielle”. http://doi.org/10.13140/RG.2.2.28850.00968

Pure Storage, fournisseur de technologies et de services de stockage de données, a dévoilé un nouveau rapport, réalisé en partenariat avec le cabinet de recherche indépendant Vanson Bourne, révélant les tendances et les défis actuels qui façonnent l’innovation au sein des entreprises françaises. Intitulé « La course à l’innovation : réduire les risques et naviguer dans la frontière de l’IA pour un succès futur », ce rapport vise à mettre en lumière les points de vue des 200 DSI (Directeurs des Systèmes d’Information) et décideurs informatiques interrogés.

L’étude de Pure Storage couvre trois thèmes principaux, à savoir les risques et les défis pour les entreprises, le dilemme du choix entre innovation et gestion des risques, et pour finir, la montée en puissance de l’IA. Selon le rapport, l’essor de l’IA ouvre des opportunités pour les entreprises de tous les secteurs, mais, pour beaucoup, l’accent mis sur la gestion des risques freine l’innovation.

Modernisation de l’infrastructure : un impératif

Une écrasante majorité (97 %) des entreprises françaises s’accorde sur la nécessité de moderniser leur infrastructure pour pouvoir soutenir efficacement la gestion des risques et les initiatives d’innovation, notamment en lien avec l’IA. Cette modernisation est cruciale pour éviter l’obsolescence technologique et rester compétitives dans un marché en constante évolution.

Défis technologiques majeurs

Les défis technologiques identifiés par les décideurs informatiques sont les suivants :

• Modernisation des infrastructures : 37 % des répondants soulignent la difficulté de moderniser et maintenir leurs infrastructures informatiques.
• Coûts croissants : 34 % pointent les coûts du cloud et 24 % les coûts énergétiques comme des obstacles significatifs.
• Gestion des charges de travail disparates : 33 % des entreprises doivent jongler avec de multiples charges de travail, complexifiant ainsi leur gestion opérationnelle.

Un équilibre délicat entre gestion des risques et innovation

La gestion des risques occupe une place prédominante dans les préoccupations des DSI : 87 % d’entre eux consacrent une grande partie de leur temps à cette tâche qui limite leur capacité à se concentrer sur l’innovation technologique, pourtant essentielle au succès futur de leur entreprise. Près de 68 % des répondants regrettent cette situation et préfèreraient investir plus de temps dans des initiatives innovantes plutôt que dans la gestion des risques.

Si 87 % accordent la plus haute importance à la réduction des risques, une proportion encore plus élevée, 96 %, estime que les budgets actuels de cybersécurité pourraient être investis plus efficacement dans des projets innovants. Ces pourcentages mettent en évidence la tension entre le besoin de sécuriser les opérations et l’aspiration à exploiter les nouvelles technologies et opportunités de croissance.

Selon Pure Storage :

“Pour relever ces défis, les dirigeants informatiques doivent comprendre tous les risques pour leur entreprise au-delà des menaces cyber évidentes. Développer des plans complets avant, pendant et après les attaques et simplifier le parc informatique peut réduire la dette technique et améliorer la sécurité, libérant ainsi des ressources pour l’innovation”.

L’IA : entre opportunité et défi

L’IA se présente comme une opportunité transformative pour les entreprises françaises, mais également comme un défi :

• Risques d’inefficacité technologique : 43 % des décideurs voient l’incapacité à exploiter l’IA comme un risque majeur ;
• Potentiel de transformation : 94 % des répondants considèrent l’IA comme une opportunité unique pour transformer leurs organisations. Actuellement, toutes les entreprises sont en phase de planification ou d’adoption de l’IA, ce qui témoigne d’un consensus général quant à son potentiel d’amélioration des systèmes existants ;
• Préparation insuffisante : 85 % craignent que leur entreprise soit laissée pour compte sans une infrastructure adéquate pour supporter l’IA ;
• Capacité des datacenters : 90 % anticipent que les données générées par l’IA dépasseront les capacités actuelles des datacenters, soulignant un besoin urgent d’investir dans des plateformes de données durables.

Jonathan Bourhis, Country Manager France de Pure Storage, commente :

“Le véritable défi pour les entreprises est de trouver un équilibre entre l’innovation, essentielle à leur croissance, et les exigences de gestion des risques pour garantir leur sécurité à long terme. Ce rapport sur la course à l’innovation met en lumière les dilemmes auxquels sont confrontés les DSI français, où la gestion des risques limite leur capacité à explorer de nouvelles opportunités technologiques et à mettre en œuvre des solutions innovantes”.

Retrouver le rapport de Pure Storage ici.

Hub France IA a récemment publié le livrable “Opérationnaliser la gestion des risques des systèmes d’intelligence artificielle” élaboré par son groupe de travail Banque et Auditabilité. Regroupant des experts en IA, de la gestion des risques et de l’audit de trois grandes banques françaises : BNP Paribas, La Banque Postale et Société Générale, ce groupe travaille depuis plusieurs années sur la gestion des risques liés à l’IA.

Un contexte réglementaire en évolution

L’entrée en vigueur de l’AI Act, prévue pour 2026, et l’essor rapide de l’IA générative, ont poussé le groupe de travail à répondre à une question essentielle : comment doter la gestion des risques d’outils efficaces pour réduire les coûts de mise en conformité à l’AI Act ?

La mise en conformité exige de prendre en compte l’intégralité du processus de développement d’un système d’IA, allant de la phase d’idéation, de conception, de développement et de mise en production, jusqu’au suivi continu. Les coûts de mise en conformité sont importants : d’après une enquête réalisée par le Hub France IA et ses partenaires européens en décembre 2022, plus de 50% des entreprises interrogées ont estimé ces coûts entre 160 000 et 330 000 euros.

Le groupe de travail fournit dans ce livrable des conseils pour mettre en place les outils nécessaires pour satisfaire à un audit de certification en conformité avec l’AI Act : documents, fichiers Excel, logiciels, outils de gestion de flux de travail… Ces outils pourront également servir de preuves auprès des régulateurs.

Une démarche méthodologique rigoureuse

En s’appuyant sur un livre blanc qu’il a publié en 2022, le groupe de travail décrit le cycle de développement d’un système d’IA dans son intégralité, associant à chaque étape un outil de conformité spécifique. Suite à l’adoption de l’AI Act par le Conseil de l’Union européenne en mai dernier, une analyse approfondie s’avère nécessaire pour aligner les outils proposés avec les attentes de conformité. Un prochain guide viendra détailler cette correspondance.

Le travail présenté dans le livrable ne vise pas à être exhaustif mais souhaite apporter un
cadre méthodologique et de bonnes pratiques.

Ses principaux enseignements incluent :

• La disponibilité de nombreux outils d’analyse des risques tout au long du processus de mise en œuvre des systèmes d’IA ;
• Une couverture partielle des solutions logicielles pour l’opérationnalisation du AI Act ;
• L’émergence de nouveaux risques liés à l’IA générative, accompagnée de nombreuses incertitudes juridiques.

Retrouver le livrable ici.

L’ESMA, l’autorité européenne des marchés financiers, a publié une déclaration à l’adresse des services d’investissement à destination des particuliers, dans laquelle elle leur fournit des orientations initiales pour se mettre en conformité avec la réglementation européenne en vigueur tout en soulignant l’impératif de toujours prioriser les intérêts des clients.

Dans ce document, l’ESMA explore les avantages potentiels de l’IA dans les services d’investissement, les risques associés et les mesures nécessaires pour respecter les exigences de MiFID II.

Selon elle, l’essor de l’IA a le potentiel de transformer le paysage des services d’investissement de détail en offrant des opportunités sans précédent en termes d’efficacité, d’innovation et d’amélioration de la prise de décision. Elle rappelle toutefois que bien que l’IA promette d’améliorer les stratégies d’investissement et les services clients, elle présente également des risques inhérents, notamment des biais algorithmiques, des problèmes de qualité des données et un manque potentiel de transparence.

Cas d’usages potentiel et avantages liés

L’adoption de l’IA par les entreprises d’investissement est encore inégale, mais diverses applications existent déjà que l’ESMA présente :

• Service et support client : les chatbots et assistants virtuels alimentés par l’IA peuvent fournir un support client en temps réel, répondre aux questions, fournir des informations sur les comptes et améliorer l’expérience utilisateur ;
• Conseil en investissement et gestion de portefeuille : l’IA peut analyser les informations des clients, y compris leurs connaissances, leur situation financière et leurs objectifs d’investissement, pour offrir des recommandations personnalisées et gérer les portefeuilles de manière plus efficace ;
• Conformité et gestion des risques : les systèmes d’IA peuvent surveiller et analyser les réglementations financières, détecter les comportements non conformes et évaluer les risques associés aux différentes options d’investissement ;
• Détection de la fraude : les outils d’IA peuvent identifier des schémas inhabituels dans les données transactionnelles et les communications, aidant ainsi à prévenir les activités frauduleuses ;
• Efficacité opérationnelle : l’IA peut automatiser des tâches répétitives comme la saisie de données et la génération de rapports, permettant aux employés de se concentrer sur des tâches plus complexes et à valeur ajoutée.

Risques et défis de l’intégration de l’IA

Malgré ces avantages, l’IA présente des risques potentiels que l’ESMA rappelle :

• Dépendance excessive : une dépendance excessive à l’IA pour la prise de décision peut réduire l’importance du jugement humain, surtout dans les marchés financiers complexes et imprévisibles ;
• Manque de transparence et d’explicabilité : de nombreux systèmes d’IA sont des “boîtes noires”, rendant difficile la compréhension des processus décisionnels par le personnel, ce qui peut compliquer l’ajustement des stratégies d’investissement ;
• Sécurité et confidentialité des données : la gestion de grandes quantités de données, y compris les données personnelles, soulève des préoccupations significatives en matière de confidentialité et de sécurité ;
• Qualité des données et biais algorithmiques : les résultats de l’IA peuvent être biaisés par les données d’entraînement et peuvent parfois produire des résultats incorrects, compromettant ainsi la qualité du service.

Conformité avec MiFID II

MiFID II, ou la Directive sur les marchés d’instruments financiers II (Markets in Financial Instruments Directive II), est une réglementation de l’Union européenne qui vise à améliorer le fonctionnement des marchés financiers et à renforcer la protection des investisseurs. Adoptée en réponse à la crise financière de 2008, elle est entrée en vigueur le 3 janvier 2018, remplaçant la première directive MiFID adoptée en 2007.

Cette déclaration vise à guider les entreprises utilisant ou prévoyant d’utiliser des technologies d’IA afin qu’elles puissent assurer leur conformité aux principales exigences de MiFID II, en particulier celles relatives aux exigences organisationnelles, aux exigences de conduite des affaires et à l’obligation générale d’agir dans le meilleur intérêt du client.

Pour garantir la conformité avec cette directive, les entreprises d’investissement doivent adopter des mesures rigoureuses :

• Contrôles Ex-Ante et Ex-Post : des contrôles robustes doivent être établis pour garantir l’exactitude des informations utilisées par les systèmes d’IA. Des évaluations fréquentes post-interaction sont nécessaires pour surveiller et évaluer les processus impliquant l’IA ;
• Formation et sensibilisation : les entreprises doivent mettre en place des programmes de formation adéquats pour le personnel, couvrant non seulement les aspects opérationnels de l’IA, mais aussi les risques potentiels, les considérations éthiques et les implications réglementaires ;
• Adéquation des services : lors de l’utilisation de l’IA pour fournir des services d’investissement, il est crucial de s’assurer que les recommandations et décisions sont alignées avec la situation financière du client, ses objectifs d’investissement et sa tolérance au risque. ;
• Protection des données : les entreprises doivent strictement respecter les réglementations de protection des données pour protéger les informations sensibles des clients ;
• Tenue de registres : il est attendu des entreprises qu’elles maintiennent des dossiers complets sur l’utilisation des technologies d’IA, documentant les processus décisionnels, les sources de données et les modifications apportées aux algorithmes.