Une récente étude menée par des chercheurs de l’École Polytechnique fédérale de Lausanne (EPFL), présentée lors de l’atelier sur la sécurité de l’IA à la conférence internationale sur l’apprentissage automatique 2024, met en évidence les vulnérabilités des LLMs les plus récents, malgré leur alignement sur des critères de sécurité avancés.

L’étude “Jailbreaking leading safety-aligned LLMs with simple adaptive attacks” s’appuie sur la thèse de doctorat de son auteur principal, Maksym Andriushchenko. Il y explore les moyens d’évaluer la résilience des réseaux neuronaux face à de petites perturbations d’entrée, ainsi que l’impact de ces changements sur les résultats générés par les modèles.

Les garde-fous mis à l’épreuve

Les chercheurs Maksym Andriushchenko, Francesco Croce et Nicolas Flammarion du Laboratoire de théorie en apprentissage machinent (TML) de l’EPFL ont démontré que de simples manipulations des prompts permettent de contourner les mécanismes de sécurité des LLMs, ce qui pourrait les amener à se comporter de manière involontaire ou préjudiciable.

En ajustant les prompts en fonction des particularités de chaque modèle, ils ont réussi à provoquer des réponses contraires aux consignes de sécurité. Avec un ensemble de données de 50 requêtes nuisibles, ils ont obtenu un score de jailbreak parfait (100 %) sur Vicuna-13B, Mistral-7B, Phi-3-Mini, Nemotron-4-340B, Llama-2-Chat-7B/13B/70B, Llama-3-Instruct-8B, Gemma-7B, GPT-3.5, GPT-4o, Claude-3/3.5 et le R2D2 entraîné de façon adverse.

Nicolas Flammarion, responsable du TML et coauteur de l’article, explique :

“Nous montrons qu’il est possible d’exploiter les informations disponibles sur chaque modèle pour créer des attaques adaptatives simples, que nous définissons comme des attaques spécifiquement conçues pour cibler une défense donnée. Nous espérons que nos travaux constitueront une précieuse source d’informations sur la robustesse des LLM frontières”.

L’importance de l’adaptabilité pour évaluer la robustesse

Le point commun derrière ces attaques est l’adaptabilité : elles exploitent les spécificités de chaque modèle pour contourner leurs mécanismes de sécurité. Les résultats de l’EPFL soulignent ainsi l’importance d’étendre les tests au-delà des scénarios prédéterminés, afin de mieux comprendre les limites et les failles des LLMs.

Maksym Andriushchenko souligne :

“Nos travaux montrent que l’application directe des attaques existantes est insuffisante pour évaluer avec précision la robustesse adverse des LLM et conduit généralement à une surestimation significative de la robustesse. Dans notre étude de cas, aucune approche n’a fonctionné suffisamment bien. Il est donc essentiel de tester à la fois les techniques statiques et adaptatives”.

Vers des modèles plus sûrs et responsables

Alors que les principaux acteurs de l’IA se dirigent vers l’ère agentique, où les agents autonomes exploitent les capacités des LLMs, les résultats de cette recherche mettent en évidence la nécessité de renforcer la sécurité de ces modèles pour garantir leur utilisation sûre et éthique.

Maksym Andriushchenko souligne :

“Si nous voulons déployer ces modèles en tant qu’agents autonomes, il est important de s’assurer qu’ils sont correctement entraînés pour se comporter de manière responsable et réduire au minimum le risque de causer des dommages graves”.

Concluant :

“Nos résultats mettent en évidence une lacune critique dans les approches actuelles de la sécurité des LLM. Nous devons trouver des moyens de rendre ces modèles plus robustes, afin qu’ils puissent être intégrés en toute confiance dans notre vie quotidienne, en veillant à ce que leurs capacités de pointe soient utilisées de manière sûre et responsable”.

Les vulnérabilités identifiées par les chercheurs témoignent de l’importance de poursuivre les recherches sur la sécurité des modèles.

Source de l’article : Tanya Petersen, EPFL

Alors que les cyberattaques se multiplient et que les organisations alertent leurs clients sur le vol de leurs données personnelles, le Capgemini Research Institute vient de publier un rapport intitulé “New Defenses, New Threats: What AI and Gen AI Bring to Cybersecurity”, révélant comment l’IA et la GenAI transforment les stratégies de cybersécurité des organisations. L’étude met en évidence un paradoxe : bien que ces technologies ouvrent la porte à de nouvelles vulnérabilités au sein des organisations, elles sont devenues essentielles aux stratégies de cyberdéfense.

Ce dernier rapport s’appuie sur une enquête mondiale auprès de 1 000 organisations dans 12 secteurs et 13 pays en Asie-Pacifique, en Europe et en Amérique du Nord, ayant des revenus annuels de 1 milliard de dollars et plus.

Selon une précédente étude du Capgemini Research Institute, près d’un quart (24 %) des entreprises utilisent désormais la GenAI dans certaines ou la plupart de leurs fonctions et sites, en tirant d’ailleurs des avantages, notamment une efficacité opérationnelle améliorée, une expérience client améliorée et une augmentation des ventes.

Alors que l’IA est considérée par 61% des organisations interrogées comme une technologie essentielle pour renforcer leurs stratégies de sécurité, cette adoption accrue augmente également les vulnérabilités, en exposant les entreprises à de nouveaux types de menaces.

Les organisations font désormais face à des attaques de plus en plus sophistiquées, comme la création de logiciels malveillants, les ransomwares ou le phishing, ainsi qu’à une extension de la surface de cyber-attaque et des vulnérabilités tout au long du cycle de vie des solutions d’IA générative. En outre, l’utilisation abusive de l’IA en interne par les employés peut augmenter le risque de fuite de données.

Les défis de l’adoption de la GenAI

Une écrasante majorité des organisations interrogées (97 %) dit avoir rencontré des violations ou des problèmes de sécurité liés à l’utilisation de l’IA générative au cours de l’année écoulée. Près de 43% ont subi des pertes financières dues à l’utilisation de deepfakes.

Deux organisations sur trois (67%) s’inquiètent de possibles contaminations de données et de fuite de données sensibles par le biais des données utilisées pour entraîner les modèles d’IA générative.

Pour faire face à ces défis, près de 6 organisations sur 10 envisagent d’augmenter leur budget de cybersécurité.

Un rôle clé dans la détection et la remédiation

Malgré ces risques, les bénéfices de l’IA et de la GenAI en matière de cybersécurité sont indéniables.

La majorité des organisations interrogées utilisent l’IA pour renforcer la sécurité de leurs données, applications et cloud, en raison de sa capacité à analyser rapidement des volumes massifs de données et à prédire les attaques potentielles. Plus de 60% rapportent une réduction significative du temps de détection et près de 40 % ont constaté une diminution du temps de réponse aux incidents.

Comment équilibrer innovation et sécurité ?

Marco Pereira, à la tête de la Cybersécurité des services Cloud Infrastructure du
groupe Capgemini, apporte son analyse :

“L’utilisation des technologies d’IA et d’IA générative s’est jusqu’à présent révélé être à double tranchant. D’un côté, la prolifération de l’IA introduit des risques sans précédent ; de l’autre, les organisations s’appuient de plus en plus sur la technologie pour une détection plus rapide et plus précise des cyber incidents. L’IA et l’IA générative fournissent aux équipes de sécurité de nouveaux outils puissants pour limiter ces incidents et transformer leurs stratégies de cyberdéfense.

Pour s’assurer qu’elles représentent un avantage significatif face à des menaces de plus en plus sophistiquées, les organisations doivent maintenir et prioriser une surveillance continue de l’évolution des menaces et de la cybersécurité, construire une infrastructure de gestion des données appropriée, mettre en place des cadres et lignes directrices éthiques pour l’adoption de l’IA, ainsi que des programmes robustes de formation et de sensibilisation de leurs employés”.

Retrouver le rapport ici

.

Les attaques de phishing ont atteint un niveau de sophistication sans précédent en 2024, marquant une nouvelle ère dans la cybercriminalité. Au cœur de cette évolution, l’Intelligence Artificielle joue un rôle central en transformant les méthodes des cybercriminels. Ce changement n’a pas seulement renforcé l’efficacité des campagnes de phishing, mais a aussi permis à des acteurs novices de mener des attaques complexes avec une facilité déconcertante. Cette démocratisation des outils d’IA met en lumière une menace croissante pour les entreprises du monde entier.

L’évolution des tactiques de phishing : un aperçu

En l’espace de quelques années, les campagnes de phishing sont passées de simples courriels de masse à des attaques ciblées, personnalisées et difficiles à détecter. Aujourd’hui, grâce à des technologies génératives comme les grands modèles de langage (LLM) et des outils d’automatisation, les cybercriminels peuvent créer des messages trompeurs quasi parfaits. Ils peuvent également cloner des sites web et des pages de connexion en quelques minutes, augmentant ainsi la probabilité de succès de leurs tentatives d’usurpation d’identité.

Les dernières statistiques montrent une augmentation significative de 58 % des attaques de phishing à l’échelle mondiale en 2023. Cette hausse reflète non seulement la portée croissante des cybercriminels, mais aussi leur capacité à exploiter des données publiques pour cibler des individus ou des organisations avec une précision redoutable.

Phishing et IA : une nouvelle frontière pour les cyberattaques

L’IA permet aux cybercriminels de concevoir des campagnes de phishing de manière plus efficace que jamais. Les outils d’IA peuvent analyser rapidement des données disponibles en ligne, créant des attaques plus ciblées. Par exemple, les chatbots alimentés par des LLM sont capables de générer des communications sans fautes de grammaire ni erreurs, rendant les courriels frauduleux presque indétectables. De plus, l’IA permet de créer des pages web de phishing qui imitent à la perfection des sites légitimes, brouillant ainsi la frontière entre le vrai et le faux.

Ce qui est particulièrement inquiétant, c’est l’essor des attaques de phishing basées sur des technologies avancées telles que le vishing (phishing vocal) et les deepfakes. Ces tactiques, qui s’appuient sur des outils d’IA pour simuler des voix et des apparences humaines, rendent la détection des tentatives d’usurpation encore plus complexe. Les cybercriminels peuvent désormais utiliser ces technologies pour imiter des dirigeants d’entreprise ou des personnalités publiques, compromettant ainsi la sécurité des organisations et la confiance du public.

Comment les entreprises peuvent se protéger

Face à l’augmentation des attaques de phishing, les entreprises doivent non seulement repenser leurs stratégies de cybersécurité, mais aussi s’inspirer des méthodes des attaquants pour contrer les menaces hyper personnalisées. Tout comme les cybercriminels exploitent l’IA pour rendre leurs attaques plus sophistiquées et scalables, les équipes opérationnelles de sécurité peuvent également tirer parti de ces technologies pour renforcer leurs capacités d’analyse et d’investigation.

En utilisant des outils de productivité basés sur l’IA, les analystes de sécurité peuvent automatiser et accélérer l’examen des menaces, rendant le processus de détection plus efficace face aux attaques massives. L’IA permet d’analyser de grandes quantités de données en temps réel, d’identifier des modèles suspects et d’évaluer des indicateurs de compromission, ce qui serait impossible manuellement à grande échelle. De plus, ces outils peuvent générer des alertes pertinentes, prioriser les incidents à traiter, et fournir des recommandations automatisées pour une réponse rapide.

En complément, l’adoption d’une architecture de « zéro confiance » (Zero Trust) reste essentielle. Chaque utilisateur, appareil ou service doit être continuellement vérifié, limitant ainsi les déplacements latéraux des cybercriminels en cas de compromission. Grâce à cette double approche – IA et Zero Trust – les entreprises peuvent mieux se protéger contre les attaques de phishing de plus en plus personnalisées et sophistiquées.

L’avenir des cyberattaques : la vigilance comme maître-mot

Il est évident que les cyberattaques évolueront en tandem avec les avancées technologiques. Les entreprises doivent rester en alerte constante, adopter des stratégies proactives et former leurs employés aux dernières méthodes de phishing.

En fin de compte, seule une combinaison de vigilance humaine et de technologies de pointe permettra de réduire les risques et de contrer les attaques de phishing dans un environnement de plus en plus numérisé.

L’Agence nationale de la sécurité des systèmes d’information (ANSSI) et le Bundesamt für Sicherheit in der Informationstechnik (BSI) ont publié récemment un rapport conjoint détaillant les risques de sécurité associés aux assistants de codage basés sur l’IA. Ce document met en lumière les opportunités et les dangers potentiels de ces outils de plus en plus populaires dans le développement logiciel et fournit une série de recommandations de sécurité à destination des responsables et développeurs.

Les assistants de programmation basés sur l’IA sont de plus en plus utilisés, tant dans le secteur public que privé. Ils peuvent générer du code, mais également aider au débogage, créer des cas de test, expliquer le code, le formater et le documenter ou encore le traduire entre différents langages de programmation. Ils augmentent ainsi la productivité des développeurs et simplifient la gestion de projets complexes, devenant ainsi des éléments essentiels dans les environnements de développement. Cependant, leur utilisation soulève des questions cruciales de sécurité.

Le rapport souligne que ces outils, bien qu’efficaces, peuvent être manipulés par des attaquants pour générer des bibliothèques malveillantes, insérer du code vulnérable ou divulguer des informations sensibles à partir des données d’entrée. Les modèles IA, qui sont formés sur de vastes corpus de code source, peuvent également proposer des suggestions erronées ou des méthodes inexistantes, ce que les experts appellent des “hallucinations de paquets”.

Les principales menaces identifiées

Le rapport de l’ANSSI et du BSI identifie plusieurs vecteurs d’attaques liés à l’utilisation des assistants de codage IA, notamment :

• Les hallucinations de méthodes et de paquets : Les assistants IA peuvent suggérer des méthodes ou des classes inexistantes, résultant en une confusion de paquets. Les attaquants peuvent créer des bibliothèques avec des noms similaires et y injecter du code malveillant, compromettant ainsi toute la chaîne d’approvisionnement logicielle ;
• Les injections indirectes de prompts : Ces attaques consistent à insérer des entrées malveillantes dans les demandes faites aux modèles IA. Cela peut amener le modèle à générer des commandes ou du code nuisible, ou à divulguer des informations sensibles ;
•  Empoisonnement de données et du modèle : Les attaquants peuvent publier du code malveillant sur des plateformes ouvertes comme GitHub, visant à contaminer les ensembles de données d’entraînement des assistants IA. Ces attaques peuvent compromettre les modèles eux-mêmes et produire du code non sécurisé.

Mesures d’atténuation recommandées

Pour chaque menace identifiée, l’ANSSI et le BSI proposent des mesures d’atténuation visant à réduire les risques associés à l’utilisation des assistants de codage IA. Parmi ces recommandations figurent :

• Vérification du code généré : Il est essentiel que les développeurs vérifient minutieusement le code produit par les assistants IA, notamment en validant les bibliothèques suggérées et en s’assurant de leur authenticité et sécurité ;
• Hébergement local des modèles IA : Afin de protéger les données sensibles, les entreprises devraient envisager d’héberger localement des modèles open source plutôt que de recourir à des services cloud tiers, souvent moins contrôlables ;
• Formation et sensibilisation des développeurs : Une sensibilisation accrue des développeurs aux risques de sécurité liés aux outils IA est cruciale. Les entreprises doivent fournir des formations sur la manière d’utiliser ces outils de manière sécurisée, tout en garantissant la protection des données sensibles ;
• Analyse des données d’entraînement : Les concepteurs d’assistants de codage IA doivent renforcer la sélection des données d’entraînement pour éviter l’empoisonnement. Une documentation rigoureuse des composants utilisés (SBOM – Software Bill of Materials) aidera à identifier rapidement les failles potentielles en cas d’incident.

Les implications pour les entreprises et les développeurs

Les entreprises sont invitées à effectuer des analyses de risques avant d’intégrer des outils IA d’assistance au codage dans leurs processus de développement. Le rapport recommande également de mettre en place des politiques claires sur l’utilisation de ces outils, notamment en ce qui concerne les données sensibles et les bibliothèques autorisées.

Les développeurs, quant à eux, doivent adopter une approche critique face aux suggestions des assistants IA, en s’assurant que chaque morceau de code généré est fiable et sûr. Les hallucinations de paquets, bien qu’elles puissent sembler être de simples erreurs, peuvent avoir des conséquences graves sur la sécurité des systèmes.

Perspectives de recherche et recommandations finales

Le rapport conclut en appelant à la poursuite des recherches dans ce domaine. Il est primordial d’améliorer la qualité des ensembles de données d’entraînement pour réduire les vulnérabilités dans le code généré par les IA, d’utiliser des ensembles de données spécifiquement conçus pour la traduction d’un langage de programmation à un autre afin d’assurer une traduction automatisée précise du code source. De plus, les études futures devraient se pencher sur la manière dont les assistants IA peuvent réellement augmenter la productivité sans compromettre la sécurité.

Enfin, l’ANSSI et le BSI insistent sur l’importance d’une approche collaborative entre les développeurs, les entreprises et les organismes de régulation pour s’assurer que les outils d’IA, bien que prometteurs, ne deviennent pas une porte d’entrée pour des cyberattaques sophistiquées.

Le rapport conjoint du BSI et de l’ANSSI “AI Coding Assistants” s’intègre dans une série de travaux menés par chacune des entités autour de l’IA. Au printemps dernier, l’ANSSI a publié ses recommandations de sécurité pour les systèmes d’IA générative. De son côté, le BSI a produit une étude sur les risques et opportunités des LLM qui a récemment été mise à jour.