Une enquête mondiale menée en novembre dernier par Recon Analytics pour le compte de Seagate Technology révèle que l’adoption croissante des applications d’IA génère des volumes de données sans précédent, entraînant une explosion de la demande de stockage, en particulier dans le cloud.

Recon Analytics a interrogé 1 062 acheteurs et décideurs d’infrastructures de stockage d’entreprises déclarant un chiffre d’affaires annuel supérieur à 10 millions de dollars et une capacité de stockage actuelle supérieure à 50 To dans 10 pays. Selon son enquête, 72 % des entreprises interrogées utilisent déjà l’IA et 28 % prévoient de l’adopter d’ici trois ans.

Les disques durs au cœur de la stratégie cloud

Selon l’étude, 61 % des entreprises qui utilisent le cloud comme principal support de stockage anticipent une augmentation de plus de 100 % de leur capacité cloud d’ici 2028. Cette croissance est principalement soutenue par l’utilisation des disques durs, qui offrent une rentabilité équivalente à celle du téraoctet par euro et restent la technologie de prédilection des fournisseurs de services cloud. En effet, selon le rapport 2024 IDC Cloud Infrastructure Index, 89 % des données stockées par les principaux fournisseurs de services cloud le sont sur des disques durs.

Les répondants ont indiqué que 65 % de leurs données d’IA étaient stockées dans le cloud en 2024,un pourcentage qui devrait monter à 69 % d’ici 2028.

Crédit image : Recon Analytics. Utilisation du cloud en pourcentage du stockage actuel du client par rapport à l’avenir.

Roger Entner, fondateur et analyste principal de Recon Analytics, souligne :

“Les résultats de l’enquête indiquent généralement une augmentation à venir de la demande de stockage de données, les disques durs étant les grands gagnants. Si l’on considère que les dirigeants d’entreprise interrogés ont l’intention de stocker de plus en plus de ces données basées sur l’IA dans le cloud, il semble que les services cloud soient bien placés pour surfer sur une deuxième vague de croissance.”

Les priorités des entreprises face à l’IA

L’enquête révèle que, parmi les composants essentiels de l’infrastructure IA, le stockage arrive en deuxième position, juste derrière la sécurité : 66 % des personnes interrogées ont classé le stockage parmi leurs quatre préoccupations les plus importantes en matière d’infrastructure, tandis que 68 % ont classé la sécurité parmi les quatre premiers.

Crédit image : Recon Analytics. Importance des composantes de l’infrastructure d’IA

Les défis liés à la sécurité et à la conformité réglementaire sont également au cœur des préoccupations. La mise en œuvre de solutions de stockage cloud plus évolutives (61 % des répondants) est l’une des principales stratégies adoptées par les entreprises, suivie par l’amélioration des logiciels de gestion des données (56 %) tandis que 55 % investissent dans la mise à niveau de leurs infrastructures existantes et 49 % mettent en œuvre des techniques de compression des données.

Mesures prises par les entreprises pour s’adapter aux besoins croissants en données de l’IA

Un avenir centré sur la fiabilité des données

Les entreprises considèrent que la conservation des données sur de plus longues périodes est cruciale pour améliorer la précision des modèles d’IA : 90 % des répondants estiment qu’une rétention prolongée des données optimise la qualité des résultats produits par l’IA.

L’enquête met en lumière une exigence croissante en matière de fiabilité et de durabilité des données stockées : 88 % des répondants estiment que l’adoption d’une IA digne de confiance repose sur la capacité à stocker des volumes massifs de données sur des durées prolongées. La réplication des données est jugée très ou modérément importante par 80 % des répondants pour garantir l’intégrité de l’IA.

Parmi les personnes interrogées qui enregistrent les points de contrôle quotidiennement (28 % des répondants), 32 % conservent les données pendant plus de 12 mois, tandis que 29 % les conservent pendant six à 12 mois. Les entreprises qui utilisent plus de 100 Po de stockage enregistrent et sauvegardent les points de contrôle sur une base quotidienne ou hebdomadaire, 87 % d’entre elles stockant ces points de contrôle dans le cloud ou dans un mélange de disques durs et de disques SSD.

Recon Analytics anticipe une croissance exponentielle des besoins en stockage des entreprises. Cette tendance se renforcera lorsque les entreprises passeront de la phase d’essai de l’IA à une utilisation active. L’entraînement des LLMs, la réplication des données et l’allongement des périodes de conservation des données, qui sont des éléments essentiels d’une stratégie d’IA, nécessiteront des investissements accrus en stockage pour garantir le succès.

C’est sous la licence MIT, l’une des licences open source les plus permissives, que DeepSeek, acteur chinois de la GenAI, a publié ce jeudi 26 décembre la dernière version de son modèle éponyme. L’annonce de DeepSeek-V3 a d’autant plus suscité l’attention que les performances du modèle seraient comparables, voire supérieures à celles de principaux modèles à source fermée, comme GPT-4o ou Claude 3.5 Sonnet, et ce, malgré un coût d’entraînement drastiquement réduit.

Alors que la guerre technologique autour de l’IA entre les Etats-Unis et la Chine continue de s’intensifier avec l’annonce il y a moins d’un mois de nouvelles restrictions, DeepSeek démontre qu’il est néanmoins possible de développer des LLMs capables de rivaliser avec les meilleurs modèles américains.

Créée en mai 2023 à Hangzhou, la start-up, dirigée par Liang Wenfeng, est une filiale du fonds spéculatif High-Flyer. Son ambition est la même que celle affichée par OpenAI : développer une IA au service de l’humanité et atteindre l’IAG, des systèmes d’IA qui dépassent les capacités cognitives des êtres humains dans de nombreux domaines.

Tout juste un an plus tard, l’entreprise lançait DeepSeek-V2, un modèle de langage performant proposé à un coût compétitif, déclenchant une guerre des prix sur le marché chinois de l’IA et amenant ses principaux concurrents notamment Zhipu AI, ByteDance, Alibaba, Baidu, Tencent à revoir leurs prix à la baisse.

La semaine dernière, elle a présenté son successeur, DeepSeek-V3, comptant 671 milliards de paramètres, entraîné durant un peu moins de deux mois grâce aux GPU H 800 que les USA autorisaient NVIDIA à lui vendre jusqu’à l’an passé. Un total de 2 788 000 heures estimé à un coût de 5 576 000 par million de tokens en entrée, 1,10 $ par million de tokens en sortie.

Le modèle est téléchargeable sur Hugging Face. Le code complet ainsi qu’une documentation technique détaillée sont quant à eux disponibles sur GitHub.

1. Pleias, une start-up française, annonce le lancement de sa première famille de grands modèles de langage (LLM), définissant de nouvelles références en matière de transparence, d’éthique et de conformité. Ces modèles compacts, qui s’appuient exclusivement sur des données ouvertes, démontrent que performance technologique, respect du droit d’auteur et open source peuvent aller de pair.
   
   Pleias est une start-up parisienne créée en décembre 2023 par Pierre-Carl Langlais, Ivan Yamschikov et Anastasia Stasenko. Ses modèles sont élaborés à partir du Common Corpus, un ensemble de données multilingues unique par son ampleur et son ouverture. Ce corpus, qu’elle a publié le 13 novembre dernier, disponible sur HuggingFace, a été soutenu par la start-up d’état Langu:IA, un projet du ministère de la Culture et la DINUM, dans le cadre de la préfiguration de l’offre de services de l’Alliance pour les technologies du langage EDIC (ALT-EDIC).

Son développement a réuni un consortium exceptionnel de partenaires, dont le cluster de supercalculateurs Jean-Zay (Genci, Idris, Eviden), NVIDIA, TractoAI, Wikimedia Entreprise. Il a également bénéficié du soutien de grandes organisations open-source, dont la Mozilla Foundation, l’AI Alliance et Eleuther AI, renforçant son engagement envers la science ouverte et l’innovation collaborative.

Comptant plus de 2 000 milliards de tokens, le Common Corpus est le plus grand ensemble de données d’entraînement pour les LLMs exclusivement composé de textes appartenant au domaine public.

Il se distingue par plusieurs caractéristiques fondamentales :

• Véritablement ouvert : toutes les données incluses sont sous licences permissives, garantissant une utilisation en conformité avec les droits d’auteur ;
• Multilingue et diversifié : plus de 30 langues sont représentées, notamment l’anglais (808 milliards de tokens) et le français (266 milliards), ainsi que des langues comme l’espagnol, l’italien et le néerlandais. Les sources incluent des articles académiques, des textes juridiques, du contenu culturel et du code open source ;
• Qualité optimisée : les contenus ont été rigoureusement filtrés pour éliminer les données nuisibles ou de faible valeur informative.

Une suite adaptée aux besoins européens

Pleias présente trois modèles qui sont, de par leurs données d’entraînement, entièrement conformes au RGPD et à l’AI Act européen :

• Pleias 1.0 : avec 3 milliards de paramètres, il est spécialisé dans les domaines de la gestion des connaissances et des applications administratives ou juridiques ;
• Pleias-Nano (1 milliard) et Pleias-Pico (350 millions) : conçus pour des usages plus légers comme la génération augmentée par la récupération (RAG) et l’harmonisation des données.

Ils fonctionnent efficacement sur du matériel grand public, leur petite taille les rendant particulièrement adaptés aux environnements où les ressources informatiques sont limitées ou pour des applications nécessitant une faible latence.

Anastasia Stasenko, PDG de Pleias, conclut :

“Notre approche démontre qu’il est possible de créer des modèles de langage puissants tout en respectant pleinement la loi sur le droit d’auteur, les exigences du RGPD et les principes éthiques de l’IA”.

Depuis l’émergence des grands modèles de langage (LLMs), certains ont été qualifiés d’“ouverts”, ce qui a pu prêter à confusion avec le terme “open source” lors de leur présentation. En février dernier, l’Allen Institute for Artificial Intelligence (Ai2), a publié la première version d’OLMo, (Open Language Model), un LLM qui répond aux critères stricts de l’OSAID, la définition de l’IA open source de l’OSI. Le modèle a depuis été mis à jour en avril et dernièrement avec OLMo 2 qu’il présente comme “le meilleur modèle de langage entièrement ouvert à ce jour”. 

AI2 est un institut de recherche à but non-lucratif fondé en 2014 par Paul Allen, philanthrope et cofondateur de Microsoft, décédé en 2018. Son objectif est de favoriser le développement de l’intelligence artificielle au service de la société, en mettant l’accent sur des applications responsables et éthiques. L’institut collabore avec des universités, des entreprises et d’autres institutions de recherche pour stimuler l’innovation dans ce domaine.

AI2 se concentre sur des domaines variés tels que la compréhension du langage naturel, la vision par ordinateur, l’apprentissage automatique et la robotique. Parmi ses contributions majeures, on trouve Semantic Scholar, un moteur de recherche avancé destiné à aider les chercheurs à accéder et à analyser des articles scientifiques, ainsi que AllenNLP, une bibliothèque open source dédiée au traitement du langage naturel.

OLMo 2

Dans le domaine de la GenAI, AI2 milite également pour l’open source. Après Molmo, une famille de modèles d’IA multimodaux, il présente OLMo2, sa dernière famille de modèles de langage.

Dans le cadre de la validation et de la mise à l’essai de l’OSAID, la première version d’OLMo a été considérée comme réellement open source tout comme Pythia (Eleuther AI), Amber et CrystalCoder (LLM360) et T5 (Google) contrairement à Llama de Meta ou Grok de xAI. OLMo 2 correspond lui aussi pleinement aux critères exigés.

AI2 écrit sur son blog :

“Parce que la science entièrement ouverte nécessite plus que des poids ouverts, nous sommes ravis de partager une nouvelle série de mises à jour d’OLMo, y compris des poids, des données, du code, des recettes, des points de contrôle intermédiaires et des modèles optimisés pour les instructions, avec la communauté plus large de la modélisation du langage !”

Une architecture améliorée et un pré-entraînement optimisé

OLMo 2 est une nouvelle famille de modèles de langage de 7 et 13 milliards de paramètres, le premier a été entraîné sur environ 4,05 milliards de tokens tandis que le second l’a été sur un total de 5 000 milliards de tokens.

Les modifications architecturales principales apportées à OLMo incluent l’intégration de RMSNorm pour une meilleure stabilité et l’utilisation de plongements positionnels rotatifs.

AI2 a utilisé une approche en 2 étapes. Pour la 1ère, les modèles ont été pré-entraînés avec OLMo-Mix-1124, une collection d’environ 3,9 milliards de jetons. Les modèles ont, dans un second temps, été affinés avec un mélange composé à part égale de données web filtrées et de données spécifiques à un domaine (contenu académique, forums de questions-réponses, données d’instructions et cahiers d’exercices mathématiques, à la fois synthétiques et générés par l’homme) provenant de Dolmino-Mix-1124. L’Institut a ensuite échantillonné les 843 milliards de tokens obtenus pour optimiser leurs performances lors des étapes finales d’entraînement.

Performance et comparaison de OLMo 2

Selon les évaluations d’AI2, OLMo 2 7B et 13B sont les meilleurs modèles entièrement ouverts à ce jour, surpassant souvent les modèles de “poids ouverts” de taille équivalente, tout en égalant voire dépassant certains modèles partiellement propriétaires. Par exemple, OLMo-2-7B surpasse Llama 3.1 8B de Meta tandis qu’OLMo-2-13B dépasse Qwen 2.5 7B d’Alibaba Cloud malgré un coût de calcul moindre.

AI2 a utilisé Tülu 3, sa famille de modèles de suivi d’instructions, pour les variantes Instruct d’OLMo 2. Celles-ci ont été évaluées sur leurs capacités de suivi d’instructions, de rappel des connaissances, de mathématiques et de raisonnement général. Elles se sont révélées compétitives avec les meilleurs modèles à poids ouverts, OLMo 2 13B Instruct surpassant les modèles Qwen 2.5 14B instruct, Tülu 3 8B et Llama 3.1 8B instruct.

L’IA peut-elle améliorer la précision des diagnostics médicaux ? Des chercheurs d’UVA Health, un réseau de soins de santé affilié à l’Université de Virginie, ont tenté de répondre à cette question. Le résultat de leur étude est surprenant : si l’IA peut effectivement surpasser les performances des médecins dans certaines tâches de diagnostic, son intégration dans leur flux de travail n’a pas significativement amélioré leurs performances globales.

Les grands modèles de langage (LLM) ont montré des résultats prometteurs dans la réussite aux examens de raisonnement médical, qu’il s’agisse de questions à choix multiples ou de questions ouvertes. Cependant, leur impact sur l’amélioration du raisonnement diagnostique des médecins en situation réelle reste à déterminer.

Andrew S. Parsons, qui supervise l’enseignement des compétences cliniques aux étudiants en médecine de la faculté de médecine de l’Université de Virginie et codirige le Clinical Reasoning Research Collaborative, et ses collègues de l’UVA Health ont voulu mettre ChatGPT Plus (GPT-4) à l’épreuve. Leur étude, a été publiée dans la revue scientifique JAMA Network Open et acceptée ce mois-ci par le symposium 2024 de l’American Medical Informatics Association.

Méthodologie de l’étude

Les chercheurs ont recruté 50 médecins exerçant en médecine familiale, en médecine interne et en médecine d’urgence pour lancer un essai clinique randomisé et contrôlé dans trois hôpitaux de pointe : UVA Health, Stanford et le Beth Israel Deaconess Medical Center de Harvard. La moitié d’entre eux ont été assignés aléatoirement à l’utilisation de ChatGPT en plus de méthodes conventionnelles telles que Google ou des sites de référence médicaux comme UpToDate, tandis que l’autre moitié s’est appuyée uniquement sur ces méthodes conventionnelles.

Les participants ont eu 60 minutes pour examiner jusqu’à 6 vignettes cliniques, des outils pédagogiques utilisés dans le domaine médical pour évaluer et améliorer les compétences cliniques des professionnels de santé. Ces vignettes, basées sur des cas réels, comprenaient des détails sur les antécédents des patients, des examens physiques et des résultats d’analyses de laboratoire.

Résultats

L’étude a révélé que les médecins utilisant ChatGPT Plus obtenaient une précision diagnostique médiane de 76,3 %, légèrement supérieure aux 73,7 % des médecins s’appuyant uniquement sur des outils traditionnels. Si l’écart reste modeste, en revanche, Chat GPT Plus, utilisé indépendamment, a atteint une précision impressionnante de 92 %.

Si les participants à l’essai utilisant ChatGPT Plus ont atteint un diagnostic un peu plus rapidement dans l’ensemble (519 secondes contre 565 secondes par cas), paradoxalement, ils ont réduit la précision diagnostique de l’IA.

Pour les chercheurs, cette baisse de la précision pourrait être due aux invites utilisées. Ils soulignent la nécessité de former les cliniciens à l’utilisation optimale de l’IA, notamment en exploitant les prompts de manière plus efficace. Sinon, les organisations de soins de santé pourraient acheter des invites prédéfinies à mettre en œuvre dans le flux de travail et la documentation clinique.

Selon eux, ChatGPT Plus se comporterait probablement moins bien dans la vie réelle, où de nombreux autres aspects du raisonnement clinique entrent en jeu, en particulier pour déterminer les effets en aval des diagnostics et des décisions de traitement. Ils demandent des études supplémentaires pour évaluer les capacités des grands modèles de langage dans ces domaines et mènent une étude similaire sur la prise de décision de gestion.

Conclusions

Les résultats révèlent une nuance essentielle : bien que les LLM soient capables de performances autonomes impressionnantes, leur utilisation en complément des méthodes traditionnelles n’a pas significativement amélioré la précision diagnostique des médecins.

Les chercheurs avertissent que “les résultats de cette étude ne doivent pas être interprétés comme indiquant que les LLM devraient être utilisés pour le diagnostic de manière autonome sans la surveillance d’un médecin” ajoutant que “des développements supplémentaires dans les interactions homme-machine sont nécessaires pour réaliser le potentiel de l’IA dans les systèmes d’aide à la décision clinique”.

Ils ont d’ailleurs lancé un réseau bicôtier d’évaluation de l’IA appelé ARiSE (AI Research and Science Evaluation) afin d’évaluer davantage les résultats de la GenAI dans les soins de santé.

Références de l’article

“Influence d’un grand modèle de langage sur le raisonnement diagnostique. Un essai clinique randomisé” doi :10.1001/jamanetworkopen.2024.40969

Equipe de recherche : Ethan Goh, Robert Gallo, Jason Hom, Eric Strong, Yingjie Weng, Hannah Kerman, Joséphine A. Cool, Zahir Kanjee, Andrew S. Parsons, Neera Ahuja, Eric Horvitz, Daniel Yang, Arnold Milstein, Andrew P.J. Olson, Adam Rodman et Jonathan H. Chen.

Pour la délégation sénatoriale à la prospective, tous les secteurs d’activité seront bouleversés par l’IA générative et le secteur public n’y fera pas exception.  “IA et éducation”, est l’une des cinq thématiques de son programme de travail 2024, “L’intelligence artificielle et l’avenir du service public”. Pour les rapporteurs, il ne s’agit plus de décider si l’IA doit être intégrée dans l’éducation, elle y a déjà fait irruption, mais de savoir comment accompagner son développement et répondre aux défis qu’elle pose.

La thématique “IA et éducation” a été confiée à Bernard Fialaire (RDSE, Rhône) et Christian Bruyen (LR, Marne). Ils soulignent dans le rapport qu’ils ont présenté le 30 octobre dernier, le potentiel de l’IA pour l’accès au savoir et les apprentissages mais également le besoin de lignes directrices claires.

Les sénateurs écrivent :

“Qu’il s’agisse de personnaliser l’enseignement en l’adaptant à l’élève ou d’épauler les enseignants dans la conception des cours et l’évaluation des apprentissages, les cas d’usage de l’IA dans l’éducation sont nombreux. Cependant, faute de cadre structuré, l’appropriation de ces outils par les acteurs du système éducatif, enseignants, élèves, établissements, loin d’être systématique, apparaît encore très inégale”.

L’IA, pour un parcours scolaire personnalisé

Les jeunes ont très vite adopté les outils de GenAI. Un sondage réalisé auprès de lycéens scolarisés en région Nouvelle-Aquitaine révèle ainsi que plus de 90 % des élèves de seconde les ont déjà utilisés comme aide aux devoirs. Une étude récente de Digital Education Council a démontré que l’IA est désormais perçue comme une composante indispensable des études universitaires. ChatGPT est aujourd’hui l’outil d’IA le plus utilisé par les élèves quel que soit leur niveau d’études.

Selon les rapporteurs, l’IA pourrait permettre de personnaliser les cours en fonction du profil de chaque élève. Dans le cadre de cet apprentissage “adaptatif”, “les connaissances de l’élève, ses appétences, ses capacités, mais également, s’agissant notamment de l’apprentissage des langues, son contexte socio-culturel, peuvent être mieux pris en compte”.

L’IA peut aider les enseignants à identifier les difficultés d’apprentissage et ainsi lutter contre le risque de décrochage scolaire. Un tableau de bord permet aux enseignants
d’organiser et de suivre les apprentissages en classe et à la maison en gardant une vue
d’ensemble des travaux effectués par les élèves et de leur progression. Les sénateurs donnent pour exemple l’outil de remédiation en français et en mathématiques “MIA Seconde”, développé par EvidenceB.

Pour eux, l’approche personnalisée est très prometteuse, ils commentent :

“L’enseignant peut rendre le processus d’apprentissage plus ludique en s’appuyant, pour chaque élève, sur le juste équilibre entre un exercice trop facile, facteur de démotivation, et un exercice trop difficile, source de découragement. Il s’agit de viser la zone proximale de développement (ZPD), c’est-à-dire l’espace cognitif situé entre la zone d’autonomie et la zone de rupture, dans lequel l’élève reste mobilisé, car il se sent capable de réussir une tâche avec une aide appropriée”.

Intégration et préoccupations éthiques

L’IA pourrait également alléger la charge de travail des enseignants, notamment en automatisant certaines tâches administratives et répétitives, leur permettant de se concentrer davantage sur la pédagogie et les élèves qui connaissent le plus de difficultés.

Christian Bruyen et Bernard Fialaire soulignent également son potentiel prometteur pour un apprentissage plus inclusif : les élèves en situation de handicap, grâce à des fonctionnalités comme les sous-titres, les traducteurs en langue des signes ou les lecteurs d’écran, peuvent poser des questions et communiquer comme les autres apprenants. Ils évoquent notamment les applications développées afin d’aider les enfants atteints de troubles du spectre autistique (TSA) à communiquer plus aisément et à favoriser leur concentration.

Leur rapport salue l’engagement de la France en matière d’IA dans l’éducation, via le programme France 2030 et des initiatives comme OpenLLM France, lauréat de l’AAP “Communs Numériques pour IA Générative”, dont l’objectif est de développer un LLM totalement ouvert dédié à l’éducation. Cependant, ils rappellent les questions éthiques soulevées par des technologies plus controversées, comme celles analysant la participation et la concentration des élèves via des capteurs physiologiques.

Outre des craintes pour l’avenir de leur profession, le rapport met en évidence le manque de confiance des enseignants vis à vis des outils d’IA:

“Nombre d’acteurs soulignent le manque de preuves scientifiques sur les apports pédagogiques de l’IA et l’efficacité des outils disponibles pour faire progresser les élèves et les accompagner vers la réussite”.

Les deux sénateurs proposent donc de mieux accompagner les enseignants, de structurer l’intégration de l’IA dans les programmes scolaires et d’assurer une évaluation indépendante des outils IA.

Trois axes principaux pour une intégration réussie

• Accompagnement et cadre d’usage : Offrir aux enseignants un soutien dans l’utilisation de l’IA, en leur fournissant un cadre d’usage structuré et des outils adaptés ;
• Former à l’IA et favoriser l’émergence d’une culture citoyenne de l’IA: Inclure l’IA dans les programmes de formation initiale et continue des enseignants et des cadres éducatifs, particulièrement les inspecteurs, et l’intégrer comme compétence dans le certificat numérique PIX ;
• Évaluation et recherche : Mettre en place une évaluation indépendante et créer un observatoire de l’IA pour approfondir les études sur son impact en milieu scolaire.

En juin dernier, ABBYY, une multinationale spécialisée dans le traitement intelligent des documents et l’automatisation, a mené, en partenariat avec l’institut Opinium, une enquête auprès de 1 200 décideurs informatiques en France, au Royaume-Uni, aux États-Unis, en Allemagne, en Australie et à Singapour. Elle dévoile dans son rapport “ABBYY State of Intelligent Automation : AI Trust Barometer 2024”, les motivations et les inquiétudes des industriels français face à l’adoption de l’IA.

Selon les chiffres d’ABBYY, l’investissement moyen dans l’IA au cours des 12 derniers mois en France a été supérieur à celui des pays étudiés : 811 000 euros alors que la moyenne se situe à 600 000 euros. L’étude révèle que l’innovation technologique et la peur de l’obsolescence sont les principaux moteurs de l’intégration de l’IA.

Le “AI Trust Barometer 2024″ identifie également les principaux domaines d’application de l’IA dans l’industrie française : le marketing et les opérations (40 %), les ventes (39 %), et la conformité (27 %) sont en tête des départements ayant intégré des outils IA, avec des solutions d’automatisation qui transforment progressivement les processus internes et la relation client.

La peur de l’obsolescence : premier facteur de motivation

Alors que la technologie évolue à une vitesse inédite, 63 % des industriels français expriment leur crainte de se voir dépassés s’ils ne s’adaptent pas à l’IA. Ce chiffre souligne la pression constante qui pèse sur les entreprises pour maintenir leur compétitivité. Selon ABBYY, l’IA est devenue un élément clé pour garantir l’efficacité : 52 % des répondants, indiquent l’amélioration des performances et du service client comme des objectifs prioritaires. La pression exercée par les clients s’avère également significative, 38 % des répondants affirmant que les attentes de leurs consommateurs les poussent à investir dans l’IA.

Des décideurs confiants dans les modèles de langage

Une large majorité des leaders informatiques du secteur industriel français (77 %) déclare faire confiance à l’IA pour apporter des avantages à leur entreprise.

Ils accordent une confiance élevée aux grands modèles de langage (LLM), plébiscités par 84 % des répondants pour leur fiabilité et leur efficacité. Les petits modèles de langage (SLM) bénéficient eux aussi d’une confiance notable (80 %), en partie en raison de leur capacité à répondre à des besoins spécifiques tout en limitant certains risques associés aux LLM.

Les outils basés sur l’IA générative, tels que les chatbots et assistants numériques, sont parmi les plus utilisés, reflétant un engouement croissant pour des solutions capables d’automatiser et de personnaliser les interactions avec les clients. Si 82% des répondants français déclarent utiliser ChatGPT, plus de la moitié utilise des outils d’IA spécifiques, tels que le traitement intelligent des documents (IDP).

Des freins persistants à l’adoption de l’IA

Malgré cette forte adoption, l’étude met en lumière plusieurs inquiétudes. Le risque d’utilisation abusive de l’IA est cité comme l’une des principales préoccupations (38 %). Le manque de talents et de compétences (34 %), les complexités techniques (29 %) et les enjeux de conformité juridique (31 %) sont d’autres freins majeurs. De plus, 49 % des décideurs s’inquiètent des menaces pour la cybersécurité et la protection des données, tandis que 40 % expriment des doutes quant à la fiabilité des informations fournies par l’IA.

Une croissance des investissements en 2025

En dépit de ces défis, 87 % des décideurs informatiques prévoient de renforcer leurs budgets IA pour l’année à venir, 22 % d’entre eux comptent d’ailleurs augmenter leurs investissements de 21 à 30 %. Ces prévisions reflètent la confiance croissante en l’IA, soutenue par des résultats concrets que 80 % des entreprises affirment déjà observer.

Vers une IA responsable ?

Un autre aspect de cette adoption de l’IA est la dimension éthique. Si 81 % des industriels français se disent convaincus de respecter les réglementations en vigueur, seulement 43 % des entreprises ont mis en place des politiques internes claires pour encadrer l’usage de l’IA par leurs équipes de production et de conformité. ABBYY souligne que ce besoin de formaliser des lignes directrices internes devient crucial pour gagner la confiance des utilisateurs et des clients.

Maxime Vermeir, Senior Director of AI Strategy chez ABBYY, commente :

“Il est révélateur que les responsables informatiques de l’industrie préfèrent les petits modèles de langage, probablement en raison des informations erronées associées à l’IA générative. Cela indique une maturation du marché, avec une intégration croissante d’outils spécialisés comme le traitement intelligent des documents (IDP) dans les stratégies d’IA. Les industriels peuvent ainsi combiner l’IA spécialisée avec des solutions basées sur des grands modèles de langage (LLM) pour répondre à des besoins spécifiques, renforçant la confiance. Cependant, le manque d’expertise en mise en œuvre de l’IA demeure une préoccupation, risquant de freiner leur progression. Pour y remédier, ils devraient former leurs employés et recruter des spécialistes en IA, afin de maximiser les avantages de cette technologie”.

Lors de l’événement annuel TechXchange d’IBM, la société a annoncé la sortie de Granite 3.0, la dernière version de sa famille de modèles de langage (LLM) open source, adaptés aux besoins des entreprises. Granite 3.0 se distingue par son équilibre entre performance, sécurité et rentabilité, répondant aux défis de l’utilisation de LLMs dans des environnements professionnels. 

La suite de modèles Granite 3.0 comprend :

•  Des LLM à usage général : Granite 3.0 8B-Instruct, Granite 3.0 2B-Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base
• Des modèles garde-fous orientés sécurité : Granite Guardian 3.0 8B, Granite Guardian 3.0 2B
• Des modèles « Mixture-of-Experts » : Granite 3.0 3B-A800M Instruct, Granite 3.0 1B-A400M Instruct, Granite 3.0 3B-A800M Base, Granite 3.0 1B-A400M Base.

Granite 3.0 : un modèle d’efficacité et de flexibilité

Granite 3.0 8B et 2B ont été entraînés à partir de 12 000 milliards de jetons de données, provenant de 12 langages naturels et de 116 langages de programmation différents. Les entreprises peuvent les personnaliser avec leurs propres données grâce à la méthode d’alignement InstructLab, introduite par IBM et Red Hat en mai dernier. Elle permet aux entreprises de personnaliser les modèles en utilisant des données synthétiques et des protocoles de formation adaptés à leurs besoins, réduisant ainsi les coûts de trois à vingt-trois fois, et les délais de mise en œuvre.

Les modèles de la famille Granite 3.0 sont adaptés à différentes applications d’IA. Les modèles de base Granite 3.0 8B et 2B, qualifiés de “bourreaux de travail” par IBM, sont conçus pour des tâches variées comme la génération augmentée de récupération (RAG), la classification et la synthèse de données. Ils peuvent être facilement personnalisés avec des données d’entreprise, permettant ainsi aux organisations d’optimiser leurs performances à moindre coût.

Le modèle phare de cette version, Granite 3.0 8B Instruct, un modèle dense optimisé pour les instructions, est destiné à servir de bloc de construction principal pour les flux de travail sophistiqués et les cas d’utilisation basés sur des outils.

En matière de benchmarks académiques et professionnels, Granite 3.0 8B Instruct rivalise avec des modèles concurrents open source de taille similaire, comme Llama 3.1-8B de Meta et Mistral-7B de Mistral AI, tout en se distinguant par ses performances sur des tâches spécifiques à l’entreprise, notamment en cybersécurité. Il a ainsi dominé les évaluations sur RAGBench, un benchmark évaluant la génération augmentée par récupération (RAG) dans des contextes industriels tels que les manuels techniques.

Granite Guardian 3.0 : la sécurité au cœur de l’innovation

Outre ses modèles polyvalents, IBM introduit les modèles Granite 3.0 Guardian, spécialement conçus pour répondre aux besoins critiques de sécurité et de conformité des entreprises. Granite Guardian 3.0 8B et 2B sont des modèles renforcés avec des mécanismes de sécurité intégrés pour minimiser les risques liés aux biais et à l’exploitation malveillante des systèmes d’IA. Grâce à une série de mécanismes de contrôle et de supervision, ces modèles assurent une protection contre les fuites de données sensibles et les réponses inappropriées. Ils peuvent être utilisés pour mettre en œuvre des garde-fous avec n’importe quel modèle d’IA ouvert ou propriétaire.

IBM affirme que Granite Guardian excelle dans les environnements réglementés, où la conformité aux normes de sécurité et de confidentialité est primordiale. Ces modèles sont capables de détecter les anomalies dans les interactions utilisateur et les manipulations malveillantes, ce qui les rend particulièrement adaptés à des secteurs comme la finance, la santé et la défense. Selon ses tests internes, Granite Guardian a surpassé des modèles similaires, comme LLamaGuard de Meta, en matière de détection des risques.

Mixture-of-Experts : performances et rentabilité

La version 3.0 introduit les modèles “Mixture-of-Experts” (MoE), tels que Granite 3.0 3B-A800M Instruct et 1B-A400M Instruct, qui adoptent une approche modulable, où seuls certains experts (sous-modèles spécialisés) sont activés en fonction de la tâche demandée, ce qui les rend très intéressants pour les environnements où les ressources de calcul peuvent être limitées ou coûteuses.

Entraînés sur plus de 10 000 milliards de jetons de données, ces nouveaux modèles MoE Granite sont particulièrement adaptés pour des applications sur l’appareil, des serveurs CPU et des situations nécessitant une latence extrêmement faible.

IBM a également annoncé une mise à jour de ses modèles Granite Time Series pré-entraînés, dont les premières versions ont été publiées au début de l’année. Ces nouveaux modèles, entraînés sur 3 fois plus de données, offrent de solides performances selon les 3 principaux benchmarks de type série temporelle (Time Series), surpassant des modèles 10 fois plus grands de Google, Alibaba et d’autres. Ces modèles mis à jour offrent également une plus grande flexibilité de modélisation grâce à la prise en charge de variables externes et de prévisions glissantes.

Granite 3.0 dans l’écosystème d’IBM

L’introduction de Granite 3.0 s’intègre parfaitement à l’écosystème plus large d’IBM, avec des intégrations optimisées pour certaines de ses plateformes. Watsonx.ai, le produit phare d’IBM dédié à l’IA, s’appuie désormais sur Granite 3.0 pour offrir des solutions avancées aux entreprises cherchant à automatiser leurs processus tout en maintenant un haut niveau de sécurité et de transparence.

IBM a également mis en avant la compatibilité de Granite 3.0 avec ses outils de gestion des modèles et des données, permettant aux entreprises de surveiller et d’ajuster en continu leurs modèles pour améliorer la précision et la pertinence. L’intégration avec des outils comme Watsonx.data et Watsonx.governance garantit que les données sont gérées et utilisées de manière responsable tout au long du cycle de vie des modèles.

IBM continue d’améliorer Granite avec des extensions prévues pour la fin 2024, comme l’augmentation de la fenêtre de contexte à 128 000 jetons et l’ajout de capacités multimodales. Tous les modèles Granite 3.0 sont entraînés sur l’infrastructure Blue Vela d’IBM, qui fonctionne à 100 % grâce à des sources d’énergie renouvelable. Ce choix s’inscrit dans l’engagement croissant d’IBM à intégrer des pratiques durables dans ses processus de développement technologique.

Disponibilité des modèles Granite 3.0

Les modèles Granite 3.0 et les modèles Time Series mis à jour sont distribués sous la licence Apache 2.0 et peuvent être téléchargés sur HuggingFace, renforçant l’engagement d’IBM envers l’open source et la transparence.

Les variantes d’instruction des nouveaux modèles de langage Granite 3.0 8B et 2B et les modèles Granite Guardian 3.0 8B et 2B sont disponibles dès aujourd’hui pour une utilisation commerciale sur la plateforme watsonx d’IBM. Une sélection des modèles Granite 3.0 sera également disponible en tant que microservices NVIDIA NIM et via les intégrations Vertex AI Model Garden de Google Cloud avec HuggingFace.

Pour faciliter le choix et l’utilisation des développeurs et soutenir les déploiements locaux et à la périphérie (edge), un ensemble organisé de modèles Granite 3.0 est également disponible sur Ollama et Replicate.

Les modèles sont également disponibles sur les plateformes de partenaires d’IBM, tels qu’AWS, Docker, Domo, Qualcomm Technologies, Salesforce ou SAP.

LightOn, une entreprise européenne spécialisée dans l’IA générative, a franchi une étape importante en obtenant l’approbation de l’Autorité des marchés financiers (AMF) pour son introduction en Bourse sur Euronext Growth Paris. Fondée en 2016 par Igor Carron et Laurent Daudet, LightOn s’est démarquée en développant des solutions d’IA générative adaptées aux besoins des entreprises, visant à améliorer leur productivité. Ses produits phares, Forge et Paradigm, sont utilisés par des entreprises en Europe, aux États-Unis et dans la région EMEA.

Après avoir lancé en 2020 son tout premier co-processeur photonique, LightOn a entrepris de développer les premiers grands modèles de langage dédiés aux langues européennes, un défi dans le domaine encore naissant de l’IA générative.

Au départ, l’entraînement des grands modèles de langage faisait partie des applications possibles pour le processeur photonique de LightOn. Très vite, l’équipe se passionne pour cette nouvelle génération d’IA, encore méconnue en France, élabore et entraîne ses propres modèles. En 2020, elle met en accès libre son premier modèle français à travers une interface simple de génération de texte : PAGnol. En 2022, après une année et demi de travail intensif, elle a mis au point VLM-4, une suite de grands modèles de langage dans un premier temps en 5 langues européennes : anglais, allemand, espagnol, français et italien.

Avec une équipe de 41 collaborateurs, LightOn, plutôt que de se concentrer sur des applications grand public, cible le secteur professionnel avec une offre spécialisée. Les solutions développées par l’entreprise permettent d’automatiser des tâches complexes et d’optimiser les processus métier.

Une version avancée d’Alfred-40B-1023, la seconde itération d’Alfred-40B-0723, un modèle de langage open source basé sur Falcon-40B, alimente Paradigm, sa plateforme d’IA générative dédiée aux entreprises et aux services publics, qui peut être directement intégrée dans les infrastructures existantes, garantissant ainsi la sécurité des données des organisations utilisatrices. LightOn continue d’affiner cette solution, qui a été adoptée par des acteurs de divers secteurs, notamment le SEO, la défense, la santé et l’aéronautique, grâce à des mises à jour régulières. Elle collabore également étroitement avec des entreprises pour concevoir des cas d’usage personnalisés, en s’appuyant sur Forge, une autre solution logicielle qu’elle commercialise.

Stratégies de partenariat et expansion future

La stratégie de LightOn repose également sur des partenariats avec des entreprises telles qu’Orange Business et Hewlett Packard Enterprise, pour étendre son influence dans l’écosystème technologique européen. Des négociations avancées sont d’ailleurs en cours avec d’autres acteurs des secteurs des infrastructures, du matériel informatique, du cloud et des services IT et pourraient aboutir à de nouveaux partenariats dans les trimestres à venir.

L’augmentation de capital envisagée via l’introduction en Bourse, hors clauses d’extension et de surallocation le cas échéant, est d’environ 10 millions d’euros, LightOn a déjà reçu un engagement de souscription de la part d’Axon Partners Group pour un montant de 3 M€. Elle permettra de soutenir la croissance de l’entreprise, qui ambitionne d’atteindre un chiffre d’affaires de 40 millions d’euros et des revenus annuels récurrents de 35 millions d’euros d’ici 2027.

Le choix d’une entrée sur le marché boursier reflète une volonté de la société d’accélérer son expansion à l’international, avec une priorité pour l’Europe et le Moyen-Orient, tout en se maintenant à la pointe des dernières avancées technologiques dans son domaine.

Alors que la demande pour des solutions d’IA personnalisées continue de croître, notamment dans les secteurs des services publics et des entreprises, LightOn entend se positionner comme un acteur de référence sur ce marché. L’introduction en Bourse pourrait offrir à l’entreprise les moyens financiers de rester compétitive dans un secteur en pleine évolution.

Igor Carron et Laurent Daudet, co-PDG et co-fondateurs de LightOn, commentent :

“L’IA générative va transformer en profondeur les usages des entreprises. Les promesses de cette technologie révolutionnaire sont immenses et le marché mondial adressable est colossal. À la pointe de son secteur sur la technologie, LightOn est une entreprise commerciale avec des solutions déjà au cœur des grandes entreprises privées et publiques. Mais l’aventure ne fait que commencer. Le décollage de notre marché se confirme à un rythme qui dépasse nos attentes. Nos partenariats stratégiques avec Orange Business et Hewlett Packard Enterprise, vont nous permettre de démultiplier notre conquête commerciale et de prendre rapidement des parts de marché pour nous positionner comme un partenaire privilégié des entreprises en Europe et au-delà en matière d’IA générative”.

Concluant :

“Fort de la demande que nous enregistrons actuellement et de notre solide dynamique commerciale en cours, nous sommes aujourd’hui prêts à nous fixer des objectifs ambitieux : atteindre environ 40 M€ de chiffre d’affaires, associé à une marge d’EBITDA d’environ 40% du chiffre d’affaires et environ 35 M€ d’ARR d’ici 2027. C’est pour accompagner ce développement rapide et accroître nos positions que nous annonçons aujourd’hui le lancement de notre projet d’Introduction en Bourse”.

La rentrée est là, et le nouveau numéro du magazine ActuIA est prêt à vous accompagner dans cette période de renouveau. Que vous le choisissiez en version numérique ou papier, il sera la lecture idéale pour tous les professionnels et passionnés de l’IA, que ce soit à la maison, au bureau, ou même dans les transports !

Ce numéro, bientôt disponible, vous propose un retour sur les temps forts de l’été avec nos traditionnelles rubriques : un condensé des actualités marquantes, les levées de fonds, notre rubrique pop culture pour stimuler votre curiosité, mais aussi des dossiers d’analyse essentiels sur l’impact de l’IA dans le secteur professionnel, et les enjeux cruciaux de l’IA en Russie. Ne manquez pas cette occasion de rester informé et inspiré pour cette nouvelle saison !

Si vous n’êtes pas encore abonné(e), inscrivez-vous dès aujourd’hui et recevez-le directement chez vous ou sur votre lieu de travail. 

Au sommaire du n°17 d’ActuIA :

Actualités
Une revue de toutes les actualités de ces derniers mois : droit, éthique, santé, projets de recherche, business… Retrouvez toutes les informations qu’il ne fallait pas louper ce dernier trimestre en France comme à l’étranger.

Levées de fonds
Une sélection de levées de fonds récentes dont bien évidemment celle de Spotlight Medical, enrichie d’une analyse de Stéphane Nachez, Directeur de la publication d’ActuIA.

Adopter l’IA ? Oui, mais avec optimisme
Jean-Marc Bonnet, Sales Technology Director chez Teradata, nous apporte son regard sur l’intégration de l’IA dans les entreprises.

Altair : un pionnier au cœur de l’intégration de l’IA
Interview de François Weiler, Président d’Altair France. Découvrez comment Altair transforme l’intégration de l’IA et accompagne les entreprises dans leurs décisions stratégiques à travers des solutions pragmatiques et sur-mesure.

L’IA et l’éducation : Qu’en est-il ?
Focus sur les formations et les ressources mises en place par la région académique PACA afin d’acculturer les enseignants aux systèmes d’IA, avec Romain Estampes, Chargé de mission à la DRANE PACA (Délégation régionale académique au numérique éducatif).

L’intelligence artificielle au service du droit : méthodes, outils et enjeux
Dr. William Babonnaud, Dr. Alexandra Benamar, Dr. Sophie Fayad du Centre R&D de Talan, vous font découvrir les outils d’IA développés au service du domaine juridique.

La « passe beauty » : le photoshop du cinéma
Dans cet article de la rubrique Pop culture, notre journaliste, Amira Hadak, vous propose une analyse des usages de l’IA dans le cinéma.

L’intelligence artificielle pour mieux comprendre notre planète
Plongez au cœur des sciences de la Terre avec Dr. Delouche Estelle du Centre R&D de Talan. Cette dernière vous expliquera comment l’IA peut s’avérer très utile dans le domaine de la géophysique.

Sélection du comité scientifique
Zoom sur deux publications scientifiques qui ont retenu l’attention de notre comité scientifique au cours des derniers mois.

Téléphones portables, Education & Interdictions : Ce que nous enseigne l’IA !
En cette rentrée 2024, certains établissements scolaires ont banni les téléphones portables. Laurence Vanin, philosophe et essayiste, s’exprime sur le sujet en détaillant les raisons de ces interdictions de plus en plus présentes dans le cadre scolaire.

IA et emploi : la grande inconnue
Dans ce dossier, nous abordons l’IA au sein du monde du travail. Entre des entretiens avec Cyril Dallois, Secrétaire national de l’Union Générale des Ingénieurs, Cadres et Techniciens (UGICT), et Yann Ferguson, Sociologue à INRIA et Directeur scientifique du LaborIA, et des analyses des différents terrains explorer par l’IA dans le secteur professionnel, l’adoption de l’IA par les entreprises n’aura plus de secret pour vous ! Emmanuelle Blons, Auteure, conférencière et spécialiste de la transformation digitale et des RH Belkacem Laïmouche, Pilote du groupe « Ressources Humaines » du Hub France IA viennent compléter le dossier.

Confiance.ai propose une méthodologie outillée au service du développement d’une IA industrielle et responsable
Focus sur Confiance.ai, le livrable technologique du défi sur l’IA vérifiable et certifiable. Juliette Mattioli (Thales), Morayo Adedjouma (CEA), Raphael Braud (IRT SystemX), Bertrand Braunschweig (IRT SystemX), Loic Cantat (IRT SystemX), Philippe Dejean (IRT Saint Exupéry), Ingrid Fiquet (Sopra Steria), Rodolphe Gelin (Renault), Joseph Machrouh (Thales), Karla Quintero (IRT SystemX), Boris Robert (IRT Saint Exupéry), et Fabien Tschirhart (IRT SystemX), nous apportent leurs connaissances sur ce programme de recherche français sur l’IA de confiance.

Parole d’experts
Ce numéro met en lumière trois experts en intelligence artificielle. Découvrez les expertises de Sandrine Henry, Data Analyst et consultante chez Pragma 9, Julien Briot-Hadar, Auteur, formateur et conférencier expert en compliance et de Mélanie Lopez Malet, Senior data scientist.

L’IA russe à la croisée des chemins
« Celui qui dominera l’IA dominera le monde », a déclaré Vladimir Poutine, en 2017. Placé au cœur de la vision russe du pouvoir mondial, l’IA est perçue comme un levier de compétitivité économique, mais aussi comme un outil crucial pour asseoir la puissance géopolitique du pays. Ce dossier vous fera découvrir la route empruntée par la Russie dans cette course mondiale à l’intelligence artificielle ainsi que les défis auxquels le pays se heurte. Un article complété par une proposition de trois personnalités russes à suivre.

Je m’abonne !

C’est avec son partenaire Google Cloud qu’InstaDeep a lancé récemment DeepPCB Pro, une version avancée de son outil de conception de circuits imprimés (PCB) basé sur le cloud et alimenté par l’IA. Cette solution innovante utilise l’apprentissage par renforcement (RL) pour automatiser, optimiser et accélérer le processus de conception des PCB de bout en bout.

Fondée à Tunis en 2014 par Karim Beguir et Zohra Slim, désormais basée à Londres, InstaDeep compte des bureaux à Paris, Tunis, Lagos, Dubaï, Le Cap, Berlin, Boston, San Francisco et un réseau mondial de partenaires de recherche dans les domaines de l’IA, du machine learning et de la science des données. Elle a été nommée trois ans de suite au classement CB Insights AI 100 des 100 entreprises privées d’IA les plus innovantes.

La start-up, qui a levé 100 millions de dollars en 2022 lors d’une série B, est un des leaders de l’IA décisionnelle, permettant aux industriels d’optimiser leur réponse à des situations complexes qui requièrent une puissance de calcul significative en un laps de temps limité (gestion de flux logistiques, transports, recherche de traitements thérapeutiques innovants…).

Relever les défis du routage traditionnel avec le RL

L’industrie de la conception de circuits imprimés est confrontée à de nombreux défis, notamment un routage complexe, des processus sujets aux erreurs et la nécessité d’un prototypage rapide.

Le routage est une étape cruciale dans la conception des PCB, permettant de définir le tracé des connexions entre les composants sur le circuit. Les routeurs de circuits imprimés traditionnels s’appuient souvent sur des heuristiques rapides mais sous-optimales, ou sur des solveurs non-évolutifs qui recommencent à zéro pour chaque nouvelle instance de conception. Ces méthodes sont efficaces pour des conceptions simples, mais ne peuvent pas évoluer pour gérer des conceptions plus complexes de manière efficace.

DeepPCB Pro adopte une approche totalement différente grâce à l’apprentissage par renforcement. Contrairement aux solutions traditionnelles, cet outil apprend continuellement de chaque instance de conception, en tirant parti des données accumulées pour fournir rapidement des solutions optimales pour le placement et le routage des composants. Les cycles de conception sont considérablement raccourcis, ce qui permet aux ingénieurs de mettre leurs produits sur le marché plus vite tout en maintenant un niveau élevé de performance.

Alors que la conception de circuits imprimés implique souvent des processus manuels et chronophages qui peuvent ralentir le développement des produits, DeepPCB Pro est une solution évolutive entièrement automatisée, construite sur l’infrastructure robuste de Google Cloud, pouvant gérer des conceptions complexes et s’adapter aux entreprises de toutes tailles.

DeepPCB Pro est proposé avec des options de tarification flexibles, y compris un essai gratuit et un système de crédits d’IA à la carte, permettant aux entreprises de tester ses capacités sans engagement.

Pour plus d’informations cliquer ici.

Les modèles de langage de petite taille (SLM) sont une alternative intéressante aux LLMs pour les entreprises qui peuvent les exploiter à moindre coût pour des tâches spécifiques. Microsoft après avoir introduit le SLM Phi-1 en juin 2023 et présenté le 23 avril dernier la famille de modèles open source Phi-3, dévoile à présent les modèles Phi-3,5 : Phi-3.5-mini-instruct, Phi-3.5-MoE-instruct, et Phi-3.5-vision-instruct.

Chacun de ces modèles est optimisé pour des tâches spécifiques, tout en partageant une longueur de contexte de 128 000 jetons, permettant une manipulation efficace des données complexes.

Phi-3.5-mini-instruct : un modèle compact et puissant pour environnements restreints

Le Phi-3.5-mini-instruct est le plus petit modèle de la série, conçu pour offrir des performances robustes dans des environnements où les ressources informatiques sont limitées. Avec 3,8 milliards de paramètres, ce modèle est parfaitement adapté aux tâches nécessitant un raisonnement logique solide, telles que la génération de code et la résolution de problèmes mathématiques.

Malgré sa taille réduite, ce modèle a été entraîné sur un impressionnant ensemble de 3,4 billions de jetons à l’aide de 512 GPU H100-80G pendant 10 jours. Les performances de Phi-3.5 Mini Instruct dans les tâches conversationnelles multilingues et multi-tours sont remarquables. Le modèle est compétitif avec d’autres modèles ouverts beaucoup plus grands tels que Llama-3.1-8B-instruct, Mistral-7B-instruct-v0.3 et Mistral-Nemo-12B-instruct-2407. Il a notamment surpassé Llama-3.1-8B-instruct et Mistral-7B-instruct-v0.3 dans le benchmark RepoQA (compréhension du code à contexte long).

Phi-3.5-MoE-instruct : une architecture de mélange d’experts

Le modèle Phi-3.5-MoE (Mixture of Experts) représente une avancée significative dans l’architecture de l’IA. Ce modèle utilise une approche sophistiquée qui active différents “experts” en fonction de la tâche à accomplir, optimisant ainsi les performances pour des tâches spécifiques. Avec 42 milliards de paramètres, dont 6,6 milliards activés à chaque utilisation, le Phi-3.5 MoE est conçu pour gérer des tâches de raisonnement complexes, la compréhension de code et le traitement multilingue.

Il prend en charge les langues suivantes : Allemand, Anglais, Arabe, Chinois, Coréen, Danois, Espagnol, Finnois, Français, Hébreu, Hongrois, Italien, Japonais, Norvégien, Néerlandais, Polonais, Portugais, Russe, Suédois, Thaï, Turc et Ukrainien.

Entraîné sur 4,9 billions de jetons, dont 10 % multilingues, en utilisant 512 GPU H100-80G pendant 23 jours, le modèle MoE a montré une supériorité notable dans les tests de performance spécifiques. Il a surpassé les modèles plus grands Llama 3.1-8B-instruct, Gemma 2-9B-It et Gemini 1.5-Flash mais s’est incliné face à GPT-4o-mini d’OpenAI, dans la majorité des cas. Cependant, dans le test MMLU (Massive Multitask Language Understanding) à 5 coups, il a réussi à prendre l’avantage sur ce dernier.

Microsoft commente :

“Il est encore fondamentalement limité par sa taille pour certaines tâches. Le modèle n’a tout simplement pas la capacité de stocker trop de connaissances factuelles, par conséquent, les utilisateurs peuvent rencontrer des inexactitudes factuelles. Cependant, nous pensons qu’une telle faiblesse peut être résolue en augmentant Phi-3.5 avec un moteur de recherche, en particulier lors de l’utilisation du modèle sous les paramètres RAG”.

Le modèle a fait l’objet d’un processus d’amélioration rigoureux, intégrant un réglage fin supervisé, une optimisation des politiques proximales et une optimisation des préférences directes pour garantir une adhésion précise aux instructions et des mesures de sécurité robustes.

Phi-3.5-vision-instruct : pour les tâches multimodales

Le Phi-3.5-vision-instruct est conçu pour les tâches multimodales, intégrant à la fois des données textuelles et visuelles. Avec 4,15 milliards de paramètres, ce modèle est spécialement adapté pour des applications telles que la reconnaissance optique de caractères (OCR), la compréhension de graphiques et de tableaux, et le résumé vidéo.

Il a été entraîné sur 500 milliards de jetons avec 256 GPU A100-80G sur une période de 6 jours. Son aptitude à traiter et à intégrer des données complexes, combinée à sa capacité à gérer plusieurs images, en fait un outil extrêmement polyvalent pour les tâches nécessitant une analyse détaillée des informations visuelles et textuelles.

Open source pour une adoption généralisée

Les trois modèles de la série Phi-3.5 sont disponibles sous licence MIT, ce qui permet aux développeurs de les utiliser, de les modifier et de les distribuer sans restriction. Ils sont disponibles sur Hugging Face, Phi-3.5 Vision Instruct est également accessible via Azure AI Studio.

Le 12 août dernier, le juge fédéral Orrick a rendu une ordonnance autorisant la poursuite de l’affaire concernant la violation du droit d’auteur déposée contre Stability AI, Midjourney et DeviantART par les artistes Sarah Andersen, Kelly McKernan et Karla Ortiz. Une première victoire pour celles-ci et leurs avocats, Matthew Butterick et Joseph Saveri, d’autant plus que le juge William Orrick avait rejeté la plupart de leurs demandes en octobre 2023. 

Depuis que les modèles text-to-image comme Stable Diffusion, Dall-E, Imagen ou Midjourney ont fait leur apparition, de nombreux artistes s’insurgent contre leur utilisation. Certains contestent le processus créatif de l’auteur d’une œuvre générée par IA, comme celle de Midjourney primée à la Colorado State Fair, ou le fait qu’on entraîne ces modèles sur des œuvres sans demander le consentement à leurs auteurs ni contrepartie financière.

Basée à Londres et San Francisco, Stability AI a connu la notoriété en annonçant en août 2022 la sortie publique de Stable Diffusion, un modèle text-to-image open-source fruit d’une collaboration entre Stability AI, RunwayML, des groupes de recherche du centre Machine Vision & Learning au LMU de Munich (anciennement laboratoire CompVis à l’Université de Heidelberg), d’EleutherAI et de LAION.

En janvier 2023, la célèbre banque d’images et agence de photographie américaine, Getty Images, lui a intenté un procès devant la Haute Cour de justice de Londres, affirmant que la start-up avait enfreint les droits de propriété intellectuelle, y compris les droits d’auteur sur le contenu qu’elle détient ou représente. Le même mois, Matthew Butterick et Joseph Saveri déposaient la plainte initiale Andersen v. Stability au nom des trois artistes Sarah Andersen, Kelly McKernan et Karla Ortiz.

Celle-ci conteste la légalité des IA génératives d’images créées par Stability AI, Midjourney et DeviantArt (DreamUp, qui utilise le modèle Stable Diffusion). Toutes trois ont été entraînées sur de vastes ensembles de données d’images et de textes provenant de diverses sources sur Internet, notamment des bases de données LAION-5B et LAION-400M

Lorsqu’il a rejeté la plupart de leurs demandes en octobre 2023, le juge Orrick a laissé aux plaignantes le droit de modifier leur plainte pour la représenter, ce qui a été fait le mois suivant. Dans son ordonnance du 12 août dernier, il a autorisé les réclamations pour violation du droit d’auteur et de la marque. Stability AI, Midjourney et DeviantArt vont donc devoir fournir des informations sur les données d’entraînement de leurs modèles text-to-image, préciser si des œuvres protégées par le droit d’auteur en font partie et dans quelle mesure.

Matthew Butterick souligne dans son blog intitulé “La fin du début”:

“Non, cela ne veut pas dire que nous gagnons. Au contraire, cela signifie seulement que nous pouvons commencer : nous pouvons commencer la découverte et mettre l’affaire sur la voie du procès. Mais il s’agit d’un pas en avant important pour l’affaire, qui avait été suspendue pendant plus de 18 mois”.

La licorne franco-américaine Hugging Face a annoncé récemment l’acquisition de XetHub, une start-up américaine spécialisée dans la gestion de fichiers pour les projets d’IA, ce qui lui permettra d’améliorer ses capacités de stockage et de gestion des données afin de répondre aux besoins croissants de modèles toujours plus grands et complexes.

Fondé en 2021 à Seattle par Yucheng Low, Ajit Banerjee, et Rajat Arya, tous anciens membres de l’équipe de machine learning (ML) d’Apple, XetHub s’est donné pour mission de simplifier l’expérimentation de données à grande échelle. Sa plateforme peut gérer des fichiers individuels de plus de 1 To (téraoctet) et des référentiels dont la taille totale dépasse 100 To, une nette amélioration par rapport à Git LFS, qui limite la taille des fichiers à 5 Go et celle des référentiels à 10 Go.

La start-up s’est démarquée en adaptant Git pour gérer des référentiels de données massifs, une compétence essentielle pour les équipes travaillant avec des modèles ML complexes et volumineux. Sa technologie permet non seulement de stocker efficacement ces énormes fichiers, mais aussi de faciliter la collaboration en permettant aux équipes de travailler simultanément sur ces ensembles de données.

Yucheng Low, cofondateur de XetHub, explique :

“L’objectif de XetHub est de permettre aux équipes de ML de fonctionner comme des équipes logicielles, en adaptant le stockage de fichiers Git aux To, en permettant de manière transparente l’expérimentation et la reproductibilité, et en fournissant les capacités de visualisation nécessaires pour comprendre comment les ensembles de données et les modèles évoluent”.

L’impact de XetHub sur le développement d’Hugging Face

La plateforme collaborative Hub de Hugging Face stocke 1,3 million de modèles d’IA, 450 000 jeux de données, 680 000 espaces et reçoit chaque jour 1 milliard de requêtes.

En 2020, lors de la création de la première version du Hub, l’équipe a choisi d’utiliser Git LFS (Large File Storage), une solution de stockage permettant de gérer des fichiers volumineux de manière efficace, mais qui montre désormais ses limites face à l’augmentation exponentielle de la taille des modèles d’IA. La technologie de XetHub permettra de passer à une solution de stockage plus adaptée, optimisant non seulement la capacité, mais aussi l’efficacité des mises à jour et des collaborations.

Grâce à cette acquisition, Hugging Face prévoit de remplacer Git LFS par une version optimisée de son propre système de stockage et de gestion de versions, intégrant les avancées technologiques de XetHub. Les utilisateurs du Hub pourront ainsi bénéficier d’une réduction significative de la bande passante et du temps de téléchargement lors de la mise à jour de fichiers volumineux.

Des cas d’utilisation concrets

Les innovations majeures que XetHub apporte sont la gestion des fichiers fragmentés et la déduplication. Par exemple, dans un scénario où un fichier Parquet de 10 Go nécessite une mise à jour d’une seule ligne, les utilisateurs ne devront plus télécharger l’intégralité du fichier, mais seulement les fragments modifiés. Cette fonctionnalité est cruciale à une époque où les modèles d’IA atteignent des tailles inédites, comme le nouveau modèle BigLlama-3.1-1T de Maxime Labonne.

De même, la mise à jour de fichiers de modèle GGUF, où une simple modification de métadonnées dans un dépôt Llama 3.1 405B pouvait auparavant nécessiter le téléchargement de plusieurs gigaoctets, sera désormais possible en quelques secondes.

Yucheng Low conclut :

“Avec toute l’équipe de XetHub, je suis très enthousiaste à l’idée de rejoindre Hugging Face et de poursuivre cette mission visant à faciliter la collaboration et le développement de l’IA – en intégrant la technologie XetHub dans Hub – et à proposer ces fonctionnalités à la plus grande communauté ML au monde !”

Un nouvel acteur de l’IA générative européen vient de faire son apparition : Black Forest Labs. Le 1er août dernier, la start-up annonçait non seulement son lancement officiel et la clôture d’une ronde de financement de démarrage de 31 millions de dollars, mais également FLUX-1, une famille de modèles d’IA text-to-image. 

Basée à Fribourg-en-Brisgau, en Allemagne, au pied des montagnes de la Forêt-Noire, la start-up a été cofondée par Robin Rombach, Patrick Esser, Andreas Blattmann, Axel Sauer, Frederic Boesel et Tim Dockhorn. Composée de chercheurs et d’ingénieurs ayant développé des modèles d’IA pionniers comme VQGAN, Latent Diffusion, Stable Diffusion, SDXL, son équipe se concentre sur l’accessibilité et la transparence pour favoriser l’innovation.

Black Forest Labs (BFL) déclare sur son site web :

“Notre mission est de développer et de faire progresser des modèles d’apprentissage profond génératif de pointe pour les médias tels que les images et les vidéos, et de repousser les limites de la créativité, de l’efficacité et de la diversité. Nous pensons que l’IA générative sera un élément fondamental de toutes les technologies futures. En rendant nos modèles accessibles à un large public, nous voulons en faire profiter tout le monde, éduquer le public et renforcer la confiance dans la sécurité de ces modèles”.

Une levée de fonds de 31 millions de dollars

Cette levée témoigne de la confiance de l’industrie dans le potentiel de la start-up à transformer le paysage de l’IA générative. Menée par le fonds de capital-risque Andreessen Horowitz, elle a attiré des contributeurs notables comme Brendan Iribe, Michael Ovitz, Garry Tan, Timo Aila et Vladlen Koltun, des figures reconnues dans le domaine de l’IA et de la création d’entreprises technologiques. Des fonds supplémentaires ont été apportés par General Catalyst et MätchVC, deux sociétés d’investissement qui ont décidé de soutenir la mission de Black Forest Labs de développer et de diffuser des technologies d’IA avancées issues de l’Europe à l’échelle mondiale.

Le conseil consultatif de la start-up comprend Michael Ovitz, qui apporte une vaste expérience dans le secteur de la création de contenu, et le professeur Matthias Bethge, un pionnier du transfert de style neuronal et expert de premier plan dans la recherche européenne ouverte sur l’IA.

FLUX.1 : repousser les frontières de la synthèse texte-image

FLUX.1 est proposé en trois variantes, chacune adaptée à des besoins spécifiques :

• FLUX.1 [pro] : la version la plus performante, conçue pour offrir des images de qualité supérieure avec un suivi d’invite précis, une diversité de style et une complexité de scène inégalée. Cette version, accessible via l’API de BFL, est idéale pour les entreprises ou les utilisateurs recherchant la meilleure qualité disponible ;
• FLUX.1 [dev] : Ce modèle est destiné aux applications non commerciales. Il s’agit d’une version distillée de FLUX.1 [pro], offrant une qualité d’image similaire tout en étant plus efficace en termes de ressources. Les utilisateurs peuvent accéder à ses poids ouverts sur HuggingFace pour l’explorer et l’intégrer dans des projets ;
• FLUX.1 [schnell] : Adapté à un usage personnel et au développement local, ce modèle est le plus rapide de la gamme. Il est disponible gratuitement sous une licence Apache2.0, permettant aux développeurs de l’utiliser pour des projets individuels ou expérimentaux.

Les trois versions sont accessibles via Replicate et fal.ai.

Architecture et performance

Les modèles FLUX.1 reposent sur une architecture hybride avancée combinant des transformateurs de diffusion multimodaux. Comptant 12 milliards de paramètres, ils intègrent des techniques de pointe comme l’appariement de flux (flow matching), les plongements positionnels rotatifs et les couches d’attention parallèles pour améliorer les performances et l’efficacité matérielle. Ces innovations permettent à FLUX.1 de surpasser les modèles concurrents dans diverses catégories, y compris la qualité visuelle, la diversité de sortie, et la complexité des scènes générées.

Crédit : BFL

Selon la start-up, FLUX.1 [pro] et [dev] surpassent les modèles populaires comme Midjourney v6.0, DALL· E 3 (HD) et SD3-Ultra dans chacun des aspects suivants : qualité visuelle, suivi des invites, variabilité de la taille et de l’aspect, typographie et diversité de sortie. FLUX.1 [schnell] serait le modèle en quelques étapes le plus avancé à ce jour, surpassant non seulement les concurrents de sa catégorie, mais aussi de puissants modèles non distillés comme Midjourney v6.0 et DALL· E 3 (HD).

Les 3 variantes du modèle FLUX.1 prennent en charge une large gamme de rapports d’aspect et de résolutions allant de 0,1 à 2 mégapixels.

Perspectives de BFL : les modèles text-to-video

Black Forest Labs ne compte pas s’arrêter à la génération d’images. En s’appuyant sur les capacités robustes de FLUX.1, l’entreprise travaille au développement d’une suite de modèles génératifs texte-vidéo. La start-up conclut ses annonces par :

“Nos modèles vidéo débloqueront une création et un montage précis en haute définition et à une vitesse sans précédent. Nous nous engageons à continuer à innover dans l’avenir des médias génératifs”.

Imeon Energy, société brestoise leader dans le domaine des solutions d’autoconsommation solaire avec stockage, a été admise sur Euronext Access+ Paris le 8 août dernier avec une première cotation de ses actions ce 9 août 2024. Cette étape clé intervient à la suite d’un placement privé réussi de 1,6 million d’euros, réalisé auprès de six investisseurs stratégiques, dont 842 000 euros souscrits par des actionnaires existants.

Fondé en 2013 par Christophe Goasguen, ingénieur comptant 15 ans d’expérience dans les systèmes de production et stockage d’énergie, Imeon Energy s’est imposé en seulement 10 ans comme leader du marché français des énergies renouvelables. La société, qui compte 17 employés dont 9 ingénieurs et experts logiciels, développe et commercialise une gamme complète d’onduleurs hybrides intelligents et de systèmes de stockage avancés, conçus pour maximiser le rendement des installations solaires résidentielles et industrielles.

En constante croissance depuis sa création, et rentable depuis 2019, l’entreprise a réalisé un chiffre d’affaires de 4 M€ en mars 2023 (plus de 30% à l’export), avec 750 K€ de bénéfices net. Elle bénéficie d’une forte présence en Europe, en Amérique du Nord, en
Asie et en Afrique.

Maximiser le rendement des installations solaires

Imeon Energy se distingue par son approche innovante et sa capacité à anticiper les besoins d’un marché en pleine expansion. Les onduleurs hybrides développés par la société combinent une architecture matérielle et logicielle avancée, intégrant une IA propriétaire qui optimise en temps réel la gestion des flux d’énergie. Cette technologie permet non seulement d’améliorer l’efficacité des installations photovoltaïques, mais aussi de prolonger la durée de vie des batteries, garantissant ainsi une rentabilité maximale pour les utilisateurs.

Le positionnement unique d’Imeon Energy sur la chaîne de valeur de l’autoconsommation solaire repose sur plusieurs piliers stratégiques. En adoptant un modèle “fabless”, c’est-à-dire sans production propre mais avec un contrôle rigoureux de la chaîne d’approvisionnement, la société parvient à augmenter rapidement et efficacement sa capacité de production tout en maîtrisant ses coûts. Ce modèle, couplé à un réseau de plus de 30 distributeurs spécialisés et 500 installateurs partenaires, assure une diffusion optimale de ses produits à l’échelle mondiale.

Imeon Energy bénéficie également d’une base de données unique et ultra-fiable, résultant de ses plus de 6 000 installations opérationnelles réparties sur 71 pays. Ces données permettent à la société d’affiner en continu son IA, rendant ses prévisions de consommation et ses algorithmes de gestion de l’énergie encore plus performants. Cette expertise technologique a déjà convaincu de nombreux clients, tant en France qu’à l’international, et a permis à l’entreprise de se positionner comme un acteur incontournable de la transition énergétique.

L’entrée en bourse sur Euronext Access+ Paris est une étape cruciale pour Imeon Energy, marquant le début d’une nouvelle phase de croissance. Les fonds levés permettront à la société de renforcer ses investissements en R&D, d’accélérer son déploiement international et de répondre à une demande croissante pour ses solutions innovantes.

Devenir le leader mondial des solutions de stockage intelligentes

Avec un marché de l’énergie solaire en pleine mutation, où l’atteinte de la parité réseau et la baisse des prix de l’énergie sur le réseau favorisent le déploiement des solutions photovoltaïques avec stockage, Imeon Energy se trouve idéalement placé pour capitaliser sur ces tendances. La société ne cache pas son ambition de devenir le leader mondial des solutions de stockage intelligentes, projetant une croissance exponentielle de son chiffre d’affaires : elle vise 18 millions d’euros en 2026 et 82 millions d’euros en 2028. Pour atteindre ces objectifs, elle mise sur l’expansion de ses activités à l’international, la consolidation de son réseau de distribution, et le développement continu de ses technologies de pointe.

L’introduction sur Euronext Access+ Paris est donc un tremplin pour la société, qui entend bien continuer à jouer un rôle clé dans le secteur des énergies renouvelables, tout en renforçant sa position sur le marché mondial des solutions de stockage intelligentes.

Christophe Goasguen, PDG et fondateur d’Imeon Energy, conclut :

“Notre mission est de faire de l’énergie solaire un pilier de la transition environnementale accessible à tous. Notre gamme de produits innovants et dotés d’une intelligence artificielle mature permet aujourd’hui aux utilisateurs particuliers comme industriels de réaliser des économies significatives sur leur facture énergétique. Cette solution, intégrant une technologie brevetée et des solutions de stockage avancées, est déjà considérée comme un succès commercial auprès de plus de 6.000 utilisateurs à travers le monde. La cotation s’inscrit naturellement dans notre stratégie de développement et vise à accélérer notre déploiement international et renforcer notre avance technologique par des investissements ‘R&D’ pour répondre à une demande croissante, en développant des solutions toujours plus innovantes, gages de rentabilité pour les utilisateurs”.

Cet article a été par Ludovic Denoyer. Il est chercheur scientifique au FAIR, se concentrant principalement sur divers problèmes d’apprentissage automatique, en particulier sur l’apprentissage par renforcement et l’interaction homme-machine. Il était auparavant professeur à Sorbonne Universités.

Rendre plus simple la programmation d’algorithmes d’apprentissage par renforcement à l’aide des principes de l’apprentissage supervisé : la librairie « RLStructures ».

Dans le cadre des jeux olympiques 2024, nous vous offrons chaque jour un article issu du magazine ActuIA n°4, dont le dossier principal est “Le sport à l’ère de l’IA”. Afin de découvrir le magazine ActuIA, nous vous invitons à vous rendre sur notre boutique. Tout nouvel abonnement d’un an vous donne droit à l’ensemble des archives au format numérique.

L’un des facteurs-clés du succès de l’apprentissage profond (deep learning) est la facilité avec laquelle ce paradigme permet de mettre en application de nouvelles idées et de les expérimenter concrètement sur de volumineux jeux de données. Nous avons en effet assisté à l’émergence conjointe d’avancées déterminantes du côté hardware, avec la mise à disposition de processeurs graphiques (GPUs) à bas coût particulièrement adaptés aux calculs vectoriels et matriciels, ainsi que du côté software, à travers la création de multiples librairies d’autodifférenciation (Theano, Torch, puis TensorFlow, PyTorch, Jax, etc.), permettant de faciliter grandement la programmation d’algorithmes d’apprentissage statistique.

Ainsi, il est désormais possible d’implémenter en quelques heures ce qui pouvait prendre des semaines quelques années auparavant. L’explosion récente du deep learning est au moins autant liée à ces progrès d’infrastructures hardware et software qu’aux progrès conceptuels ou algorithmiques.

Cependant, le deep learning s’attaque principalement à des problématiques d’apprentissage à partir de jeux de données. D’autres cadres d’apprentissage ne sont pas au même point de maturité et ne disposent pas d’outils équivalents. C’est le cas de l’apprentissage par renforcement dont l’objectif est d’acquérir un comportement à partir d’interactions avec un environnement. Popularisé ces dernières années à travers les résultats obtenus sur des problèmes symboliques de l’intelligence artificielle tel que le jeu de go ou les échecs, son cadre est très prometteur car il permet de modéliser des systèmes en interaction (avec d’autres systèmes, des utilisateurs, etc.).
En effet, de nombreuses applications nécessitent des systèmes permettant non pas de faire une prédiction sur une donnée, mais de produire des séquences cohérentes d’actions qui, ensemble, vont permettre d’aboutir à une solution. Ainsi, les algorithmes d’apprentissage par renforcement sont cruciaux dans des applications telles que la robotique, la recommandation, la conception de chatbots, la voiture autonome, etc. Ce domaine reste néanmoins aujourd’hui difficile à aborder, particulièrement dans ses aspects expérimentaux. Si les infrastructures hardware (multiples CPUs et GPUs) sont aujourd’hui souvent disponibles, les infrastructures logicielles sont quant à elles peu matures : l’appren-tissage par renforcement n’a pas encore fait sa révolution.
L’un des enjeux du domaine actuellement est d’extraire des principes-clés de programmation des algorithmes de renforcement sur lesquels il serait possible de bâtir des librairies aussi simples et efficaces que celles dont nous disposons en deep learning. Cela permettrait de démocratiser ce domaine encore trop confidentiel et donc d’y accélérer massivement la recherche et l’utilisation pratique d’algorithmes, ouvrant le champ des possibles de l’IA à des applications bien plus complexes que celles traitées actuellement.

Les librairies de deep learning

Les algorithmes d’apprentissage à partir de données reposent sur quatre composants principaux : 1. un jeu de données. 2. un modèle de prédiction. 3. une fonction de coût permettant de mesurer la qualité du modèle de prédiction, et 4. un algorithme d’optimisation dont l’objectif est de définir (d’apprendre) le meilleur modèle, c’est-à-dire celui dont le coût de prédiction est le plus faible.

Pendant très longtemps, la difficulté de mise en œuvre expérimentale ou en production de ces modèles venait du fait que chaque nouvelle idée avait une incidence sur plusieurs de ces composants, nécessitant un travail d’adaptation fastidieux et coûteux. Le deep learning a démocratisé l’utilisation d’une famille particulière de modèles très expressive, les réseaux de neurones, associés à un algorithme d’optimisation précis, la descente de gradient, permettant d’automatiser de grandes parties de ce processus.

Figure 1 : Exemple d’implémentation d’algorithmes de deep learning (à la’ PyTorch). Les quatre composants décrits apparaissent explicitement, et le programmeur implémente différentes idées en modifiant l’architecture du modèle (fonction ‘build_my_neural_ network’) ou la fonction de coût (fonction ‘my_loss_function’). La librairie de deep learning automatise i) le calcul du gradient (compute_gradient) et ii) la lecture des données (DataLoader).

Construites autour de composants logiciels permettant de faire de la différenciation automatique, les librairies actuelles de deep learning permettent de simplifier grandement les composants 2., 3. et 4. décrits précédemment. Concrètement, le programmeur n’a plus qu’à définir une architecture de modèle, une fonction de coût appropriée à son application, la librairie prendra en charge le reste, permettant l’apprentissage aussi bien sur CPU que sur GPU, voire sur plusieurs GPUs simultanément. Enfin, les librairies proposent aussi des composants logiciels souvent peu mis en avant mais essentiels : les data-loaders.

Ces composants permettent l’ingestion par les algorithmes d’apprentissage de volumineux jeux de données à haute vitesse grâce à la parallélisation de la lecture des données et leur agrégation (batching) automatique, et ce de façon complètement transparente pour le programmeur. Cet exemple de code permettant l’apprentissage d’un modèle en figure 1 nous montre que quelques lignes suffisent pour être en mesure d’implémenter un modèle et de l’apprendre sur de grandes quantités de données.

Les difficultés de l’apprentissage par renforcement

En comparaison de l’apprentissage supervisé classique, l’apprentissage par renforcement revêt de nombreuses difficultés.

1) La première d’entre elles est celle dite du credit assignment, c’est-à-dire la détection (et le renforcement) des actions déterminantes pour l’obtention d’une grande récompense. En effet, l’agent doit effectuer de multiples actions, et réussir à ‘comprendre’ parmi elles quelles sont les bonnes et quelles sont les mauvaises, alors même que les conséquences de ces actions ne pourront être observées que bien plus tard dans la vie de l’agent.

2) La seconde difficulté est celle dite du dilemme exploration/exploitation : afin de pouvoir trouver des comportement efficaces, un agent doit explorer l’environnement dans lequel il s’exécute. Mais, afin d’éviter une exploration inefficace ou trop coûteuse en termes de temps, il est aussi important pour l’agent d’exploiter l’information collectée afin de se focaliser sur des comportements ‘prometteurs’.

3) Enfin un troisième problème fréquemment rencontré est celui de l’observation partielle de l’environnement : l’agent observe à l’instant t une information uniquement partielle qui ne lui permet pas de se ‘localiser’ facilement dans l’environnement (prenons l’exemple d’un robot face à un mur blanc, qui n’observe donc qu’une image blanche et ignore de ce fait où il se trouve précisément).

Ces trois problèmes fondamentaux qui différencient l’apprentissage par renforcement de l’apprentissage supervisé classique font actuellement l’objet de multiples directions de recherche.

Figure 2 : Apprentissage supervisé (PyTorch) et apprentissage par renforcement en RLStructures

L’apprentissage par renforcement

L’apprentissage par renforcement est un cadre d’apprentissage différent de l’apprentissage à partir de données, modélisant l’interaction d’un agent avec un environnement (figure 2). À chaque itération, l’agent observe l’environnement et doit choisir quelle action effectuer. Après la mise en œuvre de son action, il reçoit une récompense immédiate. L’objectif de l’apprentissage est de trouver le meilleur agent, c’est-à-dire celui qui va recevoir le plus grand nombre de récompenses cumulées durant un épisode d’interaction. Contrairement à l’apprentissage supervisé classique, la complexité du problème vient du fait que les prédictions (les actions) faites par le modèle peuvent avoir des conséquences plus tard dans la ‘vie’ de l’agent, rendant la compréhension d’une action à entreprendre, et à quel moment, très difficile.

Ainsi décrit, ce cadre semble très différent du cadre de deep learning présenté précédemment. Les abstractions proposées dans les librairies de deep learning classiques ne sont pas appropriées et ne peuvent être utilisées facilement pour implémenter des algorithmes d’apprentissage par renforcement. Si nous observons les librairies d’apprentissage par renforcement disponibles actuellement, nous constatons que la plupart d’entre elles visent naturellement à abstraire les concepts spécifiques du domaine (environnement, politique, agent), leur utilisation nécessite donc un prix d’entrée important. Par exemple, l’algorithme d’apprentissage est souvent inclus dans l’agent lui-même, rendant l’apprentissage et l’acquisition de données interdépendants, ou bien les structures de données sont spécifiques à certains types de problèmes et ne peuvent être utilisées dans des cadres plus hétérogènes d’apprentissage par renforcement.

Cependant, à y regarder de plus près, le cadre de l’apprentissage par renforcement présente de multiples similitudes avec l’apprentissage à partir de données. Tout comme en deep learning, un algorithme d’apprentissage par renforcement nécessité :

a) des données, traces d’interaction entre des agents et des environnements et produites ici aussi à grande vitesse ;

b) un modèle de prédiction correspondant à un agent décideur d’actions à effectuer en fonction des observations.

Enfin, la grande majorité des algorithmes existants peuvent être exprimés à travers une fonction de coût (composant c) calculé sur des traces d’interactions, et optimisé par descente de gradient (composant d). Peut-on alors programmer les algorithmes d’apprentissage par renforcement de manière similaire à ceux du deep learning, facilitant par là même leur compréhension ? Quelles en sont les différences ?

La première différence provient de la nature des données traitées. Là où le deep learning représente les données considérées comme indépendantes les unes des autres, l’apprentissage par renforcement traite des trajectoires, c’est-à-dire des séquences temporelles de données complexes (observations, actions, récompenses, etc.). Il est donc nécessaire de pouvoir décrire ce type de données facilement.

La deuxième différence se situe dans la nature du modèle de prédiction : là ou le deep learning produit une prédiction à partir d’une donnée unique, un agent produit une action à partir d’un historique d’interactions, c’est-à-dire à partir des observations et actions rencontrées tout au long d’un épisode. Un modèle doit donc avoir accès à son histoire, aux observations et actions produites précédemment.

Enfin, la troisième différence provient du processus d’acquisition des données : là où les librairies de deep learning classiques proposent des data loaders permettant le chargement rapide de grands jeux de données, il est nécessaire en apprentissage par renforcement de pouvoir échantillonner rapidement des traces d’interactions entre plusieurs politiques et plusieurs environnements à grande vitesse.

Ce processus d’échantillonnage est certainement la partie la plus coûteuse en termes de développement pour un programmeur qui initie un nouveau projet en apprentissage par renforcement, car il implique de pouvoir simuler les interactions entre des agents et des environnements, tout en capturant les informations nécessaires à la mise à jour des agents par apprentissage.

La librairie RLStructures

La librairie RLStructures vise à faciliter le passage de l’idée à l’expérimentation le plus efficacement possible. Elle propose une solution aux trois problèmes identifiés précédemment, et permet d’implémenter des algorithmes aussi facilement qu’en deep learning, reprenant les principes des librairies classiques (PyTorch dans notre cas) en les étendant au cas de l’apprentissage par renforcement.

Figure 3 : Exemple d’implémentation d’algorithme d’apprentissage par renforcement
(‘à la’ RLStructures). Les 4 composants apparaissent explicitement, la librairie de deep
learning prenant en charge le calcul du gradient, et RLStructures (Batcher) prenant en
charge l’acquisition de données par des agents sur des environnements.

Le schéma reste très similaire à la boucle d’apprentissage de la figure 1, permettant une
familiarisation aisée.

Conformément à cette description, elle est fondée sur trois composants génériques :

a) elle étend les tenseurs et fournit une structure de données simple et flexible permettant de modéliser des informations complexes (e.g. actions structurées, observations complexes, etc.) ;

b) elle propose une abstraction permettant d’implémenter des agents, notamment à l’aide de réseaux de neurones ;

c) elle fournit un unique composant d’échantillonnage permettant l’acquisition de traces d’interactions entre de multiples agents et environnements à haute vitesse (plusieurs CPUs et GPUs simultanément), à travers la parallélisation sur plusieurs processus.

Assemblés, ces composants simples permettent l’écriture d’algorithmes d’apprentissage par renforcement de manière très similaire à la méthode utilisée en deep learning classique (cf. figure 3).

Se familiariser avec cette librairie et l’utiliser pour implémenter de nouvelles idées devient facile, y compris dans des cadres moins conventionnels tels que l’apprentissage par renforcement non supervisé, les politiques hiérarchiques, l’apprentissage de populations de politiques, etc.

La librairie propose par ailleurs des exemples concrets d’implémentation d’algorithmes du domaine, permettant à un utilisateur de les modifier facilement à son gré, ainsi que des exemples d’utilisation de la librairie dans des cadres moins conventionnels.

Pour de plus amples informations, nous fournissons des tutoriaux et de multiples exemples d’algorithmes.
Ludovic Denoyer est professeur à Sorbonne Université où il a longtemps dirigé le master DAC (Données, Apprentissage, Connaissances) axé sur le deep learning. Aujourd’hui détaché de l’université, il est research scientist au sein de Facebook artificial intelligence research (FAIR) et concentre sa recherche sur l’apprentissage par renforcement.

Les fonctionnalités de RLStructures

RLStructures est une librairie dont la principale caractéristique est de permettre à un programmeur d’implémenter des agents facilement, d’exécuter de multiples agents sur de multiples environnements en parallèle, et de récupérer les traces d’interactions facilitant la mise en place de nouveaux algorithmes.

Plus particulièrement, RLStructures permet :

• d’exécuter les agents et environnements sur plusieurs CPUs ou GPUs ;
• d’exécuter les agents de manière synchrone ou asynchrone, l’acquisition étant alors effectuée en tâche de fond, sans bloquer l’exécution du programme principal ;
• d’accéder à l’ensemble de l’épisode à chaque instant, afin par exemple de permettre l’implémentation de politiques basées sur des architectures de type transformers.

Par ailleurs, RLStructures fournit des fonctions de replay permettant de re-exécuter un agent sur des trajectoires précédemment acquises dans l’objectif de faciliter l’implémentation d’algorithmes dits off-policy.

Conclusion

Le deep learning et l’apprentissage par renforcement, souvent identifiés comme deux domaines distincts, partagent plus de similitudes qu’il n’y paraît. L’apprentissage par renforcement, plus complexe que l’apprentissage ‘classique’, est un domaine aujourd’hui suffisamment mature pour que nous puissions en extraire des principes-clés permettant de faciliter l’implémentation effective d’algorithmes nouveaux. RLStructures est une première tentative dans cette direction.

Elle permet dès à présent un gain de temps non négligeable durant le développement et peut être utilisée comme accélérateur de recherche. Elle peut aussi être envisagée comme cadre d’enseignement de l’apprentissage par renforcement.

Nous sommes impatients de voir comment elle évoluera dans les mois à venir, avec l’aide de la communauté.

Cet article est extrait du magazine ActuIA. Afin de ne rien manquer de l’actualité de l’intelligence artificielle, procurez vous ActuIA n°16, actuellement en kiosque et sur abonnement :

IGT Solutions, une société du groupe EQT spécialisée dans l’expérience client, annonce le lancement d’une nouvelle unité commerciale : IGTx. Celle-ci exploitera ses capacités en matière de données et de numérique ainsi que les solutions d’IA de pointe de la start-up AuxoAI pour améliorer l’efficacité opérationnelle et l’expérience client dans les secteurs du voyage, des transports et de l’hôtellerie.

L’industrie du voyage, des transports et de l’hôtellerie occupe la pole position dans l’économie mondiale moderne, contribuant à plus de 11 milliards de dollars (10% + du PIB mondial). Le secteur du voyage est déjà axé sur le numérique et continue de connaître une forte croissance de la demande.

Fondée en 1998, IGT Solutions propose des services intégrés de BPM (Business Process Management ou Gestion des Processus Métiers), de technologie et de solutions numériques pour divers secteurs. IGTx, qui s’appuiera sur ses deux décennies d’expérience et d’expertise en matière d’expérience client dans les secteurs du voyage, du transport et de l’hôtellerie, se veut à l’avant-garde de cette transformation.

Un partenariat stratégique

Le partenariat avec AuxoAI, une start-up basée à San Francisco fondée en 2022, permettra à IGTx d’intégrer des solutions d’IA innovantes et de pointe dans ses offres de services. AuxoAI a notamment développé Damia, une plateforme qui modernise les piles technologiques des entreprises, permettant à ces dernières de concevoir et construire rapidement des solutions d’IA avec une interface sans code/faible code.

La nouvelle division l’utilisera pour intégrer les données clients, créer des expériences connectées et des stratégies opérationnelles exploitables. Les solutions proposées par IGTx seront axées sur l’automatisation des réservations, la gestion proactive des bagages et l’amélioration des flux de traitement des réclamations.

Leadership et expertise

Navneet (Nav) Taneja dirigera IGTx. Il apporte une grande expertise dans la croissance des entreprises technologiques, la gestion des pertes et profits et la gestion d’engagements complexes dans plusieurs domaines. Avec plus de 25 ans d’expérience internationale en tant que cadre chez Amazon, Infosys et, plus récemment, Xoriant Corporation, Nav a réussi à nouer des relations dans l’écosystème des services technologiques et à développer des partenariats avec des entreprises technologiques à fort impact.

Katie Stein, PDG d’IGT Solutions, commente:

“Le partenariat entre IGT Solutions et AuxoAI réunit nos forces en matière d’infrastructure numérique, de développement d’applications, d’ingénierie des données et d’IA cognitive et générative au sein d’une unité commerciale unifiée. IGTx, avec son équipe mondiale composée de centaines d’experts en technologie et de leaders du secteur du voyage, de l’IA et des secteurs technologiques de base, intégrera de manière transparente ces capacités afin de fournir des résultats percutants à grande échelle pour les grandes marques”.

Amaresh Tripathy, cofondateur d’AuxoAI, conclut :

“Ce partenariat stratégique pour le lancement d’IGTx reconnaît le rôle essentiel des applications d’IA verticales dans l’adoption par les entreprises. En alliant des piles technologiques et des modèles de données propres au secteur à une propriété intellectuelle innovante, nous dotons les clients d’une approche pragmatique pour passer des systèmes hérités à des architectures d’IA modernes et à des modèles d’entreprise axés sur l’expérience”.

Les grands modèles de langage (LLM) jouent un rôle de plus en plus important dans les domaines de la programmation et de la robotique. Cependant, lorsqu’il s’agit de problèmes de raisonnement complexes, ils peinent encore à égaler les performances humaines. Une des raisons principales est leur difficulté à apprendre de nouveaux concepts et à former des abstractions efficaces. Des chercheurs du laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont développé trois cadres qui soulignent l’importance des mots du quotidien pour améliorer les performances des LLM pour le codage, la planification de l’IA et la robotique.

Les trois cadres présentés par les chercheurs du MIT sont LILO (library induction from language observations), Ada (acquisition de domaine d’action) et LGA (abstraction guidée par langage). Chacun de ces systèmes utilise des méthodes neurosymboliques, qui combinent des réseaux neuronaux et des composants logiques pour construire des abstractions à partir du langage naturel. Ces abstractions facilitent la réalisation de tâches complexes en permettant aux modèles de langage de raisonner plus efficacement.

LILO : un cadre neurosymbolique pour le codage

LILO se concentre sur l’amélioration des capacités de codage des modèles de langage. Bien que les LLM puissent générer rapidement du code pour des tâches simples, ils ont du mal à créer des bibliothèques logicielles entières comme le font les ingénieurs humains. LILO associe un modèle de langage à un algorithme de refactorisation, Stitch, pour synthétiser, compresser et documenter du code en bibliothèques de programmes réutilisables. En utilisant le langage naturel pour nommer et documenter ces abstractions, LILO permet aux modèles de langage de mieux comprendre les invites et de produire un code plus lisible et interprétable.

Dans des tests, LILO a surpassé les LLM autonomes et les algorithmes de refactorisation antérieurs, montrant des performances améliorées dans des tâches comme l’identification et la suppression de voyelles dans une chaîne de code et le dessin de flocons de neige. Ces résultats prometteurs suggèrent que LILO pourrait être utilisé pour des applications variées, telles que la manipulation de documents et la génération de graphiques.

Ada : le langage naturel pour la planification des tâches de l’IA

Le cadre Ada utilise le langage naturel pour améliorer la planification des tâches dans des environnements virtuels, comme des simulateurs de cuisine et des jeux vidéo. En entraînant les modèles de langage sur des descriptions de tâches, Ada construit des bibliothèques de plans qui peuvent être utilisées pour guider les agents d’IA. Le système propose des abstractions d’actions basées sur ces descriptions, qui sont ensuite validées par des opérateurs humains.

En intégrant le modèle de langage GPT-4, Ada a montré une performance supérieure dans des simulateurs par rapport à des bases de décision existantes. Par exemple, dans des tâches de cuisine virtuelle et de construction dans Mini Minecraft, Ada a réalisé un plus grand nombre de tâches avec une précision accrue. Ces résultats indiquent que le langage naturel peut fournir un contexte précieux pour la prise de décision séquentielle dans des environnements complexes.

LGA : l’abstraction guidée par langage pour la robotique

LGA se concentre sur l’amélioration de la compréhension des robots de leur environnement en utilisant des descriptions en langage naturel. Ce cadre permet aux robots de générer des abstractions nécessaires pour effectuer des tâches dans des environnements non structurés. En utilisant un modèle de langage pré-entraîné, LGA traduit des descriptions de tâches en abstractions exploitables, qui sont ensuite mises en œuvre par des politiques d’imitation.

Des tests avec le robot quadrupède Spot de Boston Dynamics ont montré que LGA pouvait guider efficacement les robots pour accomplir des tâches telles que ramasser des fruits et déposer des boissons dans un bac de recyclage. Cette approche permet de réduire le besoin de notes détaillées et coûteuses pour pré-entraîner les robots, rendant les processus d’entraînement plus rapides et moins coûteuses.

En construisant des bibliothèques d’abstractions de haute qualité, les cadres LILO, Ada et LGA permettent aux modèles de langage de raisonner plus efficacement et de s’attaquer à des problèmes plus élaborés. Ces travaux ouvrent la voie à des applications pratiques dans des domaines variés, allant de la programmation avancée à la robotique domestique et industrielle.

Auteurs et crédits 

Les auteurs principaux de chaque article sont des membres du MIT CSAIL :

Joshua Tenenbaum, professeur de sciences cérébrales et cognitives, pour LILO et Ada,
Julie Shah, chef du département d’aéronautique et d’astronautique, pour LGA,
Jacob Andreas, professeur agrégé de génie électrique et d’informatique, pour les trois.

Les autres auteurs incluent des doctorants du MIT et des collaborateurs de plusieurs institutions :

Maddy Bowers et Theo X. Olausson pour LILO,
Jiayuan Mao et Pratyusha Sharma pour Ada,
Belinda Z. Li pour LGA,
Muxin Liu du Harvey Mudd College pour LILO,
Zachary Siegel de l’Université de Princeton, Jaihai Feng de l’Université de Californie à Berkeley, et Noa Korneev de Microsoft pour Ada,
Ilia Sucholutsky, Theodore R. Sumers, et Thomas L. Griffiths de l’Université de Princeton pour LGA.

Sources de l’article : MIT News, Alex Shipps.

RunwayML, pionnier dans les outils de création multimédia alimentés par l’IA, a récemment annoncé la prochaine sortie de Gen-3 Alpha. Ce modèle de fondation, offrant des améliorations majeures en termes de fidélité, de cohérence et de mouvement par rapport à son prédécesseur, Gen-2, est présenté par la start-up comme le premier d’une série de modèles entraînés sur une nouvelle infrastructure conçue pour l’entraînement multimodal à grande échelle.

Gen-3 Alpha, dont le prédécesseur a été lancé en juin 2023, a été entraîné conjointement sur des vidéos et des images. Il alimentera, selon Runway, ses outils Text-to-Video, Image-to-Video et Text-to-Image, les modes de contrôle existants tels que Motion Brush, les commandes avancées de la caméra, le mode réalisateur ainsi que les outils à venir pour un contrôle plus précis de la structure, du style et du mouvement.

Une étape vers la construction de modèles généraux du monde

Gen-3 Alpha est, selon la start-up, une avancée vers ce qu’elle appelle un “General World Model”, un système d’IA qui construit une représentation interne d’un environnement et l’utilise pour simuler des événements futurs dans cet environnement. Un tel modèle sera capable de représenter et de simuler un large éventail de situations et d’interactions, comme celles rencontrées dans le monde réel.

Il devra non seulement capturer la dynamique du monde, mais aussi la dynamique de ses habitants, ce qui implique également de construire des modèles réalistes du comportement humain.

L’entraînement de Gen-3 Alpha est le fruit d’une collaboration entre une équipe interdisciplinaire de chercheurs, d’ingénieurs et d’artistes.

Gen-3 Alpha permet la génération de vidéos de 5 à 10 secondes basées sur des invites créatives complexes, comme celles-ci :

• Reflets subtils d’une femme sur la fenêtre d’un train roulant à grande vitesse dans une ville japonaise ;
• Travelling à l’épaule la nuit, suivant un ballon bleu sale flottant au-dessus du sol dans une vieille rue européenne abandonnée.

Il a été entraîné avec des légendes très descriptives et temporellement denses, ce qui lui permet de passer d’une scène à une autre de manière créative et fluide, tout en maintenant une narration cohérente par rapport à l’invite. Le modèle est également très bon dans la génération  de personnages humains photoréalistes, expressifs et dotés d’un large éventail d’actions, de gestes et d’émotions, offrant ainsi des opportunités pour la narration immersive.

Sécurité et intégrité du contenu généré renforcées

Runway a intégré des mesures de protection robustes dans Gen-3 Alpha. La start-up a amélioré son système de modération visuelle interne pour surveiller et filtrer le contenu généré, afin de s’assurer qu’il respecte les normes éthiques et ne contienne pas de matériel inapproprié ou offensant. Elle a également adopté les normes C2PA (Coalition for Content Provenance and Authenticity) qui attestent de l’origine et de l’authenticité d’un contenu.

Des modèles Gen-3 personnalisés

Runway dit avoir établi des partenariats avec des organisations de divertissement et de médias de premier plan pour créer des versions personnalisées de Gen-3 Alpha, qui permettent d’obtenir des personnages plus cohérents et plus contrôlés sur le plan stylistique, et ciblent des exigences artistiques et narratives spécifiques, entre autres fonctionnalités.

La start-up n’a toutefois pas précisé la date de sortie du modèle.

En février dernier, Stability AI annonçait ses deux derniers modèles text-to-image : Stable Cascade et Stable Diffusion 3 ainsi que l’ouverture de la liste d’attente pour une prévisualisation anticipée de cette dernière itération de son modèle phare. La start-up a récemment publié Stable Diffusion 3 (SD3) Medium, un modèle open source de 2 milliards de paramètres qu’elle présente comme son modèle de génération d’images le plus sophistiqué à ce jour.

La famille SD3 comprend des modèles allant de 800 millions à 8 milliards de paramètres, offrant aux utilisateurs un éventail d’options adaptées à leurs besoins créatifs spécifiques.

Les modèles de petite taille comme SD3 Medium offrent une combinaison équilibrée de performance, accessibilité et efficacité. Ils sont plus faciles à recycler et à affiner pour des cas d’utilisation spécifiques et accessibles à un plus large éventail d’utilisateurs, puisque compatibles avec le matériel grand public.

SD3 Medium

Selon Stability AI, “la petite taille de SD3 medium le rend parfait pour fonctionner sur des PC et des ordinateurs portables grand public ainsi que sur des GPU de niveau entreprise”.
Le minimum requis pour exécuter Stable Diffusion Medium n’est en effet que de 5 Go de VRAM (mémoire vidéo). Stability AI recommande néanmoins 16 Go de VRAM pour une utilisation vraiment confortable et optimale.

SD3 est un modèle de diffusion latente qui se compose de trois encodeurs de texte différents (CLIP L/14, OpenCLIP bigG/14 et T5-v1.1-XXL), d’un nouveau modèle de transformateur de diffusion multimodale (MMDiT) et d’un modèle d’auto-encodeur (VAE ou Variational Autoencoder) à 16 canaux similaire à celui utilisé pour Stable Diffusion XL

Les performances du modèle

Selon Stability AI, SD3 Medium se distingue par son photoréalisme, le respect des prompts, sa capacité à générer des textes et les possibilités de fine-tuning.

Il présente plusieurs améliorations significatives :

• Qualité Globale et Photoréalisme : Stable Diffusion 3 Medium produit des images d’une qualité exceptionnelle, avec des détails précis, des couleurs vives et un éclairage réaliste. Grâce à l’intégration d’un VAE à 16 canaux, il parvient à surmonter les défis typiques des modèles IA, notamment le réalisme des mains et des visages ;
• Compréhension Rapide : SD3 Medium peut traiter des invites longues et complexes, il excellerait dans la gestion du raisonnement spatial, des éléments de composition, des actions et des styles. Les utilisateurs peuvent optimiser les performances et l’efficacité grâce aux trois encodeurs de texte intégrés ;
• Typographie : l’architecture Diffusion Transformer permet d’atteindre une qualité de texte inégalée, réduisant les erreurs d’orthographe, de crénage, de formation des lettres et d’espacement.
• Économe en Ressources : Stable Diffusion 3 Medium fonctionne parfaitement sur des GPU grand public standards, sans dégradation des performances, grâce à son faible encombrement VRAM ;
• Réglage Fin : Ce modèle est conçu pour absorber des détails nuancés à partir de petits ensembles de données, le rendant idéal pour la personnalisation et les applications spécifiques ;

Voici quelques images générées par le modèle et leurs prompts partagées par Stability AI :

Collaboration avec NVIDIA et AMD

Stability AI a collaboré avec NVIDIA pour optimiser les performances de ses modèles, y compris Stable Diffusion 3 Medium, en utilisant les GPU NVIDIA® RTX™ et TensorRT™. Les versions optimisées pour TensorRT offrent une augmentation de 50 % des performances, garantissant une efficacité inégalée.

De plus, AMD a optimisé l’inférence pour Stable Diffusion 3 Medium sur divers appareils, y compris les derniers APU d’AMD, les GPU grand public et les GPU MI-300X Enterprise, assurant une compatibilité et des performances  de pointe sur une large gamme de matériels.

Accessibilité et Licences

Stable Diffusion 3 Medium est un modèle open source publié sous la licence Stability Non-Commercial Research Community, réaffirmant l’engagement de Stability AI envers une IA générative ouverte. Pour un usage commercial, les artistes, designers et développeurs peuvent se tourner vers une nouvelle licence de créateur pour 20$ par mois. Quant aux entreprises souhaitant une utilisation commerciale à grande échelle, Stability AI propose des licences adaptées et invite à les contacter pour plus de détails.

Essayer Stable Diffusion 3

Stable Diffusion 3 Medium est désormais disponible via l’API alimentée par Fireworks AI. Les utilisateurs peuvent également essayer d’autres versions de la série Stable Diffusion 3, telles que le modèle SD3 Large et SD3 Ultra, grâce à un essai gratuit de trois jours sur le chatbot Stable Assistant et sur Discord via Stable Artisan.

La cigarette électronique ou e-cigarette, apparue en 2007, est souvent présentée comme une aide au sevrage du tabagisme. Les puffs, cigarettes électroniques jetables, contenant ou non de la nicotine, aux arômes sucrés, de fruits, de chocolat ou de barbe à papa, sont particulièrement prisées des jeunes. Une récente étude montre que ces arômes, s’ils ne présentent pas de danger dans l’alimentation, peuvent être nocifs lorsqu’ils sont chauffés lors du vapotage.

Le vapotage, ou inhalation de vapeur produite par le chauffage des e-liquides, a émergé  comme une alternative à la cigarette traditionnelle. Initialement conçus pour contenir principalement de la nicotine, du propane-1,2-diol, du propane-1,2,3-triol et de l’eau, les e-liquides ont rapidement évolué pour inclure une vaste gamme d’arômes chimiques, suscitant des préoccupations quant à leur décomposition thermique et aux risques pour la santé associés. La décomposition par pyrolyse de ces arômes pourrait en effet produire un grand nombre d’entités chimiques secondaires, dont certaines pourraient présenter des risques accrus pour la santé.

Une équipe de chercheurs composée d’Akihiro Kishimoto (IBM Research – Tokyo) et de Dan Wu et Donal F. O’Shea (Département de chimie, Royal College of Surgeons – Irlande) s’est intéressée au sujet. Pour eux, “l’exposition prolongée à ces produits chimiques et à leurs produits de pyrolyse rend plausible que nous soyons sur la ligne de départ d’une nouvelle vague de maladies chroniques qui n’émergera que dans 15 à 20 ans”.

Ils ont étudié 180 produits chimiques utilisés pour créer divers arômes. L’examen détaillé de leurs composés a identifié 66 esters, 46 cétones et aldéhydes, 27 alcools et acétals, 26 composés aromatiques, hétérocycles et carbocycles, ainsi que 15 acides carboxyliques et amides ce qui, selon eux, indique clairement le potentiel d’une large gamme de réactions de pyrolyse.

Méthodologie

Pour évaluer ces risques, une approche combinant apprentissage profond et données expérimentales de spectrométrie de masse (MS) a été utilisée. Un réseau neuronal convolutif (NN) a été entraîné pour prédire la réactivité à la pyrolyse de ces 180 produits. Les résultats ont généré 7307 produits de pyrolyse potentiels. Pour valider ces prédictions, la masse moléculaire des produits a été corrélée avec les données de fragmentation obtenues par MS, permettant d’identifier 1169 correspondances avec une priorité pour une analyse approfondie.

Ils ont ensuite appliqué des classifications du Système général harmonisé de classification et d’étiquetage des produits chimiques (SGH) pour évaluer la toxicité des composés identifiés, en se basant sur des critères tels que la toxicité aiguë, le danger pour la santé et l’irritation.

Résultats

Sur ces 1169 composés, 127 ont été classés comme toxiques aigus, 153 comme dangereux pour la santé et 225 comme irritants.

Les chercheurs soulignent que bien que le vapotage partage certaines caractéristiques avec le tabagisme traditionnel, il présente un ensemble distinct de risques pour la santé en raison de composés potentiellement plus dangereux. Comparer uniquement le vapotage au tabagisme “peut donner un faux sentiment de sécurité, en particulier pour les jeunes non-fumeurs de tabac”. Ils estiment essentiel d’adopter des réglementations qui protègent à la fois les fumeurs cherchant à se sevrer et les jeunes générations. Ils recommandent une limitation stricte des substances chimiques dans les e-liquides pour la sécurité de tous.

Références :

Forecasting vaping health risks through neural network model prediction of flavour pyrolysis reactions”. Sci Rep 14, 9591 (2024).
https://doi.org/10.1038/s41598-024-59619-x.

Auteurs et affiliations

Akihiro Kishimoto, IBM Research – Tokyo, Shin-Kawasaki, Japon
Dan Wu et Donal F. O’Shea, Département de chimie, Royal College of Surgeons in Ireland (RCSI), Dublin 2, Irlande

DeepL, entreprise technologique basée en Allemagne, un des leaders mondiaux dans le domaine de l’IA linguistique, a récemment publié les résultats d’une étude réalisée par Forrester Consulting, mettant en lumière l’impact commercial positif de son outil de traduction IA, DeepL Translator.

Basée à Cologne, DeepL a été fondée en 2009 par Jaroslaw Kutylowski et a commencé à travailler en 2016 sur la première version de DeepL Translator. En 2020, le système de traduction intègre ses nombreuses avancées en matière d’IA, notamment dans le domaine de l’architecture des réseaux neuronaux, améliorant la qualité des traductions.

Continuellement évalué et amélioré pour garantir une qualité optimale, il offre aux entreprises la possibilité de communiquer efficacement à l’échelle internationale, sans les obstacles des barrières linguistiques.

L’étude “The Total Economic Impact™ of DeepL”

Afin de savoir quel était son impact sur les résultats de ses clients, DeepL a demandé à Forrester Consulting d’interroger des multinationales pour connaître le rôle de son outil de traduction sur leur activité.

Pour analyser de manière plus approfondie les avantages, les risques, les coûts et la flexibilité de l’utilisation de DeepL Translator dans un contexte réel et représentatif, Forrester Consulting a choisi quatre entreprises représentatives de différents secteurs (énergie, services financiers, services juridiques, et secteur pharmaceutique).

Basées aux États‑Unis ou en Europe, ces organisations, qui comptent entre 1 600 et 40 000 salariés, se déploient ou font du commerce à l’international et génèrent entre 365 millions et 33,7 milliards d’euros de revenus.

Les principaux résultats de l’étude

L’étude met non seulement en évidence l’impact commercial positif des outils de traduction IA de DeepL, tous secteurs d’activité confondus, mais démontre également que la traduction est l’un des domaines les plus stratégiques de la mise en œuvre de l’IA pour les entreprises qui cherchent à augmenter leur chiffre d’affaires et à pénétrer plus rapidement de nouveaux marchés.

Les chiffres de l’étude parlent d’eux‑mêmes : les traductions IA de DeepL ont permis aux organisations interrogées de faire de précieuses économies (en temps et en ressources), et de dégager un retour sur investissement très positif.

Les principaux bénéfices rapportés sont :

• Une réduction de 90 % du temps de traduction des documents internes ;
• Un retour sur investissement (ROI) de 345 % sur trois ans ;
• Une réduction de 50 % de la charge de travail de traduction ;
• Des économies de 227 430 euros sur trois ans dans le domaine des flux de travail ;
• Des économies d’efficacité de 2,8 millions d’euros sur trois ans.

Ces résultats soulignent l’efficacité de l’IA linguistique de DeepL et ses avantages tangibles en termes de réduction des coûts, d’amélioration de l’efficacité opérationnelle et de création de valeur pour les entreprises.

L’an passé, Talan, cabinet de conseil en innovation et transformation par la technologie, s’est associé à l’institut IFOP pour explorer les différentes perceptions, craintes et attentes de la population française vis-à-vis des IA génératives. Les résultats de l’édition 2024 de leur baromètre viennent d’être dévoilés, suivis d’une analyse de Philippe Cassoulat, Directeur Général du groupe Talan.

Le baromètre 2024 met en évidence une démocratisation croissante des IA génératives : le nombre de leurs utilisateurs a augmenté de 60 % depuis l’édition 2023. Les Français sont également plus nombreux à en avoir entendu parler : 78% vs 71%.

Adoption croissante par les nouvelles générations

La différence générationnelle dans l’adoption des IA génératives constatée l’an passé est toujours d’actualité. L’engouement des jeunes générations ne s’est pas démenti : près de 70 % des 18-24 ans utilisent aujourd’hui ces technologies personnellement contre 45% en 2023, ce qui témoigne d’un intérêt significatif pour ces outils novateurs. En revanche, l’adoption diminue avec l’âge, seulement 47 % des 25-34 ans et 22 % des 35 ans et plus déclarent les utiliser à des fins personnelles.

IA génératives : un atout professionnel de plus en plus encouragé

Les IA génératives ne se limitent plus au domaine personnel, elles se sont également démocratisées dans le milieu professionnel. En effet, près de la moitié (48 %) des utilisateurs estiment que leur entreprise encourage l’utilisation de ces technologies. De plus, un nombre croissant d’utilisateurs informe désormais leur supérieur hiérarchique de leur utilisation (36 % en 2024 contre 25 % en 2023), ce qui témoigne d’une meilleure compréhension et acceptation de ces outils par les décideurs.

Les Français qui utilisent les IA génératives sont les plus convaincus de leurs bénéfices. Ils estiment qu’elles leur font gagner 38% de productivité et d’efficacité, 80% d’entre eux sont d’ailleurs prêts à en recommander l’usage à leurs proches.

Ils s’en servent pour :

• Effectuer des recherches comme dans un moteur de recherche (31%) ;
• Augmenter les connaissances (29%);
• Gagner du temps (29%);
• Augmenter la productivité (22%) ;
• Augmenter la créativité (21%).

Le défi persistant du manque de formation

Malgré les avantages perçus, le besoin de formation et d’accompagnement mis en évidence l’an passé subsiste. Environ 37 % des utilisateurs estiment ne pas avoir les connaissances suffisantes pour utiliser pleinement les IA génératives, un sentiment partagé par 73% de l’ensemble du panel soulignant le besoin crucial de formations spécialisées pour démocratiser ces technologies.

ChatGPT plébiscité

L’an passé, ChatGPT était l’outil privilégié de 62% des utilisateurs. Aujourd’hui, il l’est pour 66% d’entre eux devant Bard-Gemini de Google (15%), Adobe Photoshop optimisé par l’ IA (14%), Bing Copilot de Microsoft (13%). Ils sont 11% à avoir opté pour la version payante ChatGPT Plus.

Un pourcentage significatif d’utilisateurs reprend les résultats des IA génératives tels quels sans les modifier (44 %), et certains déclarent avoir du mal à s’en passer (35 %).

Une hausse des préoccupations

L’inquiétude autour des risques liés aux IA génératives s’est intensifiée : si 68% des Français se disaient préoccupés vis-à-vis de l’émergence des IA génératives l’an passé, ils sont aujourd’hui près de 79%. Ainsi, 62% des Français et 74% des cadres et professions intermédiaires supérieures considèrent qu’elles constituent un risque important pour la sécurité des données contre 53% en mai 2023.

Analyse de l’expert – Philippe Cassoulat, Directeur Général du groupe Talan

“Ces chiffres montrent une forte poussée de ces technologies d’intelligence artificielle au sein de la population avec +60% de progression de l’utilisation par rapport à 2023. Sans surprise, l’outil le plus utilisé reste ChatGPT. Il sera d’ailleurs intéressant de mesurer, tout au long de l’année 2024, l’évolution de ces usages avec l’arrivée récente de Google Gemini Pro 1.5 (qui obtient dans les tests de pertinence certains résultats supérieurs à ceux de ChatGPT 4), de Bing Copilot et de Copilot for Microsoft 365 dans les entreprises. L’émergence d’IA génératives Open Source, plus dédiées à des usages professionnels (LLama 2, Mistral, etc.), va également permettre d’ouvrir un peu le terrain de jeu, notamment pour les entreprises.

Nous remarquons toujours un véritable choc générationnel. Si les jeunes générations (18-24 ans) indiquent à près de 70% utiliser les IA génératives (contre 45% en 2023, soit une progression de plus de 50% d’une année sur l’autre), seuls 22% des 35 ans et plus les utilisent (contre 18% en 2023, soit une progression de seulement 22% en un an). Cela doit interpeler les entreprises pour qu’elles prennent la mesure de ce phénomène qui aura nécessairement un impact sur les méthodes de travail dans les entreprises et l’attractivité.

Les motifs qui justifient les usages changent peu : effectuer des recherches comme dans un moteur de recherche, gagner du temps, augmenter les connaissances, etc. L’utilisation des IA génératives comme moteur de recherche reste un point particulièrement délicat compte tenu du risque de fausses réponses ou de mésinformation lorsque les IA génératives sont utilisées dans ce cadre.

Ce qui semble maintenant faire consensus, c’est l’effet des IA génératives sur l’augmentation de la productivité et de l’efficacité : +38% en moyenne. Ils sont même 46% des 18-24 ans à estimer cette hausse de la productivité à plus de 40%.

Ces chiffres peuvent, bien évidemment, varier en fonction des tâches effectuées, du niveau de connaissances du sujet abordé et de la manière dont l’utilisateur interroge l’IA générative (Prompting).

Les attentes principales des sondés dans leur quotidien professionnel sont très concrètes : création automatique de formules dans les tableurs, retranscription automatique de réunions, synthèse de documents et de rapports internes et externes, proposition d’optimisation des agendas.

Nous n’en sommes qu’au début de l’utilisation et de l’intégration des IA génératives. Le rapport récent de la commission de l’intelligence artificielle « IA : notre ambition pour la France » paru en mars 2024 donne des pistes sur les grands chantiers à mettre en place afin de faire de la France un leader sur ces technologies. Le baromètre 2024 Ifop pour Talan offre des insights précis et significatifs qui éclairent les enjeux évoqués dans ce rapport. Ils soulignent l’urgence d’intervenir dans la formation et la compréhension des technologies pour répondre efficacement aux défis rencontrés”.

Les grands modèles de langage (LLM) présentent des capacités impressionnantes dans différents domaines mais les modèles plus petits (SLM) sont une alternative intéressante pour les entreprises qui peuvent les exploiter à moindre coût pour des tâches spécifiques. Microsoft, qui a introduit le SLM Phi-1 en juin 2023, a présenté le 23 avril dernier la famille de modèles ouverts Phi-3. Le plus petit d’entre eux, Phi-3 mini, d’ores et déjà disponible, compte 3,8 milliards de paramètres et, grâce à sa petite taille, peut être déployé en local sur un téléphone ou un ordinateur.

Microsoft présente les modèles Phi-3 comme “les modèles de langage de petite taille les plus performants et les plus rentables disponibles”.

Phi-3 Mini est un modèle de transformateur avec décodeur dense, affiné grâce au fine-tuning supervisé (SFT) et l’optimisation directe des préférences (DPO) pour garantir l’alignement avec les préférences humaines et les directives de sécurité. Il est disponible sur Azure AI Studio, Hugging Face et Ollama.

Il a été entraîné pendant sept jours sur 512 GPU NVIDIA H100 Tensor Core, NVIDIA nous a d’ailleurs précisé qu’il était possible de l’essayer sur ai.nvidia.com où il sera packagé en tant que NVIDIA NIM, “un microservice avec une interface de programmation d’application standard qui peut être déployé n’importe où”.

Dans leur rapport technique, les chercheurs expliquent que “L’innovation réside entièrement dans notre jeu de données pour l’entraînement, une version agrandie de celle utilisée pour PHI-2, composé de données web fortement filtrées et de données synthétiques“.

Le modèle, entraîné sur 3,3 trillions de jetons, a également été aligné pour la robustesse, la sécurité et le format de chat. Sa fenêtre contextuelle, qui peut aller de 4 000 jusqu’à 128 000 jetons, lui permet d’assimiler et de raisonner sur des contenus textuels volumineux (documents, pages Web, code…). Selon Microsoft, Phi-3-mini démontre de solides capacités de raisonnement et de logique, ce qui en fait un bon candidat pour les tâches analytiques.

Des performances solides malgré une petite taille

Microsoft a partagé dans son blog les performances de Phi-3 mini, mais également celles de Phi-3-small (7B) et Phi-3-medium (14B) qui seront prochainement disponibles et ont été entraînés sur 4,8 trillions de tokens.

Les performances des modèles Phi-3 ont été comparées à celles de Phi-2, Mistral-7b, Gemma-7B, Llama-3-instruct-8b, Mixtral-8x7b, GPT-3.5 Turbo et Claude-3 Sonnet. Tous les chiffres déclarés sont produits avec le même pipeline afin qu’ils soient effectivement comparables.

Phi-3-mini surpasse Gemma-7B et Mistral-7B sur certains benchmarks de référence comme MMLU, tandis que Phi-3-small et Phi-3-medium, nettement plus performants, surpassent les modèles beaucoup plus grands, y compris GPT-3.5 Turbo.  Cependant, du fait de leur petite taille, les modèles Phi-3 sont moins compétitifs pour les tâches axées sur les connaissances factuelles, telles que celles évaluées dans TriviaQA.

Toutefois, leurs capacités dans de nombreux autres domaines, les rendent particulièrement utiles dans des scénarios où la taille du modèle et les ressources disponibles sont des facteurs critiques, comme dans les environnements à ressources limitées ou les applications nécessitant des temps de réponse rapides.

C’est lors de l’AWS Summit Paris 2024, que Julien Groues (General Manager – Europe South, AWS) a annoncé hier l’arrivée en France d’Amazon Bedrock, un service qui permet de créer et de mettre à l’échelle des applications d’IA génératives à l’aide de modèles de fondation. Il donne désormais accès au dernier modèle de Mistral AI, Mistral Large, ainsi qu’à Claude 3 Haiku et Claude 3 Sonnet d’Anthropic.

Lancé en avril 2023, Amazon Bedrock permet à ses utilisateurs de personnaliser des LLM en fonction de leurs besoins et de leurs données au lieu d’utiliser des modèles prêts à l’emploi. A l’origine, ceux-ci avaient le choix entre les modèles de fondation des start-ups AI21 Labs, Anthropic, Stability AI et les modèles Titan d’Amazon, Titan Text Lite et Titan Text Express. En septembre dernier, AWS enrichissait ce service avec l’ajout de Claude 2 d’Anthropic, Stable Diffusion XL 1.0 de Stability AI, le modèle phare “Command” de la start-up canadienne Cohere ainsi que son modèle “Embed”.

Après Mistral 7B et Mixtral 8x7B il y a quelques semaines, c’est au tour de Mistral Large de les y rejoindre avec les derniers modèles d’Anthropic.

AWS souligne qu’aucune des données du client n’est utilisée pour former les modèles sous-jacents, et comme toutes les données sont chiffrées et ne quittent pas le Virtual Private Cloud (VPC) d’un client, les clients peuvent être sûrs que leurs données resteront privées et confidentielles. Le service est facturé en fonction de son utilisation.

Lors de la keynote de cette conférence dédiée au cloud, à la data et l’IA, Julien Groues, accompagné de Mai-Lan Tomsen-Bukovec (VP of Technology, AWS), a expliqué comment les technologies AWS permettent aux clients de tirer parti de la puissance de l’IA générative. Après les témoignages clients de Fabien Mangeant (Chief Data and AI Officer, Air Liquide) et Raphaëlle Deflesselle (CTO, Groupe TF1), Arthur Mensch (cofondateur et CEO, Mistral AI), est monté sur scène où il a expliqué que la plateforme d’AWS est un canal de distribution particulièrement efficace. Thomas Wolf (cofondateur de Hugging Face) et Tom Brown (cofondateur d’Anthropic), deux start-ups qui ont bénéficié des investissements d’Amazon, Hugging Face lors de sa dernière levée de fonds, et Anthropic dans le cadre d’une collaboration élargie avec le géant du cloud qui pourrait lui rapporter jusqu’à 4 milliards, sont également intervenus.

Les 3 cofondateurs ont rappelé l’importance de l’infrastructure cloud d’AWS qui leur donne un accès aux puces AWS Trainium et Inferentia, conçues pour accélérer l’entraînement des modèles d’IA, améliorer le temps d’inférence et réduire les coûts.

Stability AI a présenté récemment deux modèles text-to-image : Stable Cascade disponible en prévisualisation de recherche sous une licence non commerciale et la nouvelle génération de son modèle phare Stable Diffusion 3.0. Si le premier est basé sur l’architecture Würstchen pour améliorer les performances et la précision, la dernière itération de Stable Diffusion utilise une nouvelle architecture combinant transformateur de diffusion et appariement de flux.

Stable Cascade est un modèle très efficace qui est, selon Stability AI, “exceptionnellement facile à entraîner et à affiner sur du matériel grand public grâce à son approche en trois étapes”, l’architecture Würstchen.

Il est construit sur un pipeline composé de trois modèles distincts : les étapes A, B et C. Cette architecture permet une compression hiérarchique :

• Le générateur latent (Stage C) transforme les entrées textuelles en latents compacts de 24×24 ;
• Le décodeur latent (Stages A et B) décompresse les latents en images à haute résolution ;
• Le réseau de contrôle (ControlNet) permet d’ajuster les caractéristiques des images générées.

Le modèle est capable de gérer des descriptions compliquées, de générer des détails fins et de suivre les variations de style et de couleur. Il dépasse largement les autres modèles en termes de qualité perçue, selon une évaluation humaine.

Chaque étape de la cascade peut être ajustée pour des besoins spécifiques, permettant de contrôler le niveau de détail, la résolution, le style et la couleur des images. De plus, le modèle dispose d’un réseau de contrôle (ControlNet), qui permet d’effectuer des modifications fines sur les images générées, telles que le changement de position, de taille, de forme ou de couleur des objets.

Stable Cascade est disponible en prévisualisation de recherche sous une licence non commerciale, le code pour l’inférence, l’entraînement, l’affinage et le ControlNet est publié sur la page GitHub de Stability. On peut l’essayer sur Hugging face ici

Stable Diffusion 3

Stability AI a annoncé le 22 février dernier l’ouverture de la liste d’attente pour un prévisualisation anticipée de son dernier modèle. Selon la start-up, il présenterait une nette amélioration des performances sur les requêtes multi-sujets, de la qualité d’image et des capacités orthographiques.

La suite Stable Diffusion 3 comprend des modèles allant de 800M à 8B de paramètres, offrant aux utilisateurs un éventail d’options adaptées à leurs besoins créatifs spécifiques. Stablity AI précise seulement que le modèle utilise une architecture de transformateur de diffusion et un appariement de flux, un rapport détaillé est prévu.

Voici quelques exemples d’images générées par le modèle partagées par la start-up:

Prompt : Une œuvre d’art épique d’anime d’un sorcier au sommet d’une montagne la nuit lançant un sort cosmique dans le ciel sombre qui dit “Stable Diffusion 3” fait d’énergie colorée .

Prompt : photo de studio en gros plan d’un caméléon sur un fond noir.

Prompt : Un tableau d’un astronaute chevauchant un cochon portant un tutu tenant un parapluie rose, sur le sol à côté du cochon se trouve un oiseau rouge-gorge portant un haut-de-forme, dans le coin sont les mots “stable diffusion”.

L’Allen Institute for Artificial Intelligence (Ai2), organisation à but non lucratif, a été créé en 2014 par Paul Allen, co-fondateur de Microsoft dans le but de participer activement au développement de l’intelligence artificielle pour le bien commun. Il franchit un pas décisif dans cette direction avec la publication du LLM OLMo. Alors que certains modèles open source incluent les codes et les poids, Ai2 rend le modèle OLMo véritablement ouvert en fournissant non seulement les codes et les poids, mais aussi le code d’entraînement, les données d’entraînement et les boîtes à outils associées, le tout sous licence Apache 2.0.

Avec la publication du modèle de pointe OLMo et du cadre qui l’accompagne, l’objectif d’Ai2 est de favoriser l’innovation et la collaboration sur les modèles de langage, tout en sensibilisant aux enjeux éthiques et sociétaux qu’ils soulèvent.

Hanna Hajishirzi, Cheffe de projet OLMo, Directrice principale de la recherche en NLP à AI2 et professeure à l’Allen School de l’UW, explique:

“De nombreux modèles de langage sont aujourd’hui publiés avec une transparence limitée. Sans avoir accès aux données d’entraînement, les chercheurs ne peuvent pas comprendre scientifiquement le fonctionnement d’un modèle. C’est l’équivalent de la découverte de médicaments sans essais cliniques ou de l’étude du système solaire sans télescope. Grâce à notre nouveau cadre, les chercheurs seront enfin en mesure d’étudier la science des LLM, ce qui est essentiel pour construire la prochaine génération d’IA sûre et digne de confiance”.

OLMo est le fruit d’une collaboration avec le Kempner Institute for the Study of Natural and Artificial Intelligence de l’Université Harvard et des partenaires tels qu’AMD, CSC, la Paul G. Allen School of Computer Science & Engineering de l’Université de Washington et Databricks.

Les modèles OLMo 7B et 1B ont été développés sur le supercalculateur LUMI du CSC (Centre de technologie de l’information pour la science), alimenté par des processeurs AMD EPYC™ et des accélérateurs AMD Instinct™ et ont été entraînés grâce à la plateforme MosaicML de Datbricks.

Le cadre comprend une suite d’outils de développement d’IA entièrement ouverts, notamment :

• Données de pré-entraînement complètes : le modèle est construit sur l’ensemble Dolma d’AI2 qui comprend un corpus ouvert de trois billions de jetons pour le pré-entraînement du modèle de langage, y compris le code qui produit les données d’apprentissage.
• Le cadre OLMo comprend des pondérations de modèle complètes pour quatre variantes de modèle à l’échelle 7B, chacune entraînée à au moins 2T tokens. Le code d’inférence, les métriques d’entraînement et les journaux d’entraînement sont tous fournis.
• Evaluation : Ai2 a publié la suite d’évaluation utilisée dans le développement, avec plus de 500 points de contrôle par modèle, toutes les 1000 étapes du processus de formation et le code d’évaluation sous l’égide du projet Catwalk.

Eric Horvitz, directeur scientifique de Microsoft et membre fondateur du conseil consultatif scientifique d’AI2, déclare :

“Je suis enthousiaste à l’idée de mettre OLMo entre les mains des chercheurs en IA. La nouvelle offre s’inscrit dans la tradition d’Allen AI de fournir des modèles, des outils et des données ouverts de valeur, qui ont stimulé de nombreuses avancées dans le domaine de l’IA dans la communauté mondiale”.

Avec OLMo, les chercheurs et développeurs en IA feront l’expérience de :

• Plus de précision : Grâce à une connaissance complète des données d’entraînement qui sous-tendent le modèle, les chercheurs seront en mesure de travailler plus rapidement et n’auront plus besoin de dépendre d’hypothèses qualitatives sur la façon dont le modèle fonctionne, mais pourront le tester scientifiquement.
• Moins de carbone : À l’heure actuelle, une séance d’entraînement équivaut aux émissions de neuf foyers américains pendant un an, selon l’EPA, l’agence américaine de protection de l’environnement. En offrant un accès complet à l’écosystème de formation et d’évaluation, Ai2 diminue considérablement les répétitions dans le processus de développement, ce qui est crucial pour la réduction des émissions de carbone dans le domaine de l’intelligence artificielle.
• Des résultats durables : Le fait de garder les modèles et leurs ensembles de données ouverts et non derrière les API permet aux chercheurs d’apprendre et de s’appuyer sur des modèles et des travaux antérieurs.

Ai2 prévoit d’ajouter prochainement différentes tailles de modèles, modalités, ensembles de données et capacités à la famille OLMo.

Noah Smith, chef de projet OLMo, directeur principal de la recherche en NLP à AI2 et professeur à l’Allen School de l’UW, conclut :

“Avec OLMo, ouvert signifie en fait « ouvert » et tous les membres de la communauté de recherche en IA auront accès à tous les aspects de la création de modèles, y compris le code d’entraînement, les méthodes d’évaluation, les données, etc…L’IA était autrefois un domaine ouvert centré sur une communauté de recherche active, mais à mesure que les modèles se sont développés, sont devenus plus chers et ont commencé à se transformer en produits commerciaux, le travail sur l’IA a commencé à se dérouler derrière des portes closes. Avec OLMo, nous espérons aller à l’encontre de cette tendance et donner à la communauté des chercheurs les moyens de se réunir pour mieux comprendre et s’engager avec les modèles de langage de manière scientifique, ce qui conduira à une technologie d’IA plus responsable qui profite à tous”.

Le modèle OLMo et son framework sont accessibles en téléchargement direct sur Hugging Face et GitHub.

Le modèle de génération de vidéos Lumiere, récemment présenté par des chercheurs de Google Research, utilise un modèle de diffusion probabiliste basé sur un réseau U-Net spatio-temporel, pour générer des vidéos de 5 secondes réalistes et cohérentes à partir d’invites ou d’images fixes, permettre de les styliser suivant son choix ou créer des cinémagraphes en animant seulement la partie sélectionnée d’une image.

Les modèles de génération d’images tels qu’Adobe Firefly, DALL-E, Midjourney, Imagen ou Stable Diffusion ont soulevé l’enthousiasme et été rapidement adoptés. Une suite logique était la génération de vidéos, Meta AI s’y est attaqué dès octobre 2022 avec Make-A-Video, le laboratoire NVIDIA AI de Toronto a dévoilé un modèle de synthèse Text-to-Video haute résolution basé sur le modèle Stable Diffusion open source de Stability AI qui a de son côté présenté en novembre dernier Stable Video Diffusion, un modèle très performant.

La génération de vidéos est une tâche beaucoup plus complexe que la génération d’images, impliquant une dimension temporelle en plus de la dimension spatiale, le modèle doit non seulement générer correctement chaque pixel, mais également prédire comment ce dernier évoluera pour produire une vidéo cohérente et fluide.

Pour Lumiere, Google Research, qui avait participé au développement du modèle de génération de vidéos W.A.L.T présenté le mois dernier, a opté pour une approche novatrice afin de surmonter les défis spécifiques liés à l’entraînement des modèles text-to-video.

Le modèle LUMIERE se compose d’un modèle de base et d’un modèle de super-résolution spatiale. Le modèle de base génère des clips vidéo à basse résolution en traitant le signal vidéo dans plusieurs échelles spatio-temporelles, en s’appuyant sur un modèle de text-to-image pré-entraîné. Le modèle de super-résolution spatiale augmente la résolution spatiale des clips vidéo en utilisant une technique de multidiffusion pour assurer la continuité globale du résultat.

Les chercheurs expliquent :

“Nous introduisons une architecture U-Net spatio-temporelle qui génère toute la durée temporelle de la vidéo en une seule fois, par un seul passage dans le modèle. Cela contraste avec les modèles vidéo existants qui synthétisent des images clés distantes suivies d’une super-résolution temporelle, une approche qui rend intrinsèquement difficile la réalisation d’une cohérence temporelle globale”.

Applications

Le modèle peut être facilement adapté à une variété de tâches de création et d’édition de contenu vidéo, telles que la génération de vidéos stylisées, la génération d’images-vers-vidéos, l’inpainting et l’outpainting vidéo, et la création de cinémagraphes, comme on peut le constater dans la vidéo ci-dessous.

Pour rappel, l’inpainting permet de remplir ou restaurer des parties manquantes ou endommagées d’une vidéo de manière réaliste. On peut l’utiliser pour remplacer des objets indésirables, réparer des artefacts (anomalies ou altérations non désirées) ou des zones corrompues dans une vidéo, ou même pour créer des effets spéciaux.

L’outpainting vidéo, en revanche, se réfère à l’extension ou à l’ajout de contenu au-delà des limites existantes de la vidéo. Il permet d’ajouter des éléments pour agrandir la scène, créer des transitions fluides entre les clips vidéo ou ajouter des éléments décoratifs ou contextuels.

Evaluations

Le modèle Lumiere a été évalué sur 113 descriptions textuelles ainsi que sur le jeu de données UCF101. Il a obtenu des résultats compétitifs en termes de Frechet Video Distance et d’Inception Score, et a été préféré par les utilisateurs pour sa qualité visuelle et sa cohérence de mouvement par rapport aux méthodes concurrentes.

Si le modèle a démontré de solides performances, les chercheurs rappellent :

“Notre objectif principal dans ce travail est de permettre aux utilisateurs novices de générer du contenu visuel de manière créative et flexible. Cependant, il existe un risque d’utilisation abusive pour la création de contenu faux ou préjudiciable avec notre technologie, et nous pensons qu’il est crucial de développer et d’appliquer des outils pour détecter les biais et les cas d’utilisation malveillants afin de garantir une utilisation sûre et équitable”.

Références de l’article :

Article “Lumiere: A Space-Time Diffusion Model for Video Generation”

arXiv, soumis le 23/01/2024, https://doi.org/10.48550/arXiv.2401.12945

Auteurs : Omer Bar-Tal 1 2, Hila Chefer 1 3, Omer Tov 1, Charles Herrmann 1, Roni Paiss 1, Shiran Zada 1, Ariel Ephrat 1, Junhwa Hur 1, Yuanzhen Li 1, Tomer Michaeli 1 4, Oliver Wang 1 Deqing Sun 1, Tali Dekel 1 2, Inbar Mosseri 1

1Google Research 2Weizmann Institute 3Tel-Aviv University 4Technion

Olivier Ugo, Data Analyste chez Wilo France, a partagé son expérience et son expertise lors du West Data Festival. Depuis 2019, cet événement réservé aux professionnels est dédié à l’utilisation des données et à la maîtrise de l’intelligence artificielle. L’entreprise Wilo France, spécialisée dans la conception de pompes et de systèmes de pompage, intègre l’analyse des données au cœur de sa transformation digitale. Le West Data Festival permet d’accéder à des cas d’usages concrets d’analyse de données dans les entreprises, et dans cet article Olivier Ugo revient sur son expérience.

Le West Data Festival, un point de départ Inspirant pour mettre en place l’analyse de données

Olivier Ugo a participé à plusieurs reprises au West Data Festival, et souligna l’impact de l’événement sur son évolution professionnelle. « Mon aventure a commencé au West Data Festival en 2021 » explique-t-il. Alors en charge de la transformation digitale de Wilo France, il y a trouvé des solutions à ses défis liés à l’analyse des données et à la Business Intelligence (BI). Depuis, Wilo France a évolué de la réflexion à la concrétisation de son projet datas avec le partenaire expert rencontré au West Data Festival.

En 2023, lors de la 5ème édition du West Data Festival à l’Espace Mayenne (Laval), Olivier Ugo a partagé son expérience à l’occasion d’une table ronde, aux côtés de représentants de deux entreprises et d’une startup. Il met en garde contre le manque de ressources et de compétences lors du déploiement d’outils datas. Selon lui, la transition vers de nouveaux métiers et de nouvelles responsabilités peut être un défi, mais un accompagnement efficace permet de surmonter ces obstacles.

Pourquoi la gestion des données est-elle cruciale pour les entreprises ?

Olivier Ugo met en avant deux facteurs majeurs. Tout d’abord, la croissance des datas dans le monde actuel, permettant d’utiliser des outils plus puissants que les outils traditionnellement utilisés dans les entreprises. L’offre croissante d’outils plus performants et accessibles, crée un attrait grandissant pour la récolte et l’analyse des données.

Il ajoute qu’une gestion efficace de ses données permet à une entreprise de rester compétitive dans un monde de plus en plus imprévisible, marqué par des événements tels que le COVID-19 et la guerre en Ukraine. “Les entreprises ont intérêt à savoir gérer leurs données, les analyser de manière rapide et pertinente pour prendre des décisions stratégiques et opérationnelles rapides et efficaces”, conclut-il.

Si vous voulez vous inspirer et découvrir de nouveaux cas d’usages liés à la maîtrise des données et l’intelligence artificielle dans votre entreprise, inscrivez-vous à la prochaine édition du West Data festival qui aura lieu du 12 au 14 mars à l’Espace Mayenne (Laval).

Un événement incontournable pour tous les experts et passionnés de l’intelligence artificielle et des datas.
Pour assister à la 6ème édition du West Data Festival : https://www.westdatafestival.fr/inscription-west-data-festival-2024/?utm_source=actuia&utm_medium=article&utm_campaign=janvier

Pour plus d’informations sur le programme et les conférenciers de la 6ème édition : https://www.westdatafestival.fr/programme-complet-west-data-festival/?utm_source=actuia&utm_medium=article&utm_campaign=janvier

Un an après le lancement de ChatGPT, OpenAI annonçait en novembre dernier lors de sa première conférence des développeurs, OpenAI DevDay, ouvrir l’accès à ses abonnés ChatGPT Plus et Enterprise à GPT-Builder, un outil leur permettant de créer des versions personnalisées de ChatGPT, les GPT. Le GPT-Store où ils peuvent les partager publiquement, et éventuellement recevoir une rémunération, est, avec un peu de retard sur le programme initial, disponible. 

Dans son blog, OpenAI assure que plus de 3 millions de versions personnalisées de ChatGPT ont été créées depuis la conférence. La société annonce également avoir commencé à déployer le GPT Store pour les utilisateurs de ChatGPT Plus, Enterprise mais également pour ceux de sa nouvelle offre ChatGPT Team.

GPT-Builder a simplifié la création des GPT puisqu’il ne nécessite aucune connaissance en programmation, il suffit à ses utilisateurs de donner leurs instructions en langage naturel pour créer un chatbot personnalisé.

Le GPT-Store

Les GPT sont pour l’instant répartis en 7 catégories dans le “magasin” : DALL-E, rédaction, productivité, recherche et analyse, programmation, éducation et mode de vie. OpenAI prévoit de mettre de nouveaux GPT en avant chaque semaine, ceux qui seront considérés comme les plus “utiles” et les plus “percutants”.

La société présente quelques-uns des GPT mis en vedette : des recommandations personnalisées de sentiers d’AllTrails, la synthèse d’articles académiques avec Consensus, des tutoriels de programmation de Khan Academy, la conception de présentations avec Canva.

On peut les retrouver parmi d’autres sur cette page ChatGPT (openai.com)

“Une fois dans le magasin, les GPT deviennent consultables et peuvent grimper dans les classements. Nous mettrons également en lumière les GPT les plus utiles et les plus agréables que nous rencontrons dans des catégories telles que la productivité, l’éducation et style de vie”.

OpenAI lancera prochainement un programme de rémunération en fonction de l’utilisation des GPT. Il s’adressera dans un premier temps aux créateurs américains dans le cours de ce 1er trimestre 2024. OpenAI ne précise pas ce qu’il entend faire par la suite.

La nouvelle offre ChatGPT Team

OpenAI profite du lancement de GPT-Store pour introduire Team qui permet d’accéder à ses modèles de pointe : GPT-4 avec une fenêtre contextuelle de 32K, GPT-4 Vision et DALL-E 3 , ainsi qu’à des outils comme l’analyse de données avancée. L’offre comprend également un espace de travail collaboratif dédié et des outils d’administration pour une gestion efficace de l’équipe. L’objectif est également d’améliorer la qualité du travail d’équipe en intégrant l’IA dans les flux de travail organisationnels quotidiens.

Comme avec ChatGPT Enterprise, les utilisateurs ont un contrôle total sur leurs données commerciales, avec des garanties de confidentialité. ChatGPT Team est proposé à 25 $ par mois, s’il est facturé annuellement, il est également possible de souscrire à l’offre sans engagement de 30 $ mensuelle.