Tous les jours, les agents IA résolvent les mêmes problèmes en boucle, sans jamais partager ce qu'ils ont appris. Un ingénieur de Mozilla veut y remédier avec cq, un projet open source venu prendre le relais de Stack Overflow, la plateforme similaire délaissée par les humains.

Disponible sur le Google Play Store, l'application « Nearby Glasses », développée par un amateur, attire l’attention. Elle permet à ses utilisateurs d’être avertis si des personnes à proximité portent des lunettes « intelligentes », comme les lunettes Ray-Ban de Meta.

Ce 23 février 2026, Summer Yue est au centre des discussions tech sur X. La responsable de l’alignement IA chez Meta a raconté comment son agent autonome OpenClaw lui a désobéi, supprimant sans autorisation des emails de sa boîte Gmail. Un incident qui soulève de sérieuses questions sur la fiabilité des agents IA.

Clawdbot s’est imposé en quelques jours comme le nouveau jouet à la mode de l’écosystème IA : un agent personnel capable de lire vos messages et, plus généralement, d’organiser votre vie numérique de manière proactive, 24 heures sur 24. Mais dans l’enthousiasme général, un point crucial est relégué au second plan par un bon nombre d’utilisateurs : la cybersécurité.

Comments

Comments

Comments

Comments

Comments

La prochaine conférence développeur d'OpenAI, le DevDay, aura lieu le 6 octobre 2025. La marque annonce une keynote inaugurale diffusée sur Internet, ce qui laisse supposer des annonces inédites.

Deep Research, le nouvel outil d'OpenAI, est capable d'effectuer de longues recherches en ligne et de synthétiser les résultats en quelques dizaines de minutes. Des développeurs de Hugging Face ont conçu leur propre version du système afin de proposer une alternative open source.

Après avoir publié en décembre dernier sa famille de modèles OLMO 2, l’Allen Institute for Artificial Intelligence (AI2) poursuit son engagement envers l’open source avec le lancement de Tülu 3 405B. Basé sur Llama 3.1, exploitant le cadre d’apprentissage par renforcement à partir de récompenses vérifiables (RLVR) d’AI2, ce nouveau modèle atteint des performances compétitives ou supérieures à celles de DeepSeek V3 (sur lequel est basé DeepSeek R1) et GPT-4o, surpassant également les modèles post-entraînés précédents de même taille, comme Llama 3.1 405B Instruct et Hermes 3 405B de Nous Research.

Un post entraînement optimisé

La recette de post-entraînement de Tülu 3 405B est similaire à celle de ses prédécesseurs, Tülu 3 8B et 70B, publés par AI2 en novembre dernier. Elle inclut la curation minutieuse des données, la mise au point supervisée (SFT), l’optimisation directe des préférences (DPO) ainsi que le Reinforcement Learning with Verifiable Rewards (RLVR).

Crédit image AI. Schéma décrivant le processus d’apprentissage par renforcement avec récompenses vérifiables (RLVR).

Cette nouvelle méthode permet d’améliorer significativement les performances des modèles Tülu sur des tâches complexes comme la résolution de problèmes mathématiques et le suivi d’instructions. Fait intéressant, les résultats montrent que l’échelle du modèle influence positivement l’efficacité du RLVR : alors que les modèles plus petits bénéficient d’un entraînement sur des ensembles de données diversifiés, Tülu 3 405B obtient de meilleures performances en se concentrant sur des données plus spécialisées.

Performances du modèle

Selon les évaluations internes d’AI2, Tülu 3 405B surpasse DeepSeek V3, GPT-4o, et Llama 3.1 405B sur le benchmark PopQA, un ensemble de 14 000 paires de questions-réponses qui permet de vérifier l’efficacité des modèles dans la récupération et la génération d’informations précises. Le modèle a également obtenu les performances les plus élevées de tous les modèles de sa catégorie sur GSM8K, un ensemble de données composé d’environ 8 500 problèmes mathématiques de niveau scolaire créé par OpenAI, utilisé pour tester les capacités des modèles de langage à effectuer un raisonnement mathématique multi-étapes.

Enjeux techniques et défis d’implémentation

La mise à l’échelle du modèle n’a pas été sans défis. L’entraînement de Tülu 3 405B a nécessité une infrastructure considérable, avec 256 GPU déployés en parallèle. La gestion du parallélisme tensoriel et l’optimisation des hyperparamètres ont été des points clés, nécessitant un suivi rigoureux. L’’intégration de corrections pour la diffusion NCCL (NVIDIA Collective Communications Library, une bibliothèque open source qui permet de réduire les goulots d’étranglement liés aux échanges de données et améliore les performances globales du système) a cependant permis une synchronisation efficace des poids du modèle, réduisant ainsi les délais d’inférence et de mise à jour.

Tülu 3 405B est un modèle véritablement ouvert, répondant aux critères stricts de l’OSAID, la définition de l’IA open source de l’OSI. Il peut être testé sur le site d’Ai2, est accessible sur Hugging Face et son code d’entraînement sur GitHub.

Hébergé sur Google Cloud, le modèle sera prochainement disponible sur Vertex AI.

En fin de semaine dernière, alors que tout le monde avait les yeux rivés sur DeepSeek et son modèle R1, Mistral AI, licorne française de la GenAI, a lancé plus discrètement Mistral Small 3. Publié sous la licence Apache 2.0, ce modèle de 24 milliards de paramètres optimisé pour la latence est “une excellente alternative open source aux modèles propriétaires opaques comme GPT4o-mini” selon elle.

Avec Small 3, la licorne, démontre une fois de plus que pour être performant, un LLM ne requiert pas un nombre astronomique de paramètres. Le modèle se positionne comme une réponse aux besoins croissants d’efficacité en offrant un taux de traitement de 150 tokens par seconde, tout en affichant une précision de plus de 81 % sur le benchmark MMLU.

Cette prouesse technique est rendue possible grâce à une architecture optimisée qui réduit le nombre de couches traditionnelles, diminuant ainsi le temps de passage avant (forward pass time, ou temps nécessaire à un modèle de réseau de neurones pour traiter une entrée et produise une sortie) sans compromettre la qualité des réponses.

Ce choix architectural, qui en fait “actuellement le modèle le plus efficace de sa catégorie”, permet à la version optimisée, Mistral Small 3 Instruct, de rivaliser avec des modèles bien plus imposants comme Llama 3.3 70B ou Qwen 32B, tout en garantissant une exécution rapide et efficace sur du matériel standard.

Des applications pour divers secteurs

Le Mistral Small 3 ne se contente pas d’afficher des performances techniques remarquables : il s’inscrit également dans une logique d’adaptabilité aux besoins concrets des entreprises. Parmi les cas d’usage envisagés, plusieurs domaines se démarquent :

• Assistance conversationnelle et appels de fonction : la faible latence garantit des interactions en temps réel, essentielles pour les chatbots ou assistants virtuels ;
• Fine-tuning pour des expertises spécifiques : sa taille modeste facilite l’ajustement fin pour des domaines précis, comme le diagnostic médical ou le conseil juridique ;
• Inférence locale : la possibilité de déployer le modèle sur du matériel accessible favorise l’usage dans des secteurs où les données sensibles nécessitent un traitement en local.

Comme les “Ministraux”, Small 3 répond également aux besoins croissants de calcul local et de protection de la vie privée : la possibilité de le déployer sur des configurations matérielles accessibles, comme une RTX 4090 ou un MacBook avec 32 Go de RAM, offre aux organisations le contrôle sur leurs données sensibles sans dépendance à une infrastructure cloud centralisée.

Une stratégie de diffusion ouverte et collaborative

Selon Mistral AI, faisant référence aux derniers modèles de DeepSeek, et au projet Open-R1,”Ce furent des jours passionnants pour la communauté open source ! Mistral Small 3 complète les grands modèles de raisonnement open source comme les récentes versions de DeepSeek, et peut servir de modèle de base solide pour faire émerger des capacités de raisonnement”.

L’entreprise a fait le choix de le publier sous la licence Apache 2.0, faisant le choix d’abandonner peu à peu sa licence plus restrictive MRL pour les modèles à usage général. Elle annonce d’ores et déjà “des modèles Mistral petits et grands avec des capacités de raisonnement améliorées dans les semaines à venir”.

Actuellement disponible sur les plateformes Hugging Face, Ollama, Kaggle, Together AI et Fireworks AI, Mistral Small 3 le sera également bientôt sur NVIDIA NIM, Amazon SageMaker, Groq, Databricks et Snowflake.

Dix jours après son lancement, DeepSeek R1, qui a suscité l’émoi de la Silicon Valley et perturbé le marché de Wall Street, continue d’alimenter la une des médias internationaux. L’entreprise éponyme qui dit l’avoir mis open source pour soutenir la communauté IA n’a cependant pas révélé tous les éléments qui lui ont permis de développer ce modèle, notamment les ensembles de données et le code d’entraînement. Hugging Face, loin des polémiques, lance le projet Open-R1 et propose à la communauté de l’aider à construire les pièces manquantes du pipeline R1.

Mené par Leandro von Werra, directeur de la recherche chez Hugging Face, Elie Bakouch et Lewis Tunstall, le projet Open-R1 se veut un exemple de transparence et de partage des connaissances, permettant à chacun de contribuer et d’améliorer le modèle pour des applications variées, allant de la médecine à l’éducation, en passant par la recherche fondamentale.

Ils expliquent le but de leur démarche dans un blog :

“Le projet Open-R1 est une initiative visant à reconstruire systématiquement le pipeline de données et de formation de DeepSeek-R1, à valider ses affirmations et à repousser les limites des modèles de raisonnement ouvert. En créant Open-R1, nous visons à fournir de la transparence sur la façon dont l’apprentissage par renforcement peut améliorer le raisonnement, partager des informations reproductibles avec la communauté open source et créer une base pour de futurs modèles permettant d’exploiter ces techniques.”

Un plan en trois étapes

Pour les trois hommes, “la sortie de DeepSeek-R1 est une aubaine incroyable pour la communauté”.

DeepSeek-R1 est un modèle de raisonnement construit sur la base de DeepSeek-V3, présenté par la start-up chinoise fin décembre dernier, dont les performances sont comparables, à celles de principaux modèles à source fermée, comme GPT-4o ou Claude 3.5 Sonnet, et ce, malgré un coût d’entraînement nettement inférieur.

Le modèle compte 2 versions : DeepSeek-R1-Zero, entraîné par apprentissage par renforcement (RL) sans réglage fin supervisé (SFT), a montré de solides performances. Cependant, il présente des défis tels que la répétition sans fin et la mauvaise lisibilité. Pour résoudre ces problèmes, DeepSeek-R1 intègre des données de démarrage à froid avant l’application du RL et de plusieurs étapes de raffinement qui rejettent les résultats de mauvaise qualité et produisent des réponses polies et cohérentes.

DeepSeek a mis ces 2 versions et six modèles denses distillés à partir de DeepSeek-R1 basés sur Llama et Qwen à la disposition de la communauté.

Les chercheurs de Hugging Face proposent à ceux qui voudront contribuer au projet de les aider à :

• Étape 1 : Répliquer les modèles R1-Distill en distillant un ensemble de données de raisonnement de haute qualité à partir de DeepSeek-R1.
• Étape 2 : Répliquer le pipeline RL pur que DeepSeek a utilisé pour créer R1-Zero. Cela impliquera la conservation de nouveaux ensembles de données à grande échelle pour les mathématiques, le raisonnement et le code.
• Étape 3 : Montrer qu’il est possible de passer du modèle de base → SFT (Supervised Fine-Tuning)→ RL via une formation en plusieurs étapes.

Les chercheurs d’Hugging Face concluent :

“Cette initiative ne consiste pas seulement à reproduire les résultats, mais aussi à partager des idées avec la communauté. En documentant ce qui fonctionne, ce qui ne fonctionne pas et pourquoi, nous espérons éviter à d’autres de perdre du temps et de calculer sur des chemins improductifs.”

Le projet, hébergé sur GitHub, compte plus de 12 000 étoiles, ce qui démontre l’intérêt qu’il suscite.

L’avancement des LLMs repose souvent sur leur capacité à traiter des volumes croissants de données dans des contextes plus longs et plus complexes. Avec le lancement des modèles open source Qwen2.5-7B-Instruct-1M et Qwen2.5-14B-Instruct-1M, l’équipe Qwen d’Alibaba Cloud place la barre très haut.

Pour permettre aux développeurs de déployer plus efficacement les modèles de la série Qwen2.5-1M, ceux-ci sont accompagnés d’un cadre d’inférence innovant, intégrant une méthode d’extrapolation de longueur et une méthode d’attention clairsemée, visant à réduire les coûts d’inférence et à améliorer la précision.

Les avancées techniques de Qwen2.5-1M

L’entraînement avec des séquences aussi longues représente un défi monumental en termes de calcul. L’équipe Qwen a adopté une approche progressive :

• Augmentation graduelle : les modèles passent de 4K à 256K jetons au pré-entraînement, grâce à l’ajustement de la fréquence de base RoPE ;
• Fine-tuning supervisé : une stratégie en deux étapes combine des instructions courtes (32K jetons) et longues (jusqu’à 256K jetons), garantissant une performance équilibrée ;
• Extrapolation à 1 M : l’intégration de l’attention à double bloc (DCA) permet de gérer des distances de position relative invisibles pendant l’entraînement classique, tout en évitant une dégradation des performances.

Optimisations de l’inférence

Les besoins matériels pour traiter des contextes longs sont élevés, mais l’attention clairsemée et d’autres améliorations ont permis de réduire ces contraintes :

• Chunked Prefill : cette méthode divise les séquences en blocs pour diminuer l’utilisation de la mémoire vive (VRAM) d’activation jusqu’à 96,7 % ;
• Optimisation du parallélisme : une meilleure gestion des ressources GPU assure une exécution fluide même sur des dispositifs limités ;
• Efficacité accrue : ces optimisations aboutissent à une augmentation de la vitesse de traitement, qui peut être jusqu’à 6,7 fois supérieures à celle des modèles classiques.

Performances de la famille de modèles Qwen2.5-1M

Tâches à contexte long

La série Qwen2.5-1M comprend actuellement les modèles open source Qwen2.5-7B-Instruct-1M et Qwen2.5-14B-Instruct-1M, ainsi que le modèle accessible via API Qwen2.5-Turbo, qui alimente désormais Qwen Chat.

Les modèles Qwen2.5-1M excellent sur des benchmarks complexes comme RULER, LV-Eval et LongBenchChat, souvent utilisés pour tester la compréhension de longs contextes, où ils surpassent leurs homologues 128K dans la plupart des tâches à contexte long, en particulier pour les séquences de plus de 64 Ko.

Le modèle 14B-Instruct-1M surpasse non seulement Qwen2.5-Turbo, mais aussi des modèles concurrents comme GPT-4o-mini, offrant une alternative open-source robuste pour les tâches à contexte long.

Évalués sur la tâche Passkey Retrieval, leurs résultats démontrent qu’ils peuvent récupérer avec précision des informations cachées dans des documents contenant jusqu’à 1 million de jetons, avec seulement des erreurs mineures observées dans le modèle 7B.

Tâches à contexte court

L’équipe a comparé les performances des modèles Qwen2.5-1M sur des séquences courtes par rapport à celles de leurs versions 128K et de GPT-4o-mini. Ils ont constaté que les versions 1M sont aussi précises que leurs homologues 128K sur des tâches classiques et qu’avec une longueur de contexte huit fois supérieure à celle de GPT-4o-mini, les modèles Qwen2.5-14B-Instruct-1M et Qwen2.5-Turbo atteignent des performances similaires au modèle d’OpenAI.

Le lancement de Qwen2.5-1M marque un tournant pour les modèles à contexte long, repoussant les limites techniques tout en élargissant le champ des possibles pour les applications qui nécessitent un traitement contextuel étendu telles que l’analyse juridique ou la gestion documentaire.

Pour plus d’informations sur les modèles, cliquer ici.

Une récente étude menée par Morning Consult en collaboration avec Lopez Research pour IBM auprès de plus de 2 400 décideurs informatiques, révèle que les entreprises, en quête de rentabilité et d’innovation, se tournent de plus en plus vers des solutions d’IA basées sur l’open source. Une évolution qui pourrait redéfinir la manière dont elles conçoivent et gèrent leurs stratégies d’IA.

Selon l’étude, 85 % des décideurs IT à l’échelle mondiale rapportent des progrès dans la mise en œuvre de leurs stratégies IA pour 2024, tandis que 47 % d’entre eux observent déjà un retour sur investissement (ROI) positif. En France, ces chiffres chutent respectivement à 77 % et 29 %.

Thomas Dognin, AI Market Sales Leader – Data & AI, IBM France, explique ces résultats :

“Concernant les activités autour des sujets d’IA l’an dernier, les entreprises en France ont lancé beaucoup d’initiatives autour de l’IA, mais plutôt à destination des employés, et moins pour l’entreprise avec l’automatisation des processus métier. Or, ce sont justement ces cas d’usages qui apportent le ROI attendu.”

L’open source : un accélérateur de rentabilité ?

Six responsables informatiques interrogés sur 10 au niveau mondial déclarent utiliser des écosystèmes open source comme source d’outils d’IA. Plus de 80 % (84 % en France) affirment qu’au moins un quart des solutions ou plateformes d’IA de leur entreprise sont basées sur l’open source.

L’open source semble être un élément différenciateur. Parmi les entreprises ayant adopté des outils d’IA open source, 51 % rapportent un ROI positif, contre 41 % pour celles qui ne les utilisent pas.

En outre, l’open source favorise une multiplication des projets pilotes : 38 % des entreprises utilisant ces écosystèmes prévoient de lancer plus de 21 projets pilotes en 2025, contre seulement 26 % pour celles qui ne s’appuient pas sur ces outils.

En France, bien que 41 % des entreprises prévoient de s’appuyer davantage sur l’open source en 2025 pour optimiser leurs mises en œuvre de l’IA, cette adoption reste inférieure à la moyenne mondiale de 48 %.

Une vision à long terme : quels indicateurs de succès ?

L’étude met également en lumière un écart entre les attentes en matière de ROI et les indicateurs réellement utilisés pour évaluer le succès des projets d’IA. Si le ROI financier traditionnel reste un objectif, il est souvent supplanté par des indicateurs comme :

• Les gains de productivité (22 % des réponses au niveau mondial) ;
• L’accélération de l’innovation (23 %) ;
• La rapidité du développement logiciel (25 %).

Pour 2025, l’étude prévoit une augmentation générale des investissements dans l’IA. Près de 62 % des entreprises mondiales et 41 % en France comptent accroître leurs dépenses. Parmi les priorités stratégiques, l’adoption des services cloud managés (51 %), le recrutement de talents spécialisés (48 %) et l’utilisation de l’open source (48 %) se distinguent.

Maribel Lopez de Lopez Research commente : 

“Alors que les entreprises commencent à mettre en œuvre l’IA à grande échelle, nombre d’entre elles accordent plus d’importance aux indicateurs de réussite tels que les gains de productivité, en partie parce que les avantages traditionnels du retour sur investissement en dollars n’apparaissent pas encore dans les bilans. Pourtant, les entreprises continuent de faire progresser rapidement leurs stratégies d’IA, sans aucun signe de ralentissement. Les entreprises reconnaissent désormais la valeur de la définition de cas d’usage spécifiques et de l’optimisation des projets d’IA. Elles s’appuient sur des stratégies de Cloud hybride et d’open source pour stimuler l’innovation en matière d’IA et obtenir des retours financiers”. 

@Pour consulter l’étude complète : https://newsroom.ibm.com/image/IBM_ROI_of_AI_Report-December_2024.pdf

Avec DeepSeek-V3, la Chine a possiblement de quoi inquiéter OpenAI et les grands groupes américains. Son approche open source, sur un secteur de plus en plus dominé par des groupes privés, lui permet d'aller vite, pour beaucoup moins d'argent.

Depuis l’émergence des grands modèles de langage (LLMs), certains ont été qualifiés d’“ouverts”, ce qui a pu prêter à confusion avec le terme “open source” lors de leur présentation. En février dernier, l’Allen Institute for Artificial Intelligence (Ai2), a publié la première version d’OLMo, (Open Language Model), un LLM qui répond aux critères stricts de l’OSAID, la définition de l’IA open source de l’OSI. Le modèle a depuis été mis à jour en avril et dernièrement avec OLMo 2 qu’il présente comme “le meilleur modèle de langage entièrement ouvert à ce jour”. 

AI2 est un institut de recherche à but non-lucratif fondé en 2014 par Paul Allen, philanthrope et cofondateur de Microsoft, décédé en 2018. Son objectif est de favoriser le développement de l’intelligence artificielle au service de la société, en mettant l’accent sur des applications responsables et éthiques. L’institut collabore avec des universités, des entreprises et d’autres institutions de recherche pour stimuler l’innovation dans ce domaine.

AI2 se concentre sur des domaines variés tels que la compréhension du langage naturel, la vision par ordinateur, l’apprentissage automatique et la robotique. Parmi ses contributions majeures, on trouve Semantic Scholar, un moteur de recherche avancé destiné à aider les chercheurs à accéder et à analyser des articles scientifiques, ainsi que AllenNLP, une bibliothèque open source dédiée au traitement du langage naturel.

OLMo 2

Dans le domaine de la GenAI, AI2 milite également pour l’open source. Après Molmo, une famille de modèles d’IA multimodaux, il présente OLMo2, sa dernière famille de modèles de langage.

Dans le cadre de la validation et de la mise à l’essai de l’OSAID, la première version d’OLMo a été considérée comme réellement open source tout comme Pythia (Eleuther AI), Amber et CrystalCoder (LLM360) et T5 (Google) contrairement à Llama de Meta ou Grok de xAI. OLMo 2 correspond lui aussi pleinement aux critères exigés.

AI2 écrit sur son blog :

“Parce que la science entièrement ouverte nécessite plus que des poids ouverts, nous sommes ravis de partager une nouvelle série de mises à jour d’OLMo, y compris des poids, des données, du code, des recettes, des points de contrôle intermédiaires et des modèles optimisés pour les instructions, avec la communauté plus large de la modélisation du langage !”

Une architecture améliorée et un pré-entraînement optimisé

OLMo 2 est une nouvelle famille de modèles de langage de 7 et 13 milliards de paramètres, le premier a été entraîné sur environ 4,05 milliards de tokens tandis que le second l’a été sur un total de 5 000 milliards de tokens.

Les modifications architecturales principales apportées à OLMo incluent l’intégration de RMSNorm pour une meilleure stabilité et l’utilisation de plongements positionnels rotatifs.

AI2 a utilisé une approche en 2 étapes. Pour la 1ère, les modèles ont été pré-entraînés avec OLMo-Mix-1124, une collection d’environ 3,9 milliards de jetons. Les modèles ont, dans un second temps, été affinés avec un mélange composé à part égale de données web filtrées et de données spécifiques à un domaine (contenu académique, forums de questions-réponses, données d’instructions et cahiers d’exercices mathématiques, à la fois synthétiques et générés par l’homme) provenant de Dolmino-Mix-1124. L’Institut a ensuite échantillonné les 843 milliards de tokens obtenus pour optimiser leurs performances lors des étapes finales d’entraînement.

Performance et comparaison de OLMo 2

Selon les évaluations d’AI2, OLMo 2 7B et 13B sont les meilleurs modèles entièrement ouverts à ce jour, surpassant souvent les modèles de “poids ouverts” de taille équivalente, tout en égalant voire dépassant certains modèles partiellement propriétaires. Par exemple, OLMo-2-7B surpasse Llama 3.1 8B de Meta tandis qu’OLMo-2-13B dépasse Qwen 2.5 7B d’Alibaba Cloud malgré un coût de calcul moindre.

AI2 a utilisé Tülu 3, sa famille de modèles de suivi d’instructions, pour les variantes Instruct d’OLMo 2. Celles-ci ont été évaluées sur leurs capacités de suivi d’instructions, de rappel des connaissances, de mathématiques et de raisonnement général. Elles se sont révélées compétitives avec les meilleurs modèles à poids ouverts, OLMo 2 13B Instruct surpassant les modèles Qwen 2.5 14B instruct, Tülu 3 8B et Llama 3.1 8B instruct.

La Fondation Eclipse, l’une des plus grandes fondations open source au monde, et l’Open Source Initiative (OSI), ont signé la semaine dernière un protocole d’accord (MoU) pour promouvoir l’intérêt de la communauté open source dans la mise en œuvre d’initiatives réglementaires sur l’intelligence artificielle open source (OSAI).

L’OSI, une organisation californienne à but non-lucratif créée en 1998, qui défend et éduque sur les avantages de l’open source, a récemment publié la première définition officielle de l’IA open source, l’OSAID. L’Eclipse Foundation a été l’une des premières à soutenir cette version.

Alors que les réglementations sur l’IA se multiplient, leur partenariat vise à ce qu’elles s’alignent sur cette définition et les valeurs de l’open source. La Fondation Eclipse et l’OSI s’efforceront d’apporter de la clarté dans le langage et les termes sur lesquels l’industrie, la communauté, la société civile et les décideurs peuvent se baser pour élaborer et appliquer les politiques publiques. Elles tireront parti de leurs plateformes et événements publics respectifs pour sensibiliser le public sur le sujet.

Stefano Maffulli, directeur exécutif de l’OSI, explique :

“L’IA est sans doute la technologie la plus transformatrice de notre génération. Le défi est maintenant d’élaborer des politiques qui non seulement favorisent la croissance de l’IA, mais garantissent que l’IA Open Source prospère dans ce paysage en évolution. Le partenariat avec la Fondation Eclipse et son expertise, combinée à son expérience en matière de développement open source en Europe et de conformité réglementaire, est important pour façonner l’avenir de l’IA Open Source”.

Objectifs et actions

Le mémorandum d’accord définit plusieurs domaines de coopération, notamment :

• Échange d’Information : L’OSI et la Fondation Eclipse partageront des informations et des points de vue pertinents sur l’élaboration des politiques publiques et les activités réglementaires en matière d’intelligence artificielle ;
• Représentation aux décideurs : OSI et la Fondation Eclipse coopéreront pour représenter les principes et les valeurs des licences open source auprès des décideurs politiques et des organisations de la société civile ;
• Promotion des principes Open Source : Des efforts conjoints seront déployés pour sensibiliser le public au rôle de l’open source dans l’IA, en soulignant comment elle peut favoriser l’innovation tout en atténuant les risques.

Un partenariat pour l’avenir

Pour l’OSI et la Fondation Eclipse, l’évolution rapide des technologies de l’IA, ainsi que les nouveaux paysages réglementaires complexes à venir, exigent des orientations claires, cohérentes, alignées et enracinées dans les principes de l’open source. Les deux organisations s’engagent à fournir à la communauté open source, aux leaders de l’industrie et aux décideurs les outils et les connaissances dont ils ont besoin pour naviguer dans ce domaine en évolution rapide.

Ce protocole d’accord marque le début d’une collaboration à long terme, de nouvelles initiatives et activités conjointes seront prochainement annoncées.

Nick Clegg, président des Affaires mondiales de Meta, a annoncé le 4 novembre dernier que Meta a mis Llama à disposition des agences gouvernementales américaines et des entrepreneurs travaillant sur des applications de sécurité nationale. Alors que l’entreprise interdisait jusqu’à présent l’utilisation de son modèle à des fins militaires, sa nature open source permet à quiconque d’accéder et de modifier le modèle, une opportunité que la Chine a rapidement saisie.

Selon Nick Clegg, “Meta veut jouer son rôle pour soutenir la sûreté, la sécurité et la prospérité économique de l’Amérique, et de ses alliés les plus proches”. Il met en avant dans son blog les atouts de l’IA open source pour renforcer la position des États-Unis dans la course mondiale à l’IA, notamment dans les domaines de la sécurité nationale et de l’efficacité du secteur public, soulignant :

“Nous pensons qu’il est dans l’intérêt de l’Amérique et du monde démocratique au sens large que les modèles open source américains excellent et réussissent par rapport aux modèles de Chine et d’ailleurs”.

Un soutien massif aux agences de sécurité nationale américaines

Meta s’est associé avec un éventail de partenaires influents, tels qu’Amazon Web Services, Oracle, Microsoft, et des entreprises de défense comme Lockheed Martin, pour intégrer Llama dans divers projets destinés à renforcer la sécurité et la défense des États-Unis. Parmi les applications spécifiques, Oracle utilise Llama pour faciliter la maintenance des avions militaires, améliorant ainsi l’efficacité des techniciens grâce à des outils de diagnostic plus performants et rapides. De son côté, Scale AI travaille à adapter Llama pour la planification stratégique et l’évaluation des vulnérabilités dans des missions de sécurité nationale.

L’usage militaire de Llama par la Chine : une course à l’IA qui s’accélère

Des chercheurs de la République populaire de Chine ont affiné Llama 13B pour développer un chatbot militaire afin d’assister les analystes et les officiers dans des tâches stratégiques complexes. Ce chatbot, qui a été utilisé pour traiter des données de renseignement pourrait améliorer les communications cryptées entre les troupes et soutenir des simulations de scénarios de guerre, marquant ainsi une application offensive de l’IA open source.

Mais pour Meta, le rôle présumé d’une version antérieure et désormais obsolète d’un modèle open source américain n’est pas pertinent alors que la Chine investit massivement dans sa tentative de s’imposer comme leader de l’IA.

Cependant, l’utilisation de Llama par la Chine soulève des questions importantes : dans quelle mesure les États-Unis et leurs alliés pourront-ils continuer de promouvoir des technologies ouvertes, tout en préservant leur sécurité nationale face à des applications militaires adverses ?

Pour les États-Unis, la mise à disposition de Llama dans un cadre contrôlé permet d’utiliser la technologie tout en limitant les risques, et en formant un réseau public-privé pour anticiper les menaces potentielles. En Chine, l’utilisation de Llama pourrait accélérer l’automatisation militaire, avec des modèles capables d’assister les commandements en temps réel.

A l’occasion de All Things Open 2024, l’un des événements les plus importants de l’industrie open source en Amérique du Nord, l’Open Source Initiative (OSI) a annoncé la publication de la première définition officielle de l’IA open source, l’OSAID.

Des modèles comme Gemma de Google sont souvent qualifiés de modèles “ouverts”, ce qui peut prêter à confusion avec le terme “open source” lors de leur présentation. Bien que tous les modèles open source soient ouverts, tous les modèles ouverts ne répondent pas nécessairement aux critères de l’open source.

Pour l’OSI, un système d’IA open source met à disposition non seulement une structure fonctionnelle, mais aussi des éléments distincts comme les modèles, les poids et les paramètres sous des conditions qui garantissent quatre libertés essentielles :

1. Liberté d’utilisation : Utiliser le système d’IA pour n’importe quelle finalité, sans autorisation préalable.
2. Liberté d’inspection : Étudier le fonctionnement interne du système.
3. Liberté de modification : Modifier le système pour adapter ses réponses ou ses capacités à d’autres fins.
4. Liberté de partage : Distribuer le système ou ses versions modifiées à d’autres utilisateurs, à des fins diverses.

Les exigences techniques d’une IA open source

Un modèle d’IA est constitué de trois éléments : l’architecture, les paramètres ou poids, et le code d’inférence. Pour qu’un modèle soit considéré comme open source, chacun de ces éléments doit être accompagné des informations nécessaires à sa modification et à sa compréhension. Selon l’OSI, il est indispensable de fournir un accès à trois éléments clés :

• Informations sur les données : L’origine, le traitement et les caractéristiques des données d’entraînement doivent être documentés (provenance des données, méthodes de sélection, d’étiquetage et de filtrage) ;
• Code source complet : Le code utilisé pour entraîner et exécuter le modèle doit être disponible, incluant le traitement des données, les tests et la validation ;
• Paramètres et poids du modèle : Les poids et autres paramètres appris (points de contrôle d’entraînement, état final de l’optimiseur, etc.) doivent être accessibles pour permettre de reproduire ou de personnaliser le modèle.

Stefano Maffulli, directeur exécutif de l’OSI, commente :

“Arriver à la version 1.0 de l’OSAID aujourd’hui a été un parcours difficile, rempli de nouveaux défis pour la communauté OSI. Malgré ce processus délicat, rempli d’opinions divergentes et de frontières techniques inexplorées, et d’échanges houleux occasionnels, les résultats sont alignés sur les attentes énoncées au début de ce processus de deux ans. Il s’agit d’un point de départ pour un effort continu visant à s’engager auprès des communautés afin d’améliorer la définition au fil du temps, à mesure que nous développons avec la communauté Open Source plus large les connaissances nécessaires pour lire et appliquer OSAID v.1.0”.

Validation et soutien à l’OSAID

Dans le cadre de la validation et de la mise à l’essai de l’OSAID, les volontaires ont évalué si 13 systèmes d’IA offraient les libertés attendues. Les modèles ayant passé la phase de validation sont les suivants : Pythia (Eleuther AI), OLMo (AI2), Amber et CrystalCoder (LLM360) et T5 (Google). D’autres modèles, comme BLOOM (BigScience), Starcoder2 (BigCode) et Falcon (TII), pourraient passer s’ils modifiaient leurs licences ou conditions juridiques.

En revanche, certains modèles, tels que Llama2 (Meta), Grok (X/Twitter), Phi-2 (Microsoft) et Mixtral (Mistral), n’ont pas été validés en raison de composants manquants ou d’accords juridiques incompatibles avec les principes de l’open source.

L’Open Source Initiative précise que ces résultats doivent être considérés comme faisant partie du processus de définition et d’apprentissage, et ne constituent pas des certifications. Elle continuera de valider uniquement les documents juridiques et ne validera ni n’examinera les systèmes d’IA individuels, tout comme elle ne valide ni n’examine les projets logiciels.

Pour l’instant, une vingtaine d’entreprises ou organisations soutiennent cette version 1.0 de l’OCAID. Parmi elles, l’institut de recherche EleutherAI, Bloomberg, Mozilla, LLM360, CommonCrawl, Linagora Labs, Nextcloud, OpenInfra Foundation, SUSE, l’Eclipse Foundation, Mercado Libre…

Comme on peut s’y attendre, les entreprises dont les modèles ont été réfutés comme open source ont préféré s’abstenir… Un porte-parole de Meta a déclaré :

“Nous sommes d’accord avec notre partenaire l’OSI sur beaucoup de choses, mais nous, comme d’autres dans l’industrie, ne sommes pas d’accord avec leur nouvelle définition. Il n’existe pas de définition unique de l’IA open source, et la définir est un défi, car les définitions open source précédentes n’englobent pas les complexités des modèles d’IA qui évoluent rapidement aujourd’hui. Nous rendons Llama gratuit et librement disponible, et notre politique de licence et d’utilisation acceptable aide à assurer la sécurité des gens en mettant en place certaines restrictions. Nous continuerons à travailler avec l’OSI et d’autres groupes de l’industrie pour rendre l’IA plus accessible et gratuite de manière responsable, quelles que soient les définitions techniques”. 

Lors de l’événement annuel TechXchange d’IBM, la société a annoncé la sortie de Granite 3.0, la dernière version de sa famille de modèles de langage (LLM) open source, adaptés aux besoins des entreprises. Granite 3.0 se distingue par son équilibre entre performance, sécurité et rentabilité, répondant aux défis de l’utilisation de LLMs dans des environnements professionnels. 

La suite de modèles Granite 3.0 comprend :

•  Des LLM à usage général : Granite 3.0 8B-Instruct, Granite 3.0 2B-Instruct, Granite 3.0 8B Base, Granite 3.0 2B Base
• Des modèles garde-fous orientés sécurité : Granite Guardian 3.0 8B, Granite Guardian 3.0 2B
• Des modèles « Mixture-of-Experts » : Granite 3.0 3B-A800M Instruct, Granite 3.0 1B-A400M Instruct, Granite 3.0 3B-A800M Base, Granite 3.0 1B-A400M Base.

Granite 3.0 : un modèle d’efficacité et de flexibilité

Granite 3.0 8B et 2B ont été entraînés à partir de 12 000 milliards de jetons de données, provenant de 12 langages naturels et de 116 langages de programmation différents. Les entreprises peuvent les personnaliser avec leurs propres données grâce à la méthode d’alignement InstructLab, introduite par IBM et Red Hat en mai dernier. Elle permet aux entreprises de personnaliser les modèles en utilisant des données synthétiques et des protocoles de formation adaptés à leurs besoins, réduisant ainsi les coûts de trois à vingt-trois fois, et les délais de mise en œuvre.

Les modèles de la famille Granite 3.0 sont adaptés à différentes applications d’IA. Les modèles de base Granite 3.0 8B et 2B, qualifiés de “bourreaux de travail” par IBM, sont conçus pour des tâches variées comme la génération augmentée de récupération (RAG), la classification et la synthèse de données. Ils peuvent être facilement personnalisés avec des données d’entreprise, permettant ainsi aux organisations d’optimiser leurs performances à moindre coût.

Le modèle phare de cette version, Granite 3.0 8B Instruct, un modèle dense optimisé pour les instructions, est destiné à servir de bloc de construction principal pour les flux de travail sophistiqués et les cas d’utilisation basés sur des outils.

En matière de benchmarks académiques et professionnels, Granite 3.0 8B Instruct rivalise avec des modèles concurrents open source de taille similaire, comme Llama 3.1-8B de Meta et Mistral-7B de Mistral AI, tout en se distinguant par ses performances sur des tâches spécifiques à l’entreprise, notamment en cybersécurité. Il a ainsi dominé les évaluations sur RAGBench, un benchmark évaluant la génération augmentée par récupération (RAG) dans des contextes industriels tels que les manuels techniques.

Granite Guardian 3.0 : la sécurité au cœur de l’innovation

Outre ses modèles polyvalents, IBM introduit les modèles Granite 3.0 Guardian, spécialement conçus pour répondre aux besoins critiques de sécurité et de conformité des entreprises. Granite Guardian 3.0 8B et 2B sont des modèles renforcés avec des mécanismes de sécurité intégrés pour minimiser les risques liés aux biais et à l’exploitation malveillante des systèmes d’IA. Grâce à une série de mécanismes de contrôle et de supervision, ces modèles assurent une protection contre les fuites de données sensibles et les réponses inappropriées. Ils peuvent être utilisés pour mettre en œuvre des garde-fous avec n’importe quel modèle d’IA ouvert ou propriétaire.

IBM affirme que Granite Guardian excelle dans les environnements réglementés, où la conformité aux normes de sécurité et de confidentialité est primordiale. Ces modèles sont capables de détecter les anomalies dans les interactions utilisateur et les manipulations malveillantes, ce qui les rend particulièrement adaptés à des secteurs comme la finance, la santé et la défense. Selon ses tests internes, Granite Guardian a surpassé des modèles similaires, comme LLamaGuard de Meta, en matière de détection des risques.

Mixture-of-Experts : performances et rentabilité

La version 3.0 introduit les modèles “Mixture-of-Experts” (MoE), tels que Granite 3.0 3B-A800M Instruct et 1B-A400M Instruct, qui adoptent une approche modulable, où seuls certains experts (sous-modèles spécialisés) sont activés en fonction de la tâche demandée, ce qui les rend très intéressants pour les environnements où les ressources de calcul peuvent être limitées ou coûteuses.

Entraînés sur plus de 10 000 milliards de jetons de données, ces nouveaux modèles MoE Granite sont particulièrement adaptés pour des applications sur l’appareil, des serveurs CPU et des situations nécessitant une latence extrêmement faible.

IBM a également annoncé une mise à jour de ses modèles Granite Time Series pré-entraînés, dont les premières versions ont été publiées au début de l’année. Ces nouveaux modèles, entraînés sur 3 fois plus de données, offrent de solides performances selon les 3 principaux benchmarks de type série temporelle (Time Series), surpassant des modèles 10 fois plus grands de Google, Alibaba et d’autres. Ces modèles mis à jour offrent également une plus grande flexibilité de modélisation grâce à la prise en charge de variables externes et de prévisions glissantes.

Granite 3.0 dans l’écosystème d’IBM

L’introduction de Granite 3.0 s’intègre parfaitement à l’écosystème plus large d’IBM, avec des intégrations optimisées pour certaines de ses plateformes. Watsonx.ai, le produit phare d’IBM dédié à l’IA, s’appuie désormais sur Granite 3.0 pour offrir des solutions avancées aux entreprises cherchant à automatiser leurs processus tout en maintenant un haut niveau de sécurité et de transparence.

IBM a également mis en avant la compatibilité de Granite 3.0 avec ses outils de gestion des modèles et des données, permettant aux entreprises de surveiller et d’ajuster en continu leurs modèles pour améliorer la précision et la pertinence. L’intégration avec des outils comme Watsonx.data et Watsonx.governance garantit que les données sont gérées et utilisées de manière responsable tout au long du cycle de vie des modèles.

IBM continue d’améliorer Granite avec des extensions prévues pour la fin 2024, comme l’augmentation de la fenêtre de contexte à 128 000 jetons et l’ajout de capacités multimodales. Tous les modèles Granite 3.0 sont entraînés sur l’infrastructure Blue Vela d’IBM, qui fonctionne à 100 % grâce à des sources d’énergie renouvelable. Ce choix s’inscrit dans l’engagement croissant d’IBM à intégrer des pratiques durables dans ses processus de développement technologique.

Disponibilité des modèles Granite 3.0

Les modèles Granite 3.0 et les modèles Time Series mis à jour sont distribués sous la licence Apache 2.0 et peuvent être téléchargés sur HuggingFace, renforçant l’engagement d’IBM envers l’open source et la transparence.

Les variantes d’instruction des nouveaux modèles de langage Granite 3.0 8B et 2B et les modèles Granite Guardian 3.0 8B et 2B sont disponibles dès aujourd’hui pour une utilisation commerciale sur la plateforme watsonx d’IBM. Une sélection des modèles Granite 3.0 sera également disponible en tant que microservices NVIDIA NIM et via les intégrations Vertex AI Model Garden de Google Cloud avec HuggingFace.

Pour faciliter le choix et l’utilisation des développeurs et soutenir les déploiements locaux et à la périphérie (edge), un ensemble organisé de modèles Granite 3.0 est également disponible sur Ollama et Replicate.

Les modèles sont également disponibles sur les plateformes de partenaires d’IBM, tels qu’AWS, Docker, Domo, Qualcomm Technologies, Salesforce ou SAP.

Une étude récente menée par Red Hat auprès de 609 responsables IT dans six pays, dont la France, met en lumière les priorités des entreprises en matière de stratégie cloud et les défis qu’elles rencontrent, notamment en termes de compétences. L’IA émerge comme un facteur clé, tant en matière d’innovation que de complexité technologique.

Adoption du cloud et priorité à l’IA

Pour 95 % des responsables IT français, les investissements dans les technologies cloud sont une priorité stratégique pour 2025. Parmi eux, 84 % considèrent l’adoption de l’IA, qu’elle soit générative ou prédictive, comme un levier crucial pour cette transformation. Cette priorité s’inscrit dans un contexte où 59 % des entreprises cherchent à équilibrer innovation technologique et amélioration des infrastructures existantes. Plus de la moitié de ces dernières, (55 %), prévoient d’augmenter leurs investissements de 5 à 20 %.

Les impératifs de sécurité, de conformité réglementaire et de souveraineté des données sont, tout comme l’adoption de l’IA, identifiés comme des axes stratégiques majeurs.

Un manque de compétences qui freine l’adoption

L’enthousiasme pour l’IA est toutefois tempéré par une pénurie de compétences. En effet, 77 % des répondants français estiment que l’insuffisance de talents dans des domaines tels que la science des données, les modèles de langage (LLM) et l’IA générative constitue un défi majeur. Les lacunes de compétences en matière de cybersécurité, de développement d’applications cloud-natives et de gestion d’un environnement de cloud hybride ont également été identifiées par 69 % des responsables interrogés.

Cette pénurie souligne la nécessité d’une montée en compétences, d’autant plus que 40 % des entreprises interrogées déclarent disposer de plateformes informatiques flexibles et évolutives, mais manquent de l’expertise pour exploiter pleinement leur potentiel.

L’open source au service de la transparence

L’open source joue un rôle croissant dans la confiance que les responsables IT accordent aux technologies d’IA. Plus de la moitié des répondants (54 %) citent la transparence et la confiance comme des avantages clés des solutions d’IA open source.

Pour nombre de responsables IT, ces caractéristiques sont essentielles pour bâtir la confiance dans les solutions d’IA générative. Ils soulignent également l’importance de la fiabilité des modèles et de leur capacité à s’adapter à des usages spécifiques, loin des solutions génériques offertes par les grands modèles de langage. Le fait de pouvoir contribuer à ces solutions et les personnaliser est en effet un atout de l’open source selon 41 % d’entre eux, aux côtés de l’accélération de l’innovation (44 %).

L’enquête montre également que pour 94 % des responsables IT, s’il est crucial d’utiliser des modèles d’IA générative transparents et modifiables, ils doivent être associés à des sources explicables.

Vers une approche plus structurée du cloud

L’étude révèle aussi les défis opérationnels liés à l’adoption du cloud, notamment la gestion des équipes cloisonnées. Pour 96 % des responsables IT interrogés dans les six pays, les silos internes freinent l’adoption des technologies cloud, 53 % d’entre eux affirmant y être fréquemment confrontés, ce qui entraîne une incohérence en matière de sécurité et de conformité entre les différents fournisseurs (54 %), une hausse des coûts (47 %), et un manque de contrôle des ressources (42 %).

Pour répondre à ces défis, les entreprises doivent harmoniser leurs stratégies cloud tout en investissant dans le développement des compétences autour de l’IA et des technologies cloud-natives. Une approche structurée et cohérente du cloud, combinée à des solutions open source transparentes, pourrait ainsi aider à surmonter ces obstacles et à tirer pleinement parti de l’IA.

Pour Rémy Mandon, Country manager, France, Red Hat :

“Cette étude confirme que les priorités stratégiques des entreprises françaises s’articulent autour de trois points cardinaux : l’adoption de l’IA, l’objectif de sécurité, de conformité et de souveraineté, ainsi que le développement d’applications cloud-natives”.

Il conclut :

“Dans ce contexte, le rôle de Red Hat consiste à aider les entreprises à gérer leurs données et applications en s’appuyant sur un socle cloud hybride cohérent, à bien choisir les outils et les méthodologies qui conviennent à leur activité et, dans la mesure du possible, à combler le déficit de compétences dans ces domaines spécifiques. L’approche open source constitue une option flexible pour mettre les technologies cloud et l’IA au service des objectifs des entreprises, qui peuvent ainsi bénéficier des atouts d’une communauté de 70 millions de contributeurs”.

Avec notre partenaire dotAI, la conférence sur l’Intelligence Artificielle la plus pointue au monde. 

Prêt à participer à l’événement IA le plus brillant de l’année ?

Dans un secteur où l’innovation évolue à une vitesse fulgurante, garder une longueur d’avance n’est pas seulement un avantage, c’est une nécessité.

Que vous soyez développeur, ingénieur, data scientist, spécialiste Machine Learning, CTO ou passionné de technologie, dotAI 2024 est l’occasion d’apprendre des meilleurs ingénieurs du moment, non pas ceux qui ne font que parler du changement, mais de ceux qui le construisent réellement !

Préparez vous à deux jours d’annonces exclusives, la possibilité d’échanger avec les speakers et des rencontres avec la communauté IA dans un cadre somptueux.

Réserver votre pass >

Les temps forts à ne pas manquer : 

• La keynote de Romain Huet, Head of Developer Experience chez OpenAI. OpenAI a prévu 3 conférences pour les développeurs cette année: les Dev Day, qui auront lieu à San Francisco, Londres et Singapour. Pour Paris, ils ont choisi dotAI pour échanger avec la communauté. 
• L’annonce du Consultation Assistant de Doctolib, un projet mêlant IA et protection des données de santé. Une prouesse technique qui sera démontrée par un tech et un médecin ensemble sur scène. 
• La keynote de Pierre Stock, Research Scientist et le premier employé de Mistral AI. Retrouvez le sur le sujet pointu des Edge Agents, avec des annonces exclusives.  
• Les avancées du centre de recherche Kyutai – backé par Xavier Niel, Eric Schmidt et Rodolphe Saadé, qui ont annoncé Moshi, leur IA conversationnelle plus rapide que GPT4-o, Alexa et Siri. 
• La keynote d’Armand Joulin, Research Scientist chez Google Deepmind, ex-directeur Europe du centre de recherche FAIR de Meta. 

Et bien d‘autres à découvrir sur la line-up.

Vivez une expérience unique. 

• Apprenez des meilleurs

dotAI 2024 propose une série d’intervenants de renommée mondiale qui mènent le changement dans le développement de l’IA.

Il ne s’agit pas seulement d’universitaires ou de théoriciens ; ce sont des experts en technologie qui appliquent et construisent autour de l’IA de manière révolutionnaire !

Qu’il s’agisse de deep learning, machine learning ou de LLMs, nos intervenants couvrent l’ensemble des possibilités actuelles et futures.

Plus besoin d’aller à plusieurs événements: celui d’OpenAI, celui de Mistral AI, celui de Google: nous regroupons les acteurs majeurs en 1 seul évènement. 

• Réseautez facilement

Chez dotAI, vous serez entouré de professionnels partageant votre passion pour la technologie et l’innovation.

C’est votre chance de vous connecter avec vos pairs, vos collaborateurs potentiels et l’écosystème de l’IA dans un cadre intime qui encourage les interactions qualitatives. 

Nous savons que le réseautage n’est pas une compétence naturelle pour tout le monde, nous vous facilitons donc la tâche ! Un jeu de networking pour aider à briser la glace, un espace Speaker Lounge conçu spécifiquement pour les conversations avec les intervenants et, bien sûr, l’happy hour !

• Profitez d’un contenu sans marketing

dotAI célèbre l’Open Source, ce qui signifie que le marketing est interdit dans la salle de théâtre. Nos conférences n’ont pas de publicité déguisée et les speakers ne sont pas censés vous vendre une technologie particulière. 

Cependant, au-delà des conférences, vous pourrez échanger directement avec nos partenaires sur leurs stands. C’est là que le marketing est autorisé et que les relations commerciales prospèrent.

• Vivez une expérience haut-de-gamme

Votre expérience d’apprentissage doit être aussi agréable que instructive.

C’est pourquoi nous avons choisi un lieu premium au cœur de Paris, équipé de tout ce dont vous avez besoin pour une expérience comme au théâtre. 

Profitez de repas gastronomiques généreux, de pauses méticuleusement planifiées et de goodies exclusifs, car chez dotAI, nous pensons que les ingénieurs méritent le meilleur.

Réservez votre pass

Faites le bon choix pour votre carrière et votre entreprise

Investir dans un billet pour dotAI 2024 n’est pas seulement un investissement dans votre développement professionnel ; c’est un investissement dans l’avenir de votre entreprise.

Le paysage de l’IA évolue rapidement, et les connaissances, les compétences et les relations que vous acquerrez lors de cette conférence vous positionneront comme un leader dans votre domaine.

En amenant votre équipe, vous pouvez également amplifier ces avantages, tout en profitant de nos remises de groupe. 

Ne manquez pas ce moment clé!

Avec tant de valeur en deux jours, il n’est pas surprenant que la demande pour dotAI 2024 soit élevée. Cet événement a toujours été un des secrets les mieux gardés de la communauté tech européenne, mais la nouvelle se répand rapidement.

N’attendez pas qu’il soit trop tard : une fois que nous aurons vendu tous les billets, il n’y aura plus d’autre chance !

Réservez votre pass

Article publi-rédactionnel

Ce 19 septembre, une trentaine d’entreprises, des chercheurs et des institutions européens ont publié une lettre ouverte adressée aux régulateurs de l’UE avec un message clair : l’Europe doit harmoniser ses approches réglementaires en matière d’IA si elle veut libérer pleinement le potentiel de l’IA générative, notamment open source. Parmi les signataires figurent Mark Zuckerberg (Meta), Daniel Ek (Spotify), Yann LeCun (Meta), Christian Klein (SAP), Maurice Lévy (Publicis Groupe), Börje Ekholm (Ericsson) qui soulignent l’urgence d’une prise de décision rapide et cohérente pour garantir que l’Europe reste compétitive.

Selon la lettre ouverte, “l’Europe est devenue moins compétitive et moins innovante par rapport à d’autres régions, et elle risque maintenant de prendre encore plus de retard à l’ère de l’IA en raison de décisions réglementaires incohérentes”.

L’environnement réglementaire européen, qui a pour but de protéger les consommateurs et de garantir une concurrence équitable, a été source de tensions entre des géants technologiques comme Meta ou OpenAI et les régulateurs européens.

La loi sur les Marchés Numériques (DMA), cherche à limiter le pouvoir des grandes plateformes en ligne, en imposant des règles pour empêcher les comportements anticoncurrentiels alors que la loi sur les Services Numériques (DSA) vise à créer un espace numérique plus sûr, exigeant des plateformes en ligne une modération rigoureuse des contenus. De son côté, le règlement Général sur la Protection des Données (RGPD) impose des règles strictes sur la collecte, le traitement et le stockage des données personnelles des citoyens européens.

L’AI Act, entré en vigueur le 1er août dernier, sera quant à lui appliqué progressivement. Il établit un cadre pour l’utilisation de l’IA, notamment pour les applications à haut risque, imposant des exigences strictes en matière de transparence et de sécurité, mais selon certains, manque de clarté et d’exemption à part entière pour les modèles de fondation open source.

L’Europe à un tournant décisif

L’un des points cruciaux soulevés dans la lettre est l’absence d’une réglementation unifiée en Europe sur l’utilisation des données pour l’IA, empêchant les entreprises de développer des solutions innovantes à l’échelle locale. Les interventions récentes des autorités européennes de protection des données ont semé le trouble quant aux types de données qui peuvent être utilisés pour entraîner des modèles d’IA, ce qui freine considérablement les efforts de recherche et développement.

Les signataires avertissent que sans règles harmonisées et cohérentes, l’Europe se privera des dernières avancées technologiques dont bénéficient les États-Unis, la Chine et l’Inde, comme celles des LLMs multimodaux qui pourraient radicalement transformer des secteurs comme la santé, la science ou encore la culture, tout en contribuant à une augmentation significative du PIB mondial estimée à 10 % au cours de la prochaine décennie. Elle va également se priver d’un second élément essentiel à l’innovation en IA : “le développement de modèles “ouverts”, disponibles gratuitement pour que tout le monde puisse les utiliser, les modifier et les améliorer, multipliant ainsi les bénéfices et diffusant des opportunités sociales et économiques”.

Pour Laurent Solly, vice-président de Meta Europe du Sud :

“Les entreprises qui travaillent sur l’IA générative ont besoin de décisions harmonisées, cohérentes, rapides et claires dans le cadre de la réglementation européenne sur les données. C’est l’avenir et la place de l’Europe qui se jouent ici”.

Ce que la lettre ouverte souligne :

“L’Europe fait face à un choix qui aura un impact sur la région pendant des décennies. Elle peut choisir de réaffirmer le principe d’harmonisation inscrit dans des cadres réglementaires comme le RGPD afin que l’innovation en matière d’IA se produise ici à la même échelle et à la même vitesse qu’ailleurs. Ou bien, elle peut continuer à rejeter le progrès, trahir les ambitions du marché unique et regarder le reste du monde développer des technologies auxquelles les Européens n’auront pas accès”.

Vous pouvez retrouver la lettre ouverte et rejoindre les signataires ici.

Le 12 septembre dernier, le Campus Cyber a accueilli le lancement du projet P16, un programme stratégique visant à renforcer la souveraineté technologique de la France et de l’Europe dans le domaine de l’IA et de la science des données. Ancré dans la Stratégie Nationale pour l’Intelligence Artificielle (SNIA) et soutenu par France 2030, P16 s’inscrit comme une initiative majeure pour le développement de technologies numériques open source, en réponse aux enjeux économiques et stratégiques mondiaux.

La première phase de la SNIA a permis la création et le développement d’un réseau d’instituts interdisciplinaires d’intelligence artificielle (3IA), l’appui financier à des chaires d’excellence en IA, le financement de programmes doctoraux et le renforcement des capacités de calcul de la recherche publique avec notamment le supercalculateur Jean Zay. La seconde phase, lancée en novembre 2021, vise entre autres à renforcer et accélérer la formation à l’IA ainsi que le potentiel R&D dans les marchés émergents tels que l’IA embarquée, l’edge computing, les technologies de confiance pour l’explicabilité et la fiabilité des algorithmes.

C’est dans le cadre de cette seconde phase que le gouvernement a confié à l’Inria, l’institut national de recherche en sciences et technologies du numérique, la mission de concevoir et de pérenniser un ensemble de communs numériques souverains pour l’IA, à l’échelle nationale et européenne. Le projet P16, inscrit comme la mesure N°16 de la Stratégie d’Accélération pour l’IA, est né de cette mission.

Une ambition de souveraineté numérique

P16, financé à hauteur de 8 millions d’euros sur cinq ans, vise à développer une suite de bibliothèques logicielles open source, interopérables, couvrant l’intégralité du cycle de la donnée, qui compte trois phases principales :

• L’interopérabilité des données : leur représentation, stockage et exploitation ;
• La préparation des données : nettoyage, mesure de la qualité, enrichissement ;
• Le développement de modèles d’apprentissage pour les applications d’IA.

L’Inria, fort de son expérience dans le développement de logiciels open source pour la gestion des données, s’appuie sur le succès de la bibliothèque open source en Python scikit-learn, un outil de référence dans l’apprentissage automatique depuis 2007, auquel il a contribué. Elle servira de base au projet P16 pour développer de nouveaux composants logiciels, tout en maintenant des standards élevés en termes de qualité et d’interopérabilité.

Une dynamique de collaboration public-privé

P16 se distingue par une structuration unique réunissant le monde académique et industriel. L’Inria supervisera la recherche exploratoire et la maturation des composants logiciels, en collaboration avec des partenaires académiques français et européens dans le cadre de l’Agence de Programmes du Numérique dont il a la responsabilité depuis janvier dernier. Parallèlement, la spin-off d’Inria, Probabl, entreprise à mission de souveraineté industrielle et numérique, prendra en charge l’industrialisation et la commercialisation des outils développés.

Les premières années du projet seront dédiées à la phase de recherche et de développement, afin d’identifier et de préparer les premiers composants logiciels pour qu’ils soient opérationnels dès la phase de production.

Un appel à manifestation d’intérêt (AMI), largement ouvert sur la communauté de recherche, sera bientôt publié pour sélectionner des propositions de méthodes, algorithmes et modules qui viendront enrichir l’offre du projet.

Bruno Sportisse, Président-directeur général d’Inria, soulignant l’importance de P16, conclut :

“Dans le cadre de la Stratégie nationale d’intelligence artificielle et avec le soutien de France 2030, le Projet P16 porte une ambition d’autonomie stratégique majeure pour la France et l’Europe, dans le domaine de l’IA et de la science des données. Il s’appuie notamment sur la réussite exceptionnelle de scikit-learn, qu’il doit amplifier. Avec la montée en puissance cohérente de Probabl, fondée sur le format innovant d’une entreprise à Mission de Souveraineté Industrielle et Numérique, nous faisons le pari de l’innovation ouverte et de la collaboration public-privé pour renforcer un écosystème dont l’impact doit être mondial”. 

Probabl, l’opérateur officiel de la bibliothèque open source incontournable pour le ML, scikit-learn, annonce un tour de table de 5,5 millions d’euros, marqué par l’arrivée de nouveaux investisseurs. Cette levée de fonds intermédiaire, composée de bons de souscription convertibles, vise à préparer une future levée de fonds en actions afin de soutenir la croissance de l’entreprise tout en respectant sa mission phare : permettre à chacun de maîtriser sa science des données grâce à des outils fiables et innovants.

Créée en septembre 2023, Probabl, spin-off de l’Inria créée autour de scikit-learn, vise à  développer des outils open source pour la science des données, l’IA et le ML, et d’étendre l’infrastructure logicielle de scikit-learn. L’objectif est d’assurer que scikit-learn continue d’évoluer et de répondre aux besoins des utilisateurs dans le monde entier, en restant un pilier de la data science open source.

Un modèle d’actionnariat équilibré

Probabl a mis en place un modèle d’actionnariat reflétant son engagement en faveur de la souveraineté industrielle et numérique. L’entreprise a structuré ses parts autour de trois collèges distincts :

• Un collège public, représentant l’État français via le dispositif French Tech Souveraineté, un programme stratégique de soutien à l’innovation numérique lancé en juin 2020 dans le cadre du plan France 2030 ;
• Un collège privé, incluant des investisseurs de renom tels que Costanoa Ventures, un fonds spécialisé dans les solutions open source et l’innovation technologique;
• Un collège de contributeurs individuels, comprenant des membres clés de la communauté scikit-learn, notamment des développeurs et des experts en data science.

Des investisseurs stratégiques rejoignent l’aventure

La levée de fonds, qui inclut une participation du dispositif French Tech Souveraineté, a vu l’arrivée de nouveaux investisseurs et partenaires clé, parmi lesquels Apertu Capital et Mozilla Ventures dont le soutien s’aligne avec les valeurs de Probabl, en accord avec les principes du Manifeste de Mozilla.

Parmi les nouveaux investisseurs se trouvent également des figures respectées de la communauté scikit-learn : des contributeurs « core-dev », des data scientists, des ingénieurs de recherche renommés, ainsi que des technologues de premier plan.

Devant ce message fort de la communauté, Yann Lechelle, PDG de Probabl, souligne :

“La communauté Python est extrêmement soudée et reconnaissante envers scikit-learn, qui a redéfini les standards de la science des données. En élargissant notre cercle d’actionnaires, nous nous assurons d’être en phase avec l’écosystème pour poursuivre notre mission avec force. Nous sommes très touchés par l’enthousiasme qui a dépassé nos attentes”.

Plusieurs business angels, ainsi qu’un champion olympique, ont également participé à ce tour de table, soulignant l’attractivité de l’entreprise au-delà de la sphère technologique.

Renforcement des capacités avec l’acqui-hiring de Mnemotix

Grâce à ce financement, Probabl a pu sécuriser l’acqui-hiring (une stratégie d’acquisition d’entreprises où l’objectif principal n’est pas d’acheter les produits ou les services de l’entreprise cible, mais plutôt de recruter ses talents et son expertise) de Mnemotix, une société spécialisée dans la gestion des données complexes. Cette opération lui permet d’intégrer les talents de Mnemotix pour renforcer les compétences de Probabl en matière de ML et de traitement de données non structurées.

Nicolas Delaforge, cofondateur de Probabl et Mnemotix, déclare :

“Nous sommes ravis d’annoncer que toute l’équipe de Mnemotix rejoint Probabl. Ce faisant, nous croyons que nous aurons un impact plus fort, en atteignant un public plus large et en gagnant de nouvelles capacités de résolution de problèmes, en restant fidèles aux valeurs qui nous ont guidés depuis le début. Cela marque la prochaine étape du parcours que nous avons entamé il y a 12 ans”.

Lancement de la certification scikit-learn et nouveaux produits

Pour soutenir la communauté scikit-learn, Probabl prévoit de lancer son premier programme officiel de certification scikit-learn au quatrième trimestre 2024. Cette certification, développée par des membres clés de l’équipe scikit-learn, vise à promouvoir l’excellence en science des données et à offrir une reconnaissance des compétences dans ce domaine.

En parallèle, Probabl travaille sur un nouveau produit MVP (Produit Minimum Viable), qui verra le jour à la fin de l’année. Ce produit compagnon est conçu pour accompagner les data scientists dans la phase pré-MLOps, facilitant ainsi la préparation des données avant l’intégration des modèles de ML. Les entreprises intéressées peuvent dès maintenant rejoindre le programme de bêta-test pour explorer cette nouvelle solution.

LLocalSearch est un moteur de recherche qui fonctionne entièrement en local sur votre machine, qui utilise des agents IA pour effectuer des recherches directement sur votre ordinateur.

Le concept est simple mais diablement efficace. Lorsque vous lui posez une question, le système va enchaîner plusieurs modèles de langage pour trouver la réponse la plus pertinente. Tout le processus est transparent, vous pouvez suivre en temps réel la progression des agents et voir comment ils arrivent à la réponse finale, tout ça sans qu’aucune donnée ne soit envoyée sur des serveurs distants.

Mais il ne se contente pas d’être un simple moteur de recherche en local. Il propose également des fonctionnalités avancées comme la possibilité de poser des questions de suivi pour affiner votre requête initiale. Vous pouvez ainsi avoir un véritable dialogue avec le système pour obtenir exactement l’information dont vous avez besoin.

Un autre atout de LLocalSearch est sa capacité à fonctionner sur du matériel abordable. Pas besoin d’une machine de guerre avec des dizaines de gigaoctets de RAM et une carte graphique dernier cri. Le système est optimisé pour tourner sur des configurations modestes, comme le montre la vidéo de démo qui utilise un modèle de seulement 7 milliards de paramètres.

Côté interface, LLocalSearch mise sur la simplicité et l’efficacité. Que vous utilisiez le système sur ordinateur ou sur mobile, vous bénéficiez d’une interface épurée avec un champ de recherche central et un affichage clair des résultats, le tout avec un joli design soigné qui propose un mode clair et un mode sombre pour s’adapter à vos préférences.

De plus, il est très simple à déployer grâce à Docker. Quelques lignes de commande suffisent pour lancer le système et commencer à l’utiliser.

git clone https://github.com/nilsherzig/LLocalSearch.git
cd ./LLocalSearch
# 🔴 vérifier les variables d'environnement dans le fichier compose (et le fichier `env-example`) et les changer si nécessaire
docker-compose up 

Bien sûr, comme tout projet en phase de démarrage, LLocalSearch n’est pas exempt de bugs et de limitations. Toutes les fonctionnalités prévues ne sont pas encore implémentées et il faudra sans doute un peu de temps avant d’arriver à un système aussi complet et robuste que les moteurs de recherche en ligne que nous connaissons. Mais le potentiel est là et il ne fait aucun doute que ça va rapidement progresser grâce à une communauté open source motivée et passionnée.

En attendant, n’hésitez pas à tester cet outil et à vous faire votre propre idée.

Perplexica est un moteur de recherche gratuit et transparent, qui comprend ce que vous lui demandez et qui vous trouve pile poil ce que vous cherchez, le tout boosté à l’intelligence artificielle dernière génération. Ça vous parle, non ?

Ah bah oui c’est comme Perplexity.ai sauf que c’est gratuit, open source et que ça vous permet de fouiller le web en profondeur pour dénicher les réponses à toutes vos questions. Pour cela, l’outil utilise des algorithmes d’apprentissage automatique basés notamment sur la recherche par similarité sémantique. En gros, il est capable de piger le sens de votre question et de trouver les sources les plus pertinentes.

Comme ça, vous obtenez des réponses claires et sourcées, servies sur un plateau d’argent sans avoir besoin de passer des heures à éplucher les pages de résultats pour trouver l’info qui vous intéresse.

Pas de cookies qui vous espionnent ni de revente de données personnelles en douce et vos recherches restent confidentielles. Côté fonctionnalités, Perplexica propose plusieurs modes de recherche bien pratiques :

• Le mode Copilot (encore en développement) : il génère des requêtes pour trouver les sources Internet les plus pertinentes. Plutôt que d’utiliser uniquement le contexte fourni par SearXNG, il visite directement les meilleurs résultats pour trouver les sources les plus adaptées à votre question.
• Le mode Normal : il traite votre requête et effectue une recherche web classique.
• Les Focus Modes : des modes spécialisés pour répondre à des besoins spécifiques, comme la recherche académique, la recherche YouTube, les calculs via Wolfram Alpha ou encore la recherche Reddit pour les discussions et avis.

Et niveau technique, il utilise un meta-moteur de recherche bien fichu qui s’appelle SearXNG. C’est lui qui récupère les résultats, les trie, les recoupe, pour ne garder que la crème de la crème. L’avantage, c’est que vous avez toujours des infos à jour, sans latence. Et comme je le disais en intro, il s’appuie aussi sur des modèles de langage locaux comme Llama3 et Mixtral, via l’API Ollama ce qui lui permet d’affiner encore plus les résultats.

Et pour l’installer, c’est super simple :

1. Clonez le dépôt GitHub de Perplexica : git clone https://github.com/ItzCrazyKns/Perplexica.git
2. Renommez le fichier sample.config.toml en config.toml et remplissez les champs nécessaires (clé API, etc.)
3. Lancez la commande docker compose up -d
4. Attendez quelques minutes que l’installation se termine
5. Accédez à Perplexica via http://localhost:31337 depuis votre navigateur

Une fois que c’est en place, vous pouvez même utiliser Perplexica comme moteur de recherche par défaut dans votre navigateur. Il suffit d’aller dans les paramètres, d’ajouter un nouveau moteur de recherche avec l’URL http://localhost:31337/?q=%s et le tour est joué !

Après, forcément, c’est encore un jeune projet, donc il y a des petits trucs à peaufiner et les devs planchent notamment sur la finalisation du mode Copilot, l’ajout d’une page de paramètres, de fonctionnalités comme l’historique de recherche, et le support des modèles de langage locaux.

Mais même en l’état, je trouve que ça vaut grave le coup de tester Perplexica, ne serait-ce que pour voir à quoi peut ressembler un moteur de recherche IA à la fois éthique et transparent ^^.

Remerciement spécial à Lorenper pour l’info !

Snowflake annonce qu’il héberge et optimise la collection de LLM Llama 3.1 dans sa plateforme Snowflake Cortex AI, offrant aux entreprises un accès sécurisé et sans serveur au modèle open source le plus avancé de Meta, Llama 3.1 405B. Parallèlement, la société rend open source sa pile d’optimisation d’inférence et de fine-tuning pour les grands modèles de langage, démocratisant ainsi l’accès aux IA génératives pour les entreprises et la communauté open source.

Lancée en novembre dernier, Snowflake Cortex AI est une suite de fonctionnalités d’IA entièrement gérées, conçues pour permettre aux entreprises de créer et de déployer des applications d’IA génératives de manière sécurisée et sans serveur. Le service propose une interface de développement sans code, accessible aux utilisateurs de tous niveaux techniques. Il donne accès à des LLM de pointe, notamment ceux de Mistral AI, de Google et AI21 Labs, mais également à Snowflake Arctic, à Llama 3 (8B et 70B), aux LLM Reka-Core et désormais à la famille Llama 3.1.

Une collaboration stratégique pour l’innovation

Développée en collaboration avec des acteurs clés de l’IA, dont DeepSpeed, Hugging Face et vLLM, la pile d’optimisation de Snowflake offre des outils et des technologies pour optimiser l’inférence et le fine-tuning des LLMs de manière efficace et rentable. Cette initiative s’inscrit dans le cadre de l’engagement de Snowflake à fournir des solutions de pointe en matière d’intelligence artificielle tout en favorisant l’innovation ouverte.

Caractéristiques techniques et avantages

Optimisation de l’Inférence

• Réduction de la latence : La pile permet de réduire la latence d’inférence jusqu’à trois fois par rapport aux solutions open source existantes, offrant ainsi une performance en temps réel indispensable pour les applications critiques ;
• Augmentation du débit : Avec une amélioration du débit de 1,4 fois, les utilisateurs peuvent traiter un volume plus important de requêtes en moins de temps, optimisant ainsi l’efficacité opérationnelle.

Fine-tuning efficace

• Utilisation minimale de ressources : Le fine-tuning des modèles massifs peut désormais être réalisé en utilisant un seul nœud GPU, réduisant considérablement les coûts et la complexité.
• Support de fenêtres de contexte étendu : Avec une prise en charge des fenêtres de contexte allant jusqu’à 128K, les modèles peuvent gérer des contextes plus larges et produire des résultats plus cohérents et pertinents.

Llama 3.1 405B a ainsi été optimisé pour l’inférence en temps réel et à haut débit avec une fenêtre de contexte massive de 128K à l’aide d’un seul nœud GPU au sein de Cortex AI.

Vivek Raghunathan, VP of AI Engineering chez Snowflake, commente :

“Nous ne nous contentons pas de fournir les modèles de pointe de Meta à nos clients via Snowflake Cortex AI. Nous armons les entreprises et la communauté de l’IA avec de nouvelles recherches et un code open source supportant des fenêtres de contexte de 128K, l’inférence multi-nœuds, le parallélisme de pipeline, la quantization en virgule flottante de 8 bits, et bien plus, afin de faire progresser l’intelligence artificielle pour l’écosystème global.”

Engagement en matière de sécurité et de confiance

Snowflake a également intégré des mécanismes de sécurité avancés dans sa pile open source avec Snowflake Cortex Guard. Pour développer cette nouvelle fonctionnalité, l’entreprise a utilisé Llama Guard 2 de Meta, qui recourt à des algorithmes avancés pour détecter et filtrer automatiquement les contenus potentiellement nuisibles, offensants ou inappropriés dans les sorties des modèles de langage. Les applications d’IA construites sur cette pile sont ainsi protégées contre les contenus nuisibles.

Ryan Klapper, leader IA chez Hakkoda, assure :

“La sécurité et la confiance sont des impératifs business lorsqu’il s’agit d’exploiter l’intelligence artificielle générative, et Snowflake nous offre les garanties nécessaires pour innover et utiliser à grande échelle des grands modèles de langage de pointe. La combinaison des modèles Llama de Meta au sein de Snowflake Cortex AI nous ouvre encore plus de possibilités pour des applications internes basées sur les RAG, permettant à nos parties prenantes d’accéder à des informations précises et pertinentes”.

L’an passé, Meta dévoilait Segment Anything (SAM), un modèle de vision par ordinateur conçu pour la segmentation d’objets dans les images. SAM 2, qui étend les capacités de son prédécesseur aux vidéos, est lui aussi publié sous une licence Apache 2.0, permettant à chacun de l’utiliser pour créer ses propres expériences. Meta partage également le dataset SA-V sous une licence CC BY 4.0 et publie une démo en ligne permettant de tester le modèle en action.

La segmentation d’objets, une tâche fondamentale en vision par ordinateur consistant à identifier les pixels d’une image correspondant à un objet d’intérêt, est utilisée dans de nombreuses applications, de la retouche de photos à l’analyse de l’imagerie scientifique. SAM, publié l’année dernière, a établi un modèle de référence pour les images, SAM 2 permet désormais des expériences de segmentation en temps réel et une utilisation fluide dans les applications d’image et de vidéo.

Capacités et applications de SAM 2

SAM 2 dépasse les capacités des modèles précédents en termes de précision et de rapidité, tout en permettant la généralisation zero-shot, c’est-à-dire qu’il peut segmenter des objets dans des contenus visuels inédits sans adaptation personnalisée. Avant SAM, la création de modèles de segmentation précis pour des tâches spécifiques nécessitait généralement un travail hautement spécialisé de la part d’experts techniques ayant accès à une infrastructure d’entraînement à l’IA et à de grands volumes de données soigneusement annotées dans le domaine. Le modèle, en réduisant ces besoins, a transformé ce domaine, et SAM 2 promet d’ouvrir encore plus de possibilités.

Depuis son lancement, SAM a eu un impact significatif dans diverses disciplines, de l’application dans les sciences marines à l’analyse d’images satellites pour les secours en cas de catastrophe, en passant par la segmentation d’images médicales pour aider à détecter le cancer de la peau. SAM 2 peut être immédiatement appliqué à une large gamme de cas d’utilisation, tels que le suivi d’objets pour créer des effets vidéo ou la segmentation de cellules en mouvement dans des vidéos scientifiques.

Conformément à la vision de Mark Zuckerberg sur l’IA open source, SAM 2 pourrait considérablement augmenter la productivité, la créativité et la qualité de vie, tout en accélérant la croissance économique et les avancées scientifiques.

Développement et architecture de SAM 2

Méthodologie

Pour réussir la segmentation d’objets dans les vidéos, il est nécessaire de comprendre où se trouvent les entités dans l’espace et dans le temps. Les vidéos présentent des défis tels que le mouvement, la déformation, l’occlusion et les changements d’éclairage. SAM 2 relève ces défis en utilisant une architecture unifiée pour les images et les vidéos, ce qui introduit un mécanisme de mémoire pour rappeler les informations traitées précédemment et générer des prédictions de masques précises.

Tâche de segmentation visuelle incitative

SAM 2 prend en charge la sélection et l’affinage d’objets dans n’importe quelle image vidéo. Il est entraîné à utiliser des invites d’entrée pour définir le masque spatio-temporel (ou “masquelet”) à prédire. SAM 2 fait une prédiction immédiate du masque et le propage temporellement sur toutes les images vidéo. Ce processus peut être affiné itérativement avec des invites supplémentaires jusqu’à obtention du masquelet souhaité.

L’architecture de SAM 2 est une généralisation de SAM du domaine de l’image au domaine vidéo. Un mécanisme de mémoire composé d’un encodeur de mémoire, d’une banque de mémoire et d’un module d’attention de mémoire permet à SAM 2 de stocker des informations sur les objets segmentés et de générer des prédictions de masques tout au long de la vidéo.

Dataset SA-V

Collecte et annotations

Pour surmonter la disponibilité limitée des données annotées pour la segmentation vidéo, Meta a construit un moteur de données exploitant une configuration interactive de modèle en boucle avec des annotateurs humains. Ces derniers ont utilisé SAM 2 pour annoter des masques dans les vidéos, améliorant ainsi itérativement le modèle et l’ensemble de données.

Points forts de l’ensemble de données SA-V

• Plus de 600 000 annotations de masques sur environ 51 000 vidéos ;
• Vidéos couvrant des scénarios réels et géographiquement divers, collectées dans 47 pays ;
• Annotations incluant des objets entiers, des parties d’objets et des cas d’occlusion.

Résultats et performances

SAM 2 surpasse les approches précédentes en matière de segmentation vidéo interactive, nécessitant environ trois fois moins d’interactions humaines et offrant une précision de segmentation supérieure. Il excelle également dans les tests de segmentation d’objets vidéo existants et permet une annotation de segmentation vidéo 8,4 fois plus rapide que l’annotation manuelle par image.

Limites et perspectives

Bien que SAM 2 démontre des performances solides, des améliorations peuvent encore être apportées, il lui arrive parfois de perdre la trace d’objets ou de les confondre avec des objets similaires. Même s’il est capable de segmenter plusieurs objets individuels simultanément, son efficacité dans ce cas de figure diminue alors considérablement. Le modèle est conçu pour être interactif, permettant des interventions manuelles pour récupérer des objets cibles en cas de perte de suivi.

Pour tester le modèle, retrouver la démonstration en ligne ici.

Mistral AI ne chôme pas : après avoir dévoilé lundi dernier deux nouveaux LLM open source Codestral Mamba 7B et Mathstral 7B, il a annoncé, le vendredi suivant, Mistral NeMo 12 B, développé avec NVIDIA. Combinant l’expertise de Mistral AI en matière de données d’entraînement avec l’écosystème matériel et logiciel optimisé de NVIDIA, le modèle, également sous licence Apache 2.0, offre des performances élevées pour diverses applications, grâce à sa flexibilité.

Publié le lendemain de GPT-4o mini d’Open AI, Mistral NeMo 12B dispose lui aussi d’une fenêtre contextuelle allant jusqu’à 128 000 jetons et est également adapté pour les entreprises qui cherchent à implémenter des solutions d’IA sans avoir besoin de ressources cloud étendues.

Une collaboration Mistral AI – NVIDIA

NVIDIA a participé à la dernière levée de fonds de 600 millions d’euros de Mistral AI, ouvrant la voie à cette collaboration pour le développement de ce nouveau modèle.

S’appuyant sur une architecture transformateur standard, Mistral NeMo a été entraîné sur la plateforme d’IA NVIDIA DGX Cloud, qui offre un accès dédié et évolutif à la dernière architecture NVIDIA. NVIDIA NeMo, un framework cloud-native permettant aux développeurs de construire, personnaliser et déployer des modèles d’IA générative a été utilisé pour faire progresser et optimiser le processus ainsi que NVIDIA TensorRT-LLM, un conteneur NVIDIA NIM prédéfini qui permet aux développeurs de réduire les temps de déploiement de plusieurs semaines à quelques minutes.

Le modèle utilise le format de données FP8 pour l’inférence du modèle, ce qui réduit la taille de la mémoire et accélère le déploiement sans aucune dégradation de la précision.

S’il est publié sous licence Apache 2.0, facilitant l’adoption par la communauté de recherche et permettant aux entreprises d’intégrer Mistral NeMo dans des applications commerciales de manière transparente, il est fourni par NVIDIA sous la forme d’un microservice d’inférence NIM de la plateforme NVIDIA AI Enterprise 5.0 introduite en mars dernier lors de la GTC 2024.

Guillaume Lample, cofondateur et scientifique en chef de Mistral AI, commente :

“Nous avons la chance de collaborer avec l’équipe NVIDIA, en tirant parti de leur matériel et de leurs logiciels de premier plan. Ensemble, nous avons développé un modèle offrant une précision, une flexibilité, une efficacité élevées ainsi qu’un support et une sécurité de niveau entreprise sans précédent grâce au déploiement de NVIDIA AI Enterprise”.

Performances de pointe dans sa catégorie

Mistral NeMo se distingue par son raisonnement avancé, sa connaissance approfondie du monde et sa précision en codage. Grâce à son architecture standard, il est facile à intégrer et peut remplacer directement les systèmes utilisant le modèle Mistral 7B, assurant ainsi une transition en douceur pour les utilisateurs existants.

Il est conçu pour des applications telles que les chatbots, les tâches multilingues, le codage et la synthèse de document.

Selon les tests comparatifs de Mistral AI, il surpasse les performances de deux modèles open-source récents, Gemma 2 9B et Llama 3 8B.

Tekken : un tokenizer révolutionnaire

Mistral NeMo excelle particulièrement en anglais, français, allemand, espagnol, italien, portugais, chinois, japonais, coréen, arabe et hindi. Il utilise un nouveau tokenizer appelé Tekken, basé sur Tiktoken, qui a été entraîné sur plus de 100 langues. Tekken surpasse le tokenizer SentencePiece utilisé dans les précédents modèles Mistral en compressant le texte en langage naturel et le code source de manière plus efficace. Il est ainsi environ 30 % plus efficace pour compresser le code source et plusieurs langues majeures, et jusqu’à trois fois plus efficace pour le coréen et l’arabe.

Accès et disponibilité

Les poids de Mistral-Nemo-Base-2407 et du modèle ajusté pour les instructions Mistral-NeMo-12B-Instruct sont disponibles sur HuggingFace. Les utilisateurs peuvent essayer Mistral NeMo avec mistral-inference et l’adapter avec mistral-finetune. Le modèle est également accessible sur la Plateforme de Mistral AI sous le nom open-mistral-nemo-2407 et est empaqueté dans un conteneur NVIDIA NIM, disponible sur ai.nvidia.com.