Mistral AI, la licorne française, a annoncé mardi dernier de nouvelles fonctionnalités en version beta pour son assistant conversationnel gratuit “Le Chat” et Pixtral Large, le modèle multimodal qu’il exploite pour analyser des contenus complexes. Le Chat s’impose désormais comme un solide concurrent face à ChatGPT, Perplexity ou Claude.

Avec ses nouvelles fonctionnalités, Le Chat gagne en puissance et en flexibilité. Tout comme ses concurrents cités plus haut, il intègre désormais une fonctionnalité de recherche web avec citations ce qui permet à ses utilisateurs d’avoir accès à des informations actualisées et de les vérifier.

Canvas pour la création de contenus et l’édition en temps réel

Comme les Canvas de ChatGPT ou les Artefacts de Claude, cette nouvelle fonctionnalité exploite les capacités de raisonnement des LLMs de Mistral AI pour faciliter l’édition et la gestion de versions. Elle se présente sous la forme d’une interface intuitive où l’utilisateur peut créer entre autres des documents, des présentations, du code, des maquettes, et modifier ou éditer ces contenus selon ses besoins.

Analyse avancée de documents

Pixtral Large est un modèle multimodal de 124 milliards de paramètres à poids ouverts, construit sur la base de Mistral Large 2. Il démontre une compréhension de pointe des images tout en maintenant la compréhension textuelle avancée de Mistral Large 2.

Grâce à Pixtral Large, le Chat peut désormais analyser des documents complexes, qu’il s’agisse de tableaux, formules ou graphiques, et en fournir des résumés et des analyses précises.

Dans la vidéo ci-dessous, Mistral AI montre l’extraction d’informations, la synthèse et la compréhension sémantique du célèbre article sur l’intrication quantique de 1935, rédigé par Einstein, Podolsky et Rosen.

Génération d’images

Pour cette fonctionnalité, Mistral AI a collaboré avec la jeune start-up allemande Black Forest Labs, lancée en août dernier en même temps que FLUX-1, sa famille de modèles d’IA text-to-image. Elle est alimentée par Flux Pro, la version la plus performante, conçue pour offrir des images de qualité supérieure.

Agents personnalisés

Les workflows récurrents ou les tâches spécifiques peuvent être codifiés sous forme d’agents, facilitant par exemple l’analyse de reçus ou la synthèse de réunions. Ces agents peuvent être partagés et améliorés au sein des équipes.

Le Chat est accessible ici après inscription.

La semaine dernière, Bloomberg révélait qu’Apple avait racheté en début d’année DarwinAI, une startup canadienne spécialisée dans la computer vision. Son produit phare, une plateforme baptisée GenSynth, permet de générer des modèles allégés à partir de réseaux neuronaux. Un domaine dans lequel Apple comble peu à peu son retard puisqu’après Ferret, MM1 a lui aussi été présenté dans un article de recherche sur arXiv, le 14 mars dernier.

Basée à Waterloo, au Canada, DarwinAI a été cofondée en 2017 par quatre diplômés en génie de l’Université de Waterloo, Alexander Wong, Sheldon Fernandez, Mohammad Shafiee et Arif Virani. Cherchant à améliorer l’efficacité de la production d’assemblages de circuits imprimés pour l’industrie de la fabrication électronique, elle a développé GenSynth, une solution d’inspection visuelle de la qualité alimentée par l’IA.

La plateforme s’appuie sur le machine learning pour comprendre l’architecture des réseaux neuronaux. L’IA génère ensuite de nouveaux réseaux neuronaux fonctionnellement équivalents mais plus petits et plus rapides.

Cette technologie brevetée découle d’années de recherche (+600 articles de recherche et prix) dirigées par l’un des cofondateurs de la start-up, Alexander Wong, aujourd’hui titulaire de la Chaire de recherche du Canada dans le domaine de l’IA et professeur à l’Université de Waterloo. Il a d’ailleurs déjà rejoint, tout comme certains de ses collaborateurs, les rangs de la division IA d’Apple.

Sheldon Fernandez, PDG et cofondateur de DarwinAI, explique :

“Nous pouvons permettre l’IA à la périphérie pour les appareils mobiles et les clients qui ont besoin de mettre de puissants réseaux neuronaux dans les voitures, les montres, les avions et d’autres domaines”.

Apple a confirmé l’acquisition, mais comme à son habitude, n’a pas voulu donner plus de détails. Elle devrait permettre à la société qui, selon son PDG Tim Cook, mise sur cette année sur l’IA générative, de l’aider à apporter de nouvelles fonctionnalités d’IA à ses smartphones, son assistant Siri… Cependant, Apple, consciente du retard pris, serait, selon le journaliste Mark Gurman de Bloomberg, en pourparlers avec Google afin d’intégrer Gemini dans le cadre de la mise à jour d’iOS 18.

Le modèle multimodal MM1

Dans leur article de recherche intitulé “MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training”, les chercheurs d’Apple présentent leur approche pour développer des modèles multimodaux performants mais également plus flexibles.

Leur démarche visait à étudier l’importance de différents composants architecturaux et du choix de données. Pour ce faire, ils ont réalisé des ablations exhaustives de l’encodeur d’image, du connecteur langage-vision et de divers choix de données de pré-entraînement.

Ils ont ainsi démontré que pour le pré-entraînement multimodal à grande échelle, l’utilisation d’un mélange judicieux de données image-légende, d’images et de texte entrelacés, ainsi que de données texte seulement, était cruciale pour obtenir des résultats de pointe en apprentissage à partir de peu d’exemples (few-shot) sur plusieurs référentiels, comparés à d’autres résultats de pré-entraînement précédemment publiés.

De plus, ils ont constaté que l’encodeur d’image, conjointement avec la résolution de l’image et le nombre de jetons d’image, avait un impact substantiel, tandis que la conception du connecteur vision-langage était d’une importance relativement négligeable.

En extrapolant leurs résultats, les chercheurs ont développé MM1, une famille de modèles multimodaux allant jusqu’à 30 milliards de paramètres. Elle comprend à la fois des modèles denses et des variantes de mélange d’experts (MoE), qui se sont avérés être les meilleurs modèles dans les mesures de pré-entraînement et ont atteint des performances compétitives après un affinement supervisé (SFT) sur une gamme de référentiels multimodaux établis.

Pour l’affinement supervisé, les chercheurs ont collecté environ 1 million d’exemples SFT à partir d’un ensemble diversifié de jeux de données. Celui-ci comprenait notamment des paires d’instructions-réponses générées par GPT-4 et GPT-4V, LLaVA-Conv et LLaVA-Complex pour les conversations et le raisonnement complexe, ainsi que ShareGPT-4V pour des descriptions d’images détaillées, des ensembles de données vision-langage académiques et des données SFT uniquement textuelles. Les différents ensembles ont été mélangés et échantillonnés de manière aléatoire pendant l’entraînement.

Les modèles obtenus MM1-3B-Chat, MM1-7B-Chat et MM1-30-B ont affiché de solides performances tout comme les modèles utilisant un cadre MoE, 3B-MoE et 6B-MoE.

Pour les chercheurs d’Apple, “Grâce à une pré-formation à grande échelle, MM1 bénéficie de propriétés attrayantes telles qu’un apprentissage amélioré en contexte et un raisonnement multi-images, permettant une chaîne de pensée en quelques étapes”