Google a annoncé ce mercredi 11 décembre le lancement de Gemini 2.0 Flash, le premier modèle de la famille Gemini 2, conçue selon lui pour l’ère agentique. Ce modèle est d’ores et déjà disponible en tant que modèle expérimental pour les développeurs et les testeurs de confiance via l’API Gemini dans Google AI Studio et Vertex AI. Sa disponibilité générale est prévue pour janvier 2025.

Google a présenté Gemini il y a tout juste un an, Gemini 1.5 Flash a, quant à lui été dévoilé en mai dernier lors de la conférence Google I/O 2024. Optimisé pour la vitesse et l’efficacité, il a été entraîné par 1.5 Pro grâce à un processus appelé “distillation”, où les connaissances et les compétences les plus essentielles d’un modèle plus grand sont transférées vers un modèle plus petit et plus efficace.

Les performances du modèle ont été améliorées en matière de multimodalité, de texte, de code, de vidéo, de compréhension spatiale et de raisonnement tandis que la latence a été réduite. Flash 2.0 prend en charge les entrées multimodales comme les images, la vidéo et l’audio ainsi que les sorties multimodales, telles que la génération d’images combinées avec du texte et de l’audio multilingue TTS (Text-to-Speech). Il permet également l’intégration native d’outils tels que Google Search, l’exécution de code et des fonctions tierces définies par l’utilisateur.

L’équipe de recherche Gemini a comparé les performances du nouveau modèle avec celles de Gemini 1.5 Flash et Pro. Il surpasse même 1.5 Pro sur les principaux benchmarks, tout en étant deux fois plus rapide.

Projets de recherche

Google a également partagé plusieurs projets illustrant sa vision d’assistants d’IA universels, utiles au quotidien. Ces prototypes cherchent à transformer l’IA en des agents polyvalents, capables de comprendre le contexte d’une situation, de planifier des actions et d’effectuer des tâches à la place des utilisateurs, tout en interagissant de manière transparente avec d’autres systèmes.

Project Astra, présenté en mai dernier, a ainsi été mis à jour grâce aux capacités multimodales de Gemini 2.0. Ce prototype montre comment un assistant IA peut interagir dans des conversations multilingues, se souvenir de sessions passées et utiliser des outils comme Google Maps ou Lens.

Project Mariner, de son côté, explore la possibilité pour des agents IA d’assister l’utilisateur dans la navigation sur le web en analysant des éléments de page et en effectuant des actions spécifiques dans le navigateur.

Enfin, Jules, un agent de code alimenté par l’IA, assiste les développeurs. Il s’intègre dans leurs flux de travail GitHub pour gérer les corrections de bogues et autres tâches chronophages.

OpenAI a récemment dévoilé Swarm, un framework expérimental open source conçu pour orchestrer des systèmes multi-agents. Il fournit aux développeurs un schéma pour créer des réseaux d’agents d’IA interconnectés qui peuvent communiquer et collaborer afin de gérer des tâches complexes de manière autonome.

Swarm est une illustration de la façon dont les concepts de “routines”, des séquences d’actions prédéfinies que les agents suivent pour accomplir des tâches spécifiques, et de  transferts, qui permettent à un agent de déléguer une tâche à un autre agent, peuvent être utilisés pour orchestrer plusieurs agents de manière simple et contrôlable.

Le framework repose sur l’idée que plusieurs agents, chacun avec des capacités uniques, peuvent améliorer la qualité et la rapidité des réponses ou actions dans un environnement dynamique. Par exemple, un agent peut se spécialiser dans la compréhension des instructions, tandis qu’un autre pourrait exceller dans l’analyse des données…

Swarm est construit autour de deux abstractions primitives :

• Agents autonomes : Chaque agent est un module indépendant capable d’exécuter des tâches spécifiques, avec des instructions et des fonctions définies. Un agent peut soit gérer une tâche donnée, soit déléguer ou transférer la responsabilité à un autre agent plus qualifié ;
• Transferts dynamiques : Ce concept est central dans Swarm. Lorsqu’un agent atteint ses limites, il peut transférer la conversation ou la tâche à un autre agent. Cela permet de maintenir la fluidité des opérations, sans qu’un agent soit surchargé ou dépassé par des requêtes trop complexes.

Les agents dans Swarm peuvent accéder à un contexte partagé, leur permettant de se tenir informés des actions précédentes ou des données disponibles et ainsi collaborer plus efficacement en ayant une vue d’ensemble des opérations en cours.

Exemples d’utilisation

Swarm propose déjà plusieurs exemples pratiques dans sa documentation, comme un scénario de service client, où un premier agent gère la question initiale d’un utilisateur et, si la requête devient plus technique, transfère la conversation à un autre agent spécialisé  dans la vente ou le remboursement.

OpenAI le présente comme une ressource éducative pour les développeurs curieux d’en savoir plus sur l’orchestration multi-agents. Contrairement à l’API Assistants d’OpenAI,  davantage conçue pour des flux de travail entièrement hébergés, Swarm s’exécute principalement sur le client, réduisant ainsi les besoins en infrastructure côté serveur et donnant aux développeurs le contrôle et la visibilité sur les interactions des agents. Son interface est similaire à celle de l’API de complétion de chat d’OpenAI, chaque interaction est exécutée individuellement, sans conserver un historique persistant.

OpenAI l’a rendu public sous la licence MIT, qui offre une grande flexibilité aux développeurs tout en offrant une protection minimale à ses concepteurs, rappelant que :

“Swarm est actuellement un framework d’échantillonnage expérimental destiné à explorer les interfaces ergonomiques pour les systèmes multi-agents. Il n’est pas destiné à être utilisé en production et ne bénéficie donc d’aucun soutien officiel. (Cela signifie également que nous n’examinerons pas les RP ou les problèmes !)

L’objectif principal de Swarm est de présenter les modèles de transfert et de routines explorés dans le livre de recettes Agents d’orchestration : transferts et routines. Il ne s’agit pas d’une bibliothèque autonome, mais principalement à des fins éducatives”.

Perspectives futures

Des développeurs utilisent déjà le framework dans le cadre de leur projet “Hierarchical Autonomous Agent Swarms (HAAS) visant à créer un écosystème d’agents d’IA autonomes et éthiquement gouvernés.

Alors que les applications commerciales potentielles de Swarm sont nombreuses (support client, analyses de marché, stratégies marketing…), le niveau d’automatisation introduit par les systèmes multi-agents soulèvent des préoccupations quant à leur impact sur l’emploi et le rôle de l’humain dans la prise de décision.

LLocalSearch est un moteur de recherche qui fonctionne entièrement en local sur votre machine, qui utilise des agents IA pour effectuer des recherches directement sur votre ordinateur.

Le concept est simple mais diablement efficace. Lorsque vous lui posez une question, le système va enchaîner plusieurs modèles de langage pour trouver la réponse la plus pertinente. Tout le processus est transparent, vous pouvez suivre en temps réel la progression des agents et voir comment ils arrivent à la réponse finale, tout ça sans qu’aucune donnée ne soit envoyée sur des serveurs distants.

Mais il ne se contente pas d’être un simple moteur de recherche en local. Il propose également des fonctionnalités avancées comme la possibilité de poser des questions de suivi pour affiner votre requête initiale. Vous pouvez ainsi avoir un véritable dialogue avec le système pour obtenir exactement l’information dont vous avez besoin.

Un autre atout de LLocalSearch est sa capacité à fonctionner sur du matériel abordable. Pas besoin d’une machine de guerre avec des dizaines de gigaoctets de RAM et une carte graphique dernier cri. Le système est optimisé pour tourner sur des configurations modestes, comme le montre la vidéo de démo qui utilise un modèle de seulement 7 milliards de paramètres.

Côté interface, LLocalSearch mise sur la simplicité et l’efficacité. Que vous utilisiez le système sur ordinateur ou sur mobile, vous bénéficiez d’une interface épurée avec un champ de recherche central et un affichage clair des résultats, le tout avec un joli design soigné qui propose un mode clair et un mode sombre pour s’adapter à vos préférences.

De plus, il est très simple à déployer grâce à Docker. Quelques lignes de commande suffisent pour lancer le système et commencer à l’utiliser.

git clone https://github.com/nilsherzig/LLocalSearch.git
cd ./LLocalSearch
# 🔴 vérifier les variables d'environnement dans le fichier compose (et le fichier `env-example`) et les changer si nécessaire
docker-compose up 

Bien sûr, comme tout projet en phase de démarrage, LLocalSearch n’est pas exempt de bugs et de limitations. Toutes les fonctionnalités prévues ne sont pas encore implémentées et il faudra sans doute un peu de temps avant d’arriver à un système aussi complet et robuste que les moteurs de recherche en ligne que nous connaissons. Mais le potentiel est là et il ne fait aucun doute que ça va rapidement progresser grâce à une communauté open source motivée et passionnée.

En attendant, n’hésitez pas à tester cet outil et à vous faire votre propre idée.