Google a annoncé ce 5 juin le déploiement de son application mobile Gemini en France et en Europe. Les possesseurs de smartphones dotés d’au moins 2 GO de RAM, fonctionnant sous Android 10 ou une version ultérieure, peuvent la télécharger sur le Play Store ou l’activer en sollicitant Google Assistant. L’application sera intégrée progressivement pour les iphones dans l’application Google au cours des prochaines semaines.

Le 6 décembre dernier, Sundar Pichai dévoilait Gemini, un LLM doté de capacités de raisonnement multimodal qu’il présentait comme “le modèle le plus performant et le plus général que nous ayons jamais construit”. La 1ère version de la réponse de Google à GPT-4 se déclinait sous 3 tailles : Gemini Nano, Gemini Pro et Gemini Ultra. Flash 1.5, un modèle léger optimisé pour la vitesse et l’efficacité, est venu ensuite s’ajouter à la famille Gemini.

Gemini Advanced, le chatbot de Google alimenté par la version Gemini 1.5 Pro, qui présente des améliorations significatives dans la génération de code, le raisonnement logique et la compréhension de l’audio et de l’image et dont la fenêtre contextuelle peut être étendue jusqu’à 2 millions de jetons, n’est gratuit que les deux premiers mois.

L’application Gemini, qui se présente sous la forme d’une interface à l’instar de ChatGPT, est totalement gratuite. Il est possible d’interagir avec elle en France à partir de texte, de vocaux et d’images car Gemini Nano, le modèle utilisé sur Android, a été mis à jour et peut désormais traiter ces entrées multimodales, comme l’a annoncé Google lors de sa conférence annuelle pour les développeurs Google I/O 2024 le mois dernier.

On peut lui demander de résumer des textes, de générer des contenus créatifs comme des poèmes ou tout simplement des e-mails, des informations d’après une photo, de l’aide pour une idée de repas, pour préparer un entretien d’embauche…

L’entreprise explique sur son site :

“Sur Android, vous pouvez choisir d’utiliser Gemini comme assistant sur mobile si l’appli Google est définie comme application d’assistance par défaut sur votre téléphone. Gemini continue d’apprendre. Si vous le choisissez comme assistant sur mobile principal, il reçoit donc de l’aide de la part de l’Assistant Google pour certaines choses. Certaines actions ne fonctionneront pas dans l’immédiat, mais nous faisons le nécessaire pour en proposer davantage prochainement”.

Ainsi, les podcasts, les actualités, les stations de radio et les services musicaux tiers ne sont pas disponibles dans Gemini. Il n’est pas possible de démarrer une routine (allumer la lumière, régler les thermostats), Google conseille pour ces utilisations spécifiques de rebasculer vers Google Assistant tout comme pour le mode interprète.

La société travaille à intégrer de nouvelles fonctionnalités à Gemini qui pourrait bien remplacer son assistant Google lancé en 2016, tout comme Gemini a remplacé Bard. Il est possible d’essayer l’application ici.

Après avoir dévoilé le chatbot Grok, le 1er produit développé par xAI, en novembre 2023, publié les les poids du modèle de fondation qui l’alimente, Grok-1, ainsi que son architecture le 17 mars dernier, Elon Musk et sa start-up annoncent Grok-1.5. Cette dernière version sera disponible pour de premiers testeurs et les utilisateurs existants de Grok sur la plateforme X dans les prochains jours.

La construction de Grok-1 avait nécessité une infrastructure solide, basée sur Kubernetes, Rust et JAX, pour assurer l’entraînement et l’inférence du modèle à grande échelle.

Le processus d’entraînement d’un modèle de langage nécessite une synchronisation complexe sur des milliers de GPU pendant des mois, ce qui avait été géré grâce à des systèmes distribués personnalisés. L’efficacité énergétique étant un objectif majeur,  l’infrastructure avait été conçue pour minimiser les temps d’arrêt et maintenir un taux d’utilisation élevé des ressources de calcul.

L’utilisation de Rust a été cruciale pour garantir la fiabilité de l’infrastructure, ce qui était essentiel compte tenu de la petite taille de l’équipe de xAI. Rust offre des performances élevées, un écosystème riche, et minimise les erreurs potentielles.

Grok 1,5 est construit sur le même cadre d’entraînement. Si son prédécesseur compte 314 milliards de paramètres, xAI n’a pas précisé sa taille. Un des changements notables est la gestion d’une fenêtre contextuelle de 128 000 jetons alors que la version précédente n’en acceptait que 8 000. Cette capacité de mémoire étendue lui permet d’utiliser des informations provenant de documents beaucoup plus longs.

Des capacités de raisonnement avancées

Les performances de Grok 1 ont été particulièrement améliorées dans les tâches liées au codage et aux mathématiques. Lors des tests réalisés par xAI, Grok-1.5 a obtenu un score de 50,6 % sur le benchmark MATH et un score de 90 % sur le benchmark GSM8K, deux benchmarks mathématiques couvrant un large éventail de problèmes de compétition de l’école primaire au lycée. Sur GSM8K, il a surpassé Mistral Large et Claude 2 en 8 shots.

Sur le benchmark MMLU (Massive Multitask Language Understanding) qui utilise une combinaison de 57 matières telles que les mathématiques, la physique, l’histoire, le droit, la médecine et l’éthique pour tester à la fois les connaissances du monde et les capacités de résolution de problèmes, il les a également surpassés en 5 shots ainsi que Claude 3 Sonnet. Sur le benchmark HumanEval, qui évalue les capacités de génération de code et de résolution de problèmes, où il a obtenu un score de 74,1 %, il a surpassé les 3 modèles ainsi que Gemini Pro 1,5 et GPT-4 sans essai préalable (zéro shot).

xAI annonce qu’elle apportera de nouvelles fonctionnalités au modèle ces prochains jours et, de son côté, Elon Musk promet sur X un Grok 2 qui dépassera toutes les attentes.

NVIDIA lance Chat with RTX, une application qui permet de configurer un chatbot d’IA et de l’exécuter sur un PC local sous Windows 11. Connecté au contenu de l’utilisateur (documents, notes, vidéos ou autres données), celui-ci génère rapidement des réponses fiables et totalement sécurisées puisque connexion internet ou serveur cloud ne sont pas requis.

Pour générer ses réponses, le chatbot est basé sur un LLM : il est possible de choisir entre les modèles open source Mistral 7B de Mistral AI et LLama 2 13B de Meta.

Chat With RTX prend en charge une grande variété de formats de fichiers (incluant .txt, .PDF, .doc/docx et .XML). Pour charger automatiquement ces fichiers dans la bibliothèque de l’application, il suffit de pointer le dossier contenant les fichiers.

Les utilisateurs peuvent également inclure des informations provenant de vidéos et de listes de lecture YouTube. Lorsqu’ils fournissent l’URL d’une playlist YouTube, l’application charge automatiquement les transcriptions associées aux vidéos correspondantes. Ils peuvent par exemple demander des recommandations de voyage basées sur le contenu de vidéos ou obtenir des tutoriels éducatifs.

La génération augmentée de récupération (RAG) améliore la qualité et la pertinence des réponses du LLM choisi. Cette approche combine les capacités de génération de texte d’un modèle de langage pré-entraîné avec la récupération d’informations pertinentes à partir des données fournies. Cela permet au chatbot d’offrir des réponses contextuellement adaptées et précises.

Chat with RTX est conçu pour fonctionner sur un PC sous Windows 11, équipé d’un GPU NVIDIA GeForce RTX 30 ou 40 ou d’un GPU NVIDIA RTX Ampere ou Ada avec au moins 8 Go de mémoire vidéo (VRAM). Il tire parti de TensorRT-LLM, un logiciel open source qui augmente les performances d’inférence de l’IA.

Un minimum de mémoire vive (RAM) de 16 Go est nécessaire ainsi que la version 535.11 ou supérieure des pilotes de la carte graphique.

Chat with RTX est présenté comme une application de démonstration, NVIDIA attend les premiers retours pour améliorer cette première version.

L’application a été créée à partir du projet de référence pour les développeurs TensorRT-LLM RAG, disponible sur GitHub. Les développeurs peuvent utiliser le projet de référence pour développer et déployer leurs propres applications basées sur RAG pour RTX, accélérées par TensorRT-LLM.

La démo de Chat with RTX peut être téléchargée ici.