En juin dernier, Anthropic lançait Claude 3.5 Sonnet, la première version de sa famille de modèles Claude 3.5. Mardi dernier, l’entreprise a présenté les améliorations apportées à ce modèle, notamment en matière de codage, et son dernier ajout à la famille : Claude 3.5 Haiku, un modèle qui égale les performances de Claude 3 Opus, son modèle le plus puissant. Elle a également introduit Computer Use, une fonctionnalité expérimentale d’interaction avec les ordinateurs qui fait, selon elle, de Claude 3.5 Sonnet “le premier modèle d’IA de pointe à offrir une utilisation informatique en version bêta publique”.

Cette fonctionnalité d’utilisation de l’ordinateur, disponible en version bêta, permet aux développeurs de demander au modèle d’interagir avec des interfaces graphiques en simulant les actions humaines, telles que déplacer le curseur ou cliquer sur un bouton.

Claude traduit ainsi les instructions comme “utiliser les données de mon ordinateur et les données en ligne pour remplir ce formulaire” en commandes informatiques : “vérifier une feuille de calcul, déplacer le curseur pour ouvrir un navigateur Web, naviguer vers les pages Web pertinentes, remplir un formulaire avec les données de ces pages…”.

Anthropic explique :

“Lorsqu’un développeur charge Claude d’utiliser un logiciel informatique et lui donne l’accès nécessaire, Claude regarde des captures d’écran de ce qui est visible par l’utilisateur, puis compte le nombre de pixels verticalement ou horizontalement dont il a besoin pour déplacer un curseur afin de cliquer au bon endroit. Il était essentiel d’apprendre à Claude à compter les pixels avec précision. Sans cette compétence, le modèle a du mal à donner des commandes à la souris, de la même manière que les modèles ont souvent du mal à répondre à des questions simples telles que « combien de A dans le mot « banane » ?”

Des entreprises comme Asana, Canva, Cognition, DoorDash, Replit et The Browser Company, exploitent déjà cette capacité pour automatiser des processus complexes qui peuvent nécessiter des dizaines, voire des centaines d’étapes.

Sur OSWorld, qui évalue la capacité des modèles d’IA à utiliser les ordinateurs comme le font les humains, Claude 3.5 Sonnet a obtenu un score de 14,9 % dans la catégorie des captures d’écran uniquement, ce qui est nettement mieux que le score de 7,8 % du meilleur système d’IA. Lorsqu’on lui a donné plus d’étapes pour accomplir la tâche, Claude a obtenu un score de 22,0 %.

Les développeurs peuvent l’essayer via l’API d’Anthropic, Amazon Bedrock et la plateforme Vertex AI de Google Cloud. Anthropic avertit toutefois qu’à ce stade expérimental, le modèle peut être sujet aux erreurs et recommande de ne pas lui donner accès à des données sensibles. L’entreprise a fait le choix de le publier pour recueillir leurs commentaires.

Claude 3.5 Sonnet : des gains en codage et en usage d’outils

Le modèle Claude 3.5 Sonnet montre des améliorations notables par rapport à ses versions précédentes, notamment dans des domaines critiques tels que le codage et l’utilisation d’outils. Selon les benchmarks de l’industrie, Sonnet a amélioré son score sur SWE-bench Verified, un test évaluant les capacités de codage agentique, passant de 33,4 % à 49 %. Cette progression est également visible sur TAU-bench, un benchmark évaluant l’utilisation d’outils en situation réelle, où Sonnet a amélioré ses performances dans les secteurs de la vente au détail et de l’aviation.

Des entreprises comme GitLab et The Browser Company, qui ont testé Sonnet pour des tâches complexes de développement logiciel et d’automatisation de processus web, ont signalé une meilleure capacité à suivre des instructions et à résoudre des problèmes sans augmenter les délais d’exécution.

Claude 3.5 Haiku : rapidité et performance

Claude 3.5 Haiku, de son côté, se positionne comme un modèle plus rapide, tout en offrant des performances similaires à celles de Claude 3 Opus, un modèle plus volumineux de la génération précédente. Il est particulièrement efficace pour les tâches nécessitant une génération rapide de texte, ainsi que pour l’analyse et l’exploitation de grandes bases de données. Haiku se distingue par sa faible latence et son coût maîtrisé, en faisant un choix adapté pour des produits interactifs ou des tâches spécialisées à grande échelle.

En mars dernier, Anthropic annonçait la dernière itération de sa famille de modèles d’IA générative Claude, se déclinant sous trois versions : Claude 3 Haiku, Claude 3 Sonnet et Claude 3 Opus, par ordre de performances. Elle lance à présent Claude 3.5 Sonnet, “sa première version de la prochaine famille de modèles Claude 3.5”. Claude 3.5 Sonnet surpasse les modèles concurrents, dont le modèle phare d’OpenAI, GPT-4o, et Claude 3 Opus sur un large éventail d’évaluations.

Claude 3.5 Sonnet est désormais disponible gratuitement sur Claude.ai et via l’application iOS Claude, il est également accessible via l’API Anthropic, Amazon Bedrock, et Google Cloud’s Vertex AI. Les abonnés aux offres Claude Pro et Team bénéficient de limites de débit plus élevées. La tarification est fixée à 3 $ par million de jetons d’entrée et 15 $ par million de jetons de sortie, avec une capacité de fenêtre contextuelle de 200 000 jetons.

Performances et intelligence avancées

Selon Anthropic:

“Claude 3.5 Sonnet montre une nette amélioration de la compréhension des nuances, de l’humour et des instructions complexes, et est exceptionnel pour écrire un contenu de haute qualité avec un ton naturel et pertinent”.

Anthropic a comparé ses performances à celles de Claude 3 Opus, jusqu’alors son modèle le plus puissant, ainsi qu’à GPT-4o, Gemini 1.5 Pro de Google et à Llama-400b de Meta. Comme on peut le voir dans le tableau ci-dessous, Claude 3.5 Sonnet établit de nouvelles références pour le raisonnement de niveau supérieur (GPQA), les connaissances universitaires (MMLU) et la maîtrise du codage (HumanEval).

De plus, il fonctionne deux fois plus vite que Claude 3 Opus, ce qui le rend idéal pour des tâches complexes comme le support client contextuel et l’orchestration de flux de travail en plusieurs étapes.

Codage et résolution de problèmes

Lors d’une évaluation interne de codage, Claude 3.5 Sonnet a résolu 64 % des problèmes, surpassant Claude 3 Opus qui en a résolu 38 %. Cette évaluation teste la capacité du modèle à corriger des bogues ou à ajouter des fonctionnalités à une base de code open source à partir d’une description en langage naturel. Claude 3.5 Sonnet peut écrire, éditer et exécuter du code de manière indépendante avec des capacités de raisonnement sophistiquées, gérant aisément les traductions de code, ce qui le rend particulièrement efficace pour la mise à jour des applications existantes et la migration des bases de code.

Vision avancée

Claude 3.5 Sonnet a également surpassé Claude 3 Opus sur les benchmarks de vision standard. Les améliorations sont particulièrement visibles dans les tâches nécessitant un raisonnement visuel, comme l’interprétation de tableaux et de graphiques. Il peut également transcrire avec précision du texte à partir d’images imparfaites, une capacité essentielle pour des secteurs comme le commerce de détail, la logistique et les services financiers.

Introduction des Artefacts

En marge du lancement de Claude 3.5 Sonnet, Anthropic annonce les Artefacts sur Claude.ai, une nouvelle fonctionnalité qui transforme l’interaction des utilisateurs avec Claude. Désormais, lorsque les utilisateurs sollicitent Claude pour la création de contenus tels que des morceaux de code, des fichiers texte ou des maquettes de sites web, ces éléments sont générés dans un volet spécial, juste à côté de leur dialogue en cours. Cet ajout offre un environnement de travail interactif où les utilisateurs peuvent non seulement visualiser mais aussi éditer et enrichir les productions de Claude en direct, ce qui leur permet d’intégrer de manière fluide le contenu généré par l’IA dans leurs projets.

Nouvelles fonctionnalités et perspectives

Anthropic déclare vouloir “améliorer la courbe de compromis entre intelligence, vitesse et coût tous les quelques mois”, Claude 3.5 Haiku et Claude 3.5 Opus qui seront lancés plus tard cette année devraient afficher eux aussi des performances nettement améliorées par rapport à leurs prédécesseurs. La start-up travaille parallèlement au développement de nouvelles fonctionnalités, notamment à celui de “Memory”, qui permettra à Claude de se souvenir des préférences des utilisateurs et de l’historique des interactions, rendant l’expérience encore plus personnalisée et efficace.