❌

Vue lecture

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.

SkillEvaluator - Vos skills IA ont peut-être un YAML pété ?

Avant toutes choses, veuillez pardonner mon absence de ces derniers jours car j'étais en déplacement au Cambodge (l'article arrive bientôt). Me voici donc de retour sur le sol français et pendant que j'attends mon train, je me suis dit que ce serait rigolo de tester SkillEvaluator, un nouvel outil open source (Apache 2.0) que NVIDIA a présenté en août et qui permet de contrôler les skills des agents IA.

Alors si l'IA c'est pas votre truc, je vous explique rapidos ce que sont des skills. En anglais, ça veut dire "compétences" et ce sont ni plus ni moins que des dossiers contenant des instructions que Claude Code ou Codex vont chercher quand une tâche s'y prête.

Le premier contrôle effectué par SkillEvaluator est donc statique. Il contrôle la structure, la qualité, et bien sûr la sécurité de vos skills. Ensuite, deux autres cherchent les doublons, puis lancent un vrai agent dans une sandbox Docker, une fois avec le skill et une fois sans, pour mesurer ce que ça change et vérifier que tout est bien OK. Et ces deux-là demandent un accès à un modèle, plus Docker pour le dernier.

Dans SkillEvaluator il y a surtout un harness-check, qui prédit en une seconde, sans clé API Nvidia et sans avoir à lancer d'agent, si Claude Code, Codex, Copilot CLI, Hermes, OpenClaw et OpenCode vont charger correctement vos skills. Mais pour ma part, j'ai surtout passé mes propres skills dans l'outil "quality-check" et voici ce que ça donne...

Tout d'abord Côté quality-check, tout passe nickel !

quality-check sur mes douze skills

Faut dire que j'avais bien bossé en amont, donc oui, il n'a rien trouvé de très problématique. Toutefois dans certains de mes skills, leur description contenait un deux-points suivi d'une espace (en gros ça faisait "relecture : là"), sans guillemets, et malheureusement un parseur YAML strict refuse ça, du coup le fichier ne passe pas. J'ai donc mis ça entre des guillemets droits et c'est bien passé. Voici comment ça s'installe et ça s'utilise et comme vous pouvez le voir, pas de LLM ici :

pip install skillevaluator
skillevaluator tier1 ./mon-skill --no-llm --checks schema,quality

Le contrôle de schéma échoue sur le YAML

De son côté, la commande harness-check m'annonçait que Codex ne chargerait pas ce skill cassé, alors que PAS DU TOUT. Mon Codex l'a chargé parfaitement... Mais une fois encore, ce sont des prédictions, donc ces notes, c'est quand même à relativiser.

Pour les deux autres étages c'est beaucoup plus intéressant vous allez voir. Là, il vous faudra une clé chez un fournisseur de modèles (j'ai pris NVIDIA Build) et un Docker fonctionnel (que j'ai installé avec Colima mon Mac) :

pip install "skillevaluator[all]"
export SKILL_EVAL_LLM_PROVIDER=nv_build
export NVIDIA_API_KEY='nvapi-...'
skillevaluator doctor --env-mode docker

Et là, l'analyse a réussi à me repérer un chemin user (/Users/korben/) oublié dans un de mes skills, ainsi que 6 paires de skills qui se ressemblaient trop. Et ça c'est un problème parce qu'à cause de ça, l'agent IA qui utilise ces skills hésite entre l'un ou l'autre.

Mais le plus intéressant, c'est l'agent OpenCode qui ensuite teste une dizaine de fois vos skills dans Docker, avec ou sans ses modifs pour évaluer la qualité des réponses AVEC ou SANS le skill. Ça permet de voir s'il y a un vrai gain. Et parfois le skill ne se charge même pas, ce qui veut dire qu'il faut le rendre plus explicite pour que votre agent IA sache qu'il est là et qu'il faut l'utiliser.

Le rapport sur un autre de mes skills : 7 objectifs atteints sur 10 avec le skill activé, 5 sans le skill

Voilà, c'est un peu niche comme usage, mais si vous faites du skills pour vos agents IA, c'est un bon moyen d'en augmenter la solidité. Comptez une bonne demi-heure par skill, et si comme moi, vous utilisez NVIDIA Build, updatez le délai du juge qui évalue les skills (SKILL_EVAL_LLM_JUDGE_BUDGET_SEC=600) afin d'esquiver les erreurs 429.

À vous de jouer !

FDM-1 - L'IA qui utilise un ordinateur comme vous

Standard Intelligence vient d'annoncer FDM-1, un modèle IA capable de contrôler n'importe quel ordinateur... en regardant l'écran et en cliquant. Comme nous !!

En gros le modèle regarde des pixels, comprend l'interface et exécute des actions. Clics, mouvements de souris, saisie clavier... et ça tourne à 30 FPS avec 11 ms de latence. Donc c'est beaucoup plus réactif que la plupart des français devant un formulaire administratif, quoi... ^^

Concrètement, vous pourriez lui demander de remplir vos tableurs Excel ou Google Sheets, de naviguer dans SAP, Salesforce ou n'importe quel logiciel métier sous Windows, macOS ou Linux, ou d'automatiser ces clics débiles que vous faites 200 fois par jour. Attention, c'est pas un bot Selenium ou un macro AutoHotkey hein. C'est vraiment un truc qui comprend ce qu'il voit à l'écran.

Du coup, ça se compose de 3 blocs. Un encodeur vidéo qui compresse le flux visuel, un modèle de dynamique inverse, entraîné sur 40 000 heures de données humaines, qui relie les actions aux changements d'écran, et bien sûr le modèle d'action, qui prédit le prochain clic.

Le truc carrément dingue, c'est l'échelle d’entrainement de ce modèle... 11 millions d'heures de vidéo d'entraînement, 80 000 machines virtuelles en parallèle, un seul GPU NVIDIA H100 qui pilote 42 VMs à la fois. Ça représente plus d'un million de simulations par heure. Y'a de quoi faire donc !

Et les applications vont loin... Par exemple, CAO sur Blender 3D, conduite autonome avec moins d'une heure de vidéo à 1080p, et même du fuzzing d'applications bancaires (Ahaha, je sais ça va vous plaire ça !).

Si vous connaissez déjà des agents comme ByteBot ou Skyvern , FDM-1 joue dans une autre catégorie. Ces outils s'appuient sur des LLMs pour comprendre ce qu'ils voient mais FDM-1, lui, fonctionne sans aucun modèle de langage. En fait, c'est du pur apprentissage visuel sans aucun GPT en dessous. C'est un agent IA autonome sous stéroïdes, quoi.

Et comparé aux solutions RPA classiques genre UiPath ou Automation Anywhere, la différence est radicale. Le RPA traditionnel, c'est des scripts qui cassent dès qu'un bouton bouge de 3 pixels. Mais l'agent de Standard Intelligence lui s'en fiche puisqu'il comprend visuellement ce qu'il voit et saura s'adapter en quelques minutes. Je sens que les scrapers qui me lisent vont mouiller leur culotte...

Par contre, c'est maintenant le moment où je vous déçois un peu car le truc n'est pas encore dispo publiquement et aucune date n'est annoncée. Et les démos viennent de l'équipe elle-même... donc voilà, je reste prudent.

Et côté sécurité, y'a de quoi flipper un peu car un agent capable de cliquer partout sur n'importe quelle interface, ça ouvre la porte au phishing automatisé ou au clickjacking à grande échelle, sauf si des garde-fous sérieux sont mis en place (et pour l'instant, j'en vois pas).

Bref, c'est du lourd sur le papier mais reste à voir quand on pourra y toucher.

Personal AI Infrastructure - L'agent intelligent qui vous connaît vraiment

On nous parle d'agents IA à toutes les sauces depuis deeeees mois mais au final, on se retrouve la plupart du temps avec des outils "stateless" qui perdent le fil dès qu'une session se termine. Heureusement, le projet Personal AI Infrastructure (ou PAI pour les intimes) de Daniel Miessler propose justement de régler ce problème en classant les systèmes IA en 3 niveaux.

Le niveau 1, c'est le chatbot de base type ChatGPT... vous posez une question, il répond, il oublie tout. Le niveau 2, c'est l'agent (genre Claude Code ou Cursor) qui peut exécuter des trucs mais qui ne vous connait pas vraiment. Et le niveau 3, c'est PAI, une infrastructure complète qui observe, planifie, exécute et surtout... apprend de vous.

Concrètement, PAI c'est pas juste une énième surcouche pour votre LLM préféré. C'est un framework (TypeScript, Python, Bash) qui tourne sur Bun et qui structure tout autour de VOUS. Le cœur du truc, c'est ce qu'il appelle "TELOS"... en fait c'est 10 fichiers Markdown (genre MISSION.md, GOALS.md, BELIEFS.md planqués dans votre dossier ~/.claude/) qui définissent qui vous êtes et ce que vous voulez accomplir. Du coup, l'IA ne se contente plus de répondre bêtement, elle comprend pourquoi vous posez la question par rapport à vos projets en cours.

Et y'a un deuxième concept sympa, qui est la séparation propre entre vos fichiers perso (dossier USER/) et l'infrastructure du système (dossier SYSTEM/). Ça veut dire que vous pouvez faire un git pull pour mettre à jour PAI sans écraser ce fichier USER/PREFERENCES.md que vous avez mis 2 heures à peaufiner. Ça parait con dit comme ça, mais quand vous avez passé du temps à peaufiner vos préférences... c'est PAS la même.

Côté mémoire, le système fonctionne sur 3 niveaux (chaud, tiède, froid) pour stocker intelligemment vos infos en fonction de leur fraîcheur. En gros, ce qui est frais et pertinent reste accessible immédiatement, le reste descend progressivement dans les couches inférieures. Attention par contre, faut pas confondre avec un simple fichier de notes... là je vous parle d'un truc qui se met à jour TOUT SEUL à chaque interaction. Et tout ça nourrit l'IA pour qu'elle s'affine au fil du temps sans que vous ayez à tout réexpliquer (parce que soyons honnêtes, c'est CHIANT de re-contextualiser à chaque nouvelle session).

L'architecture est modulaire avec des "Packs" et des "Bundles". Y'a 23 Packs disponibles qui couvrent la génération de code, la recherche d'infos, la gestion de la mémoire... Hop, vous installez le pack voice-system et vous avez un système qui cause façon Jarvis (via ElevenLabs). Et si vous avez besoin de notifications push sur votre téléphone (coucou Clawbot de merde ^^) quand une tâche longue se termine, y'a un pack pour ça aussi, avec ntfy ou Discord.

Le truc qui m'a bien plu dans la philosophie du projet, c'est la hiérarchie stricte : CODE d'abord, puis CLI, puis Prompt, puis Skill. En gros, si un problème peut se résoudre avec un grep ou un script bash de 10 lignes, on ne sort pas l'artillerie lourde. Et si on peut en faire un outil CLI, on ne reste pas sur un prompt de base. Perso, j'aime bien cette approche... ça évite d'utiliser un LLM comme un marteau pour enfoncer tous les clous (sauf que dans la vraie vie, on le fait tous quand même, avouez...).

D'ailleurs, PAI n'est pas réservé qu'aux devs puisque le projet vise aussi les artistes, les managers (pour du suivi d'équipe par exemple), les petits patrons (facturation, marketing...etc) et même monsieur / madame tout-le-monde pour gérer ses finances ou son planning sportif. La v2.5 est sortie il y a quelques jours avec l'exécution parallèle par défaut et des outils de "thinking" améliorés.

Pour installer le bouzin, c'est pas sorcier :

git clone https://github.com/danielmiessler/PAI.git
cd PAI/Releases/v2.5
cp -r .claude ~/
cd ~/.claude && bun run INSTALL.ts

Comptez 5 minutes montre en main (sauf si vous n'avez pas Bun, là faudra l'installer avant avec curl -fsSL https://bun.sh/install | bash). Ça a été développé avec Claude Code mais c'est platform-agnostic, ça marche aussi avec Cursor, Windsurf ou OpenCode et le support de modèles locaux accessible via Ollama ou llama.cpp est sur la roadmap (vivement que ça tourne 100% en local, perso).

Bref, si vous en avez marre des assistants qui ont la mémoire d'un poisson rouge, PAI est une piste sérieuse. C'est du terminal-first, open source (MIT) et largement plus ambitieux que les wrappers habituels. Bon, faut quand même être à l'aise avec le terminal hein... si vous êtes plutôt team GUI, passez votre chemin.

Merci à Pascal pour l'info !

Source

Open Computer Agent - J'ai testé le robot virtuel open source qui utilise votre PC à votre place

Vous en avez marre de cliquer vous-même sur votre ordinateur comme un être humain normal ? Cette sensation de devoir bouger lentement votre souris et taper sur votre clavier, en attendant la retraite vous semble so 2024 ?

Alors j’ai une bonne nouvelle pour vous !

Hugging Face vient tout juste de sortir Open Computer Agent, un robot virtuel open source qui peut utiliser votre PC à votre place pendant que vous sirotez tranquillement votre café en regardant la machine faire le boulot. Disponible gratuitement depuis hier, cet outil représente une réponse claire et nette de l’open source à l’Operator d’OpenAI.

❌