Comme vous le savez, je m'amuse beaucoup avec l'IA en ce moment. Bon, j'en cause surtout sur mon Patreon parce que sinon, je vous saoulerai grave avec toutes mes expériences mais ça c'est un truc que je tenterai bien à l'occasion. Je vous explique...
Cette semaine, 4 chercheurs du MIT CSAIL, Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab, ont expliqué sur leur site comment ils ont demandé à GPT-6 Astra, le modèle d'OpenAI, de rendre Qwen3.5-0.8B meilleur en maths en retouchant directement ses poids, sans la moindre descente de gradient.
Et non seulement, l'IA d'OpenAI y est parvenu, mais en plus, le chiffre claque puisque le score sur MATH-500 de ce Qwen est passé de 7,9 % à 48,1 % suite à une modification par Astra de seulement 131 072 poids sur 0,8 milliard, soit 0,016 % du modèle.
Pour ceux qui arrivent (en armure comme Diam's ^^), les poids d'un réseau de neurones, c'est l'IMMENSE liste des nombres que l'entraînement ajuste petit à petit, et que presque personne ne sait ensuite retoucher à la main. C'est d'une telle complexité ! Mais avec un petit budget et 50 passes pour regarder comment le modèle répond à ses retouches, Astra lui à réussi !
Le point de départ des chercheurs, c'est que Qwen tournait en rond sur les problèmes de maths. Ainsi sur ses 96 premières réponses d'entraînement, 85 pédalaient dans la semoule jusqu'à atteindre la limite des 32 768 tokens et donc sans livrer de solution... Snif... Astra a donc remonté ces boucles une par une jusqu'à une direction écrite par les couches 15 et 19 du modèle, puis il l'a soustraite des poids. Et voilà comment la part des réponses interrompues à cause de cette limite en token est tombée de 93 % à 33 %.
Alors, Qwen est-il vraiment devenu bon en maths grâce à Astra ?
Hé bien pas vraiment, et ce sont les auteurs eux-mêmes qui le disent dans leur papier. En fait, réparer des boucles permet surtout au modèle de finir des réponses qu'il savait déjà trouver. Ils ont d'ailleurs refait l'essai sur Gemma 3 270M, un modèle qui boucle rarement, et là, aucune des retouches d'Astra n'a fait bougé le score MATH-500 de plus d'un point. Voilà, donc contrairement aux grandes annonces que j'ai pu lire de ci, de là, retoucher les poids de Qwen a juste permis de lever un obstacle qui cachait une capacité existante, mais n'a en aucun cas ajouté une capacité qui manquait.
Cette expérience a ensuite été refaite par Jonathan Coletti, sur Hugging Face, qui a
réévalué les poids publiés
avec le prompt, les réglages et le correcteur des auteurs. Et il est passé d'un Qwen à 7,4 % à un Qwen à 50,2 % après, réflexion activée bien sûr (le mode "Thinking" quoi). Ça confirme donc bien le papier.
Mais Jonathan a aussi tenté le coup avec le mode réflexion coupé et là, la retrouche a fait perdre au modèle un peu plus de 2 points.
Quoiqu'il en soit, cette retouche peut se rapprocher de l'effacement d'une direction dans les poids, ce qui en gros est la recette de l'abliteration qu'utilisent déjà
ces outils qui virent la censure des LLM
. Astra serait donc potentiellement capable de lever des limites sur des modèles open source (dont les poids sont dispo)... Intéressant non ?
Voilà, donc si vous faites tourner ce petit Qwen chez vous et que vous optez pour cette version retouchée par Astra, activez bien ce mode Thinking car avec lui, le modèle aura la bosse des maths !
Jev, je ne l'ai jamais utilisé mais Kev, en revanche, je l'ai branché dans mon outil de sélection de sujets de veille pour qu'il me dise notamment si un sujet correspond à ce qui me plaît ou pas. C'est en cours de test, donc je ne vais pas vous livrer de conclusion hâtive sur si ça fonctionne bien ou pas, mais si je vous en parle, c'est parce que Sylvain Peyronnet, le papa du moteur de recherche français
Ibou
, publie à son tour 3 modèles de la même famille, baptisés ArseneLupin, conçu également pour faire du décisionnel
Pour ceux qui ne suivent pas l'actualité IA, le nouveau truc à la mode en ce moment, c'est Jev, un modèle maison de
TypeSafe
qui est le premier de ce qu'ils appellent les modèles System One. Au lieu de générer du texte qu'il faut ensuite parser, ce reçoit un état (un texte, un ticket, un objet JSON) et des questions typées : oui ou non (noul), un choix parmi plusieurs options (choice) ou une note sur une échelle (score). Et il renvoie pour chacun de ces choix, des probabilités que votre code peut ensuite exploiter directement pour trier, faire du routage ou prendre des décisions. Par exemple, avec ça, on peut faire de la qualification de tickets de bug ou de l'anti-spam, ce genre de choses.
Alors forcément, suite à ça, des clones ouverts ont débarqué. Le premier que j'ai découvert, c'est
Kev
, de Jared Palmer, qui s'appuie sur Qwen3.5 et Qwen3.8, soit 0,8 à 27 milliards de paramètres, et
laya
qui part d'un encodeur ModernBERT-large pour 421 millions de paramètres au total.
Perso, avec Kev dans mon outil de veille, Pour le moment, j'ai un peu de mal à voir si c'est mieux qu'une décision prise par un Qwen 3.6 classique qui génère une réponse textuelle mais Kev a été entraîné sur des textes de 384 tokens au max, et les articles qui tombent dans ma veille dépassent largement ce gabarit...
ArseneLupin, c'est donc la version d'Ibou, annoncée par Sylvain la semaine dernière. Sa v1.1 repose donc sur Qwen3.5-4B, la mini sur Qwen3.5-0.8B et ArseneLupinstral sur Ministral 8B. Les poids sont sous licence Apache 2.0 et le code pour s'en servir et l'intégrer est fourni, mais pas le code d'entraînement ni les données.
C'est encore jeune, donc il n'y a pas eu de benchmark indépendant, mais Ibou en a fait et voici ce qu'ils obtiennent avec une classification d'intentions de recherche en dix catégories. Avec la 1.1, ils obtiennent 50,7 % de bonnes réponses, contre 39,7 % pour la mini et 43,9 % pour Jev 1.13.
Bref, ce sont leurs mesures, mais si elles sont justes, ça veut dire qu'Arsène Lupin est plus efficace que Jev.
Installer ArseneLupin v1.1
Alors pour ce tuto, j'ai pris la
v1.1
qui est la plus "balèze".
À la fin de cette section, vous aurez donc un serveur local qui crache du JSON accessible sur le port 8000. Il vous faut Python 3.11 ou une version plus récente et une 10aine de Go libre puisque le modèle complet pèse 9,3 Go en bfloat16.
J'exclus au téléchargement le dossier gguf, qui contient la version 8 bits de 4,5 Go destinée à llama.cpp. Pour démarrer, il faut donc créer un environnement virtuel, puis récupèrer le modèle, et installe le code de service avec la version de transformers qui va bien, c'est à dire la 5.17.0 :
Par défaut, le fichier serve.yaml envoie le modèle sur une carte NVIDIA (cuda:0). Sur un Mac, il faudra donc le basculer sur le GPU d'Apple (mps), et sur une machine sans GPU, ce sera cpu. Je pense que je ne vous apprends rien, vous avez l'habitude,
Ensuite, on lance le serveur. Notez juste que sous Linux, le sed s'écrit sans les deux apostrophes après le -i. :
Le serveur ArseneLupin v1.1 à l'écoute sur le port 8000, poids chargés
Au bout de quelques secondes, le serveur écoutera sur 127.0.0.1:8000. Quant à la version GGUF, vous pouvez, si vous voulez, le faire tourner dans un llama.cpp ou équivalent à condition d'en avoir un assez récent qui connait l'archi de Qwen3.5.
Poser vos premières questions
Pour tester, je me suis inspiré de mon outil de veille. On donne au modèle le titre et le résumé d'un sujet et on lui demande si ça parle d'un outil qu'on peut installer, dans quelle rubrique il faut le ranger et à quel point ça pourrait intéresser des gens comme vous, c'est à dire des lecteurs technophiles / bidouilleurs.
Placez donc ça dans un fichier nommé veille.json, dans le dossier du modèle :
{
"state": {
"titre": "ArseneLupin, trois modèles de décision publiés par Ibou",
"resume": "Le moteur de recherche français Ibou publie sur Hugging Face trois modèles qui répondent par oui ou non, par un choix ou par une note, avec des probabilités. Les poids sont sous licence Apache 2.0 et le code de service est fourni."
},
"questions": {
"installable": {"type": "noul",
"instructions": "Le texte présente-t-il un outil que le lecteur peut installer lui-même ?"},
"rubrique": {"type": "choice",
"instructions": "Dans quelle rubrique ranger ce sujet ?",
"criteria": {"ia": "Intelligence artificielle et modèles de langage",
"dev": "Outils pour développeurs et infrastructure",
"securite": "Sécurité informatique, failles et vie privée",
"materiel": "Matériel, gadgets et bricolage électronique"}},
"interet": {"type": "score",
"instructions": "Ce sujet intéressera-t-il un lecteur technophile qui aime tester des outils ?",
"criteria": ["Pas du tout", "Un peu", "Beaucoup"]}
}
}
Puis dans un second terminal ouvert dans le même dossier, tapez la ligne de commande curl suivante pour lancer l'évaluation avec ArseneLupin.
La réponse à la requête de veille : "ia" à 0,72, un oui/non hésitant à 0,53 et un score de 1,47
Comme vous pouvez le voir, pas une ligne de texte généré, chaque question revient avec ses probabilités. On voit donc que la rubrique "ia" l'emporte à 0,72, loin devant "dev" à 0,19, et le niveau "Beaucoup" ressort à 0,59 pour l'intérêt, ce qui donne un score moyen de 1,47 sur une échelle qui va de 0 à 2. Par contre, pour savoir si c'est un outil installable, le modèle hésite quand même un peu avec un timide 0,53 de probabilité pour le oui.
Il renvoie quand même une indication qui est plutôt importante à savoir là décision : "decision": true, car aucun seuil n'est appliqué côté serveur (c'est ce que dit le "decision_status": "unthresholded"). C'est donc à votre code de décider qu'en dessous de 0,7, par exemple, la décision revient à un humain plutôt que de partir dans la base de données automatiquement. Sur mon Mac Studio M4 Max, la requête a pris entre 2,4 et 2,8 secondes pour ces huit options.
J'ai fait un 2ème essai avec un commentaire de spam bien grossier : "Super article !!! Pour gagner 500 € par jour depuis chez vous, cliquez vite sur mon profil, places limitées." La v1.1 le classe en spam à 0,86 et lui colle un ton positif à 0,78, ce qui est vrai au premier degré. Et la version mini du modèle répond deux fois plus vite, en 0,8 seconde, mais descend à 0,76 sur le spam et hésite sur le ton... À voir donc si ça suffit pour vous d'utiliser le modèle mini ou pas, selon vos besoins.
Comment ArseneLupin prend ses décisions
Le code livré avec le modèle se lit facilement et la mécanique est plutôt simple à capter. En fait chaque option devient une question oui/non posée au Qwen affiné, du genre "ce candidat décrit-il la bonne réponse ?".
Ainsi, 4 catégories pour classer un contenu se résume en 4 questions sur le même texte accompagnée d'une petite tête de lecture (2 561 paramètres sur la v1.1) qui transforme le dernier état caché du modèle en score. Un softmax répartit ensuite ces scores en probabilités, et la confidence n'est rien d'autre que la plus forte d'entre elles...
Pour que ça reste rapide malgré toutes ces passes, le serveur lit une seule fois le texte commun aux options, puis calcule toutes les options simultanément.
En fait avec ArseneLupin, on reproduit le principe de Jev mais avec un LLM ouvert (Qwen) en ne lui faisant produire qu'un seul token, limité aux choix proposés. Ce qu'apporte Ibou, c'est donc un modèle LLM ultra affiné (Autant qu'un bon Saint Nectaire) pour ce type d'exercice de prise de décision.
Reste ensuite la confiance à accorder à ces probabilités. Dans le dossier calibration, vous verrez des températures ajustées selon les trois workflows d'exemple fournis par Ibou, et il y a également, dans le fichier default.json, une calibration par défaut. C'est celle-là qu'on a utilisée dans notre exemple, mais vous pouvez aussi régler vous-même votre propre température ajustée selon vos usages.
Maintenant, avant de lui confier quoi que ce soit, posez-vous un peu et donnez-lui une cinquantaine d'exemples que vous avez déjà classés à la main. Comme ça, vous pourrez comparer ArsèneLupin et le LLM que vous utilisez d'habitude pour savoir qui est le plus fiable. N'hésitez pas à y mettre aussi des textes plus ou moins longs parce que le serveur accepte jusqu'à 32 768 tokens par option. Ça tombe bien parce que ça me gênait un peu dans mon intégration avec Kev sur mon outil de veille. Donc je pense que je vais rapidement basculer sur ArsèneLupin pour ma veille en remplacement de Kev.
Et si vous venez de Jev, attention, la requête a la même forme mais pas la réponse !! Pour une question oui/non, Jev renvoie un champ noul là où ArseneLupin renvoie un p_yes, et pour une note, ArseneLupin range ses probabilités dans une liste quand Jev utilise un dictionnaire.
Cela veut dire qu'un client écrit pour l'API de TypeSafe ne lira pas du tout le résultat de ArseneLupin tel quel, donc prévoyez une petite couche de conversion avant de mettre les deux en concurrence sur vos data.
Odysseus, c'est le workspace IA que PewDiePie a balancé sur GitHub fin mai. Chat, agents, recherche web, email, calendrier, notes et documents, tout est réuni dans un superbe cockpit auto-hébergé dans lequel les modèles et l'historique peuvent rester sur VOTRE machine. Vous avez aussi un éditeur Markdown avec historique de versions, une génération d'images intégrée, et un mode Compare pour opposer deux modèles côte à côte en aveugle (exclusion faite des services tiers liés à la recherche web, l'email et le calendrier, évidemment...).
J'ai voulu l'installer sur mon Mac, mais j'ai quand même rencontré un petit piège qui a failli transformer l'expérience en échec... Voici donc comment le faire tourner correctement sous Mac + quelques idées de ce que vous allez pouvoir faire avec ce truc.
Avant de commencer
Odysseus évolue vite. La branche main est stable et testée, mais la branche dev peut casser n'importe quand. Privilégiez la branche stable en la clonant explicitement :
git clone https://github.com/odysseus-dev/odysseus.git
cd odysseus
git checkout main
Étape 1 : Oubliez Docker sur Mac
Sur Apple Silicon, Docker ne peut pas accéder au GPU Metal. Les modèles tournent sur le CPU, et ça rame comme pas permis. Du coup, sur Mac, on est obligé d'installer ça en natif.
Étape 2 : Installer Odysseus en 2 commandes
Ouvrez un terminal et lancez ça :
git clone https://github.com/odysseus-dev/odysseus.git
cd odysseus
./start-macos.sh
Le script installe alors les dépendances et démarre le serveur. Sur mon Mac, AirPlay squattait le port 7000, donc l'interface s'est ouverte automatiquement sur http://127.0.0.1:7860. Ensuite, au premier lancement, il faut renseigner un nouveau mot de passe pour le compte admin.
Si vous accédez à Odysseus depuis une autre machine (VPS ou serveur distant), ouvrez un tunnel SSH plutôt que d'exposer le port directement sur Internet :
ssh -L 7860:127.0.0.1:7860 user@votre-serveur.com
Ensuite, accédez simplement à http://127.0.0.1:7860 en local. C'est plus sécurisé que d'ouvrir le port sur le public.
Étape 3 : Un modèle rapide, genre Qwen
Pour du rapidos sans que ça devienne stupidos, j'ai choisi pour mes tests Qwen3-30B-A3B. Ce modèle n'active qu'une partie de ses paramètres à chaque réponse, ce qui colle bien à la RAM unifiée d'un gros Mac.
La première fonctionnalité assez cool dans cet outil, c'est le Cookbook qui permet de télécharger des modèles adaptés à notre config. Ce dernier a correctement reconnu mon M4 Max et ses 128 Go mais s'est ensuite planté comme une merde sur llama.cpp avec cette option --flash-attn auto invalide. Après avoir retiré le paramètre, le serveur restait aux abonnés absents tandis que l'interface l'affichait toujours comme actif. Bref, j'ai laissé tombé llama.cpp.
Le Cookbook reconnaît bien le M4 Max et propose des modèles adaptés. Le lancement, lui, a planté.
L'autre option qui s'est offerte à moi, ça a été Ollama (
je vous ai montré comment l'installer par ici
). Vous récupérez le modèle qui vous intéresse avec et vous lancez le serveur ouvert sur le réseau local :
Dans les réglages d'Odysseus, ajoutez ensuite http://localhost:11434/v1. Et hop, ça fonctionne !! La version 1.0.2 propose aussi maintenant MLX dans le Cookbook, mais Ollama reste le chemin qui a vraiment tenu bon durant mes tests. Vous aurez peut-être plus de chances que moi.
L'ajout manuel de l'endpoint Ollama a été le chemin le plus fiable.
Bonus : Si vous n'avez pas de GPU ou que vous préférez la fiabilité, vous pouvez aussi connecter une API externe comme OpenAI ou OpenRouter. Dans les réglages, ajoutez simplement votre clé API et Odysseus basculera sur ces modèles cloud. C'est moins gratuit que du local, mais ça marche sans galère.
3 cas d'usages
Alors, cet outil fait plein de choses et on peut l'utiliser vraiment pour ce qu'on veut, mais pour ma part, je vous ai isolé trois cas d'usage compatibles avec mon activité.
Premier scénario, la tournée de veille du matin. Je lui donne les liens reçus durant la nuit, il les classe par sujet, repère les doublons et propose trois angles courts. Je garde les sources dans un document local, avec les objections et les points à vérifier. Et comme vous l'avez vu sur mes captures d'écran, le chat sait déjà faire du brainstorming puisqu'il m'a sorti trois angles exploitables en quelques secondes...
Trois angles d'articles en 29 secondes, avec un brouillon versionné ouvert à droite.
Deuxième scénario, un dossier par article. J'y range le brief, les liens primaires, les citations, les captures et les versions du texte. L'éditeur Markdown récupère le titre depuis le premier H1 et conserve l'historique. Avec deux modèles configurés, le mode Compare permet d'opposer deux intros ou deux plans côte à côte sans envoyer le brouillon chez un fournisseur.
Troisième scénario, le secrétaire de rédaction local. Il surveillerait une boîte dédiée aux alertes de sécurité, préparerait la liste des sujets urgents et poserait des rappels dans le calendrier. Sur le papier, c'est exactement le type de corvées chiantes qu'un agent devrait pouvoir absorber mais en pratique, jamais de la vie, je ne lui laisse faire des actions automatiques comme envoyer des mails, ou gérer mon calendrier. Pour moi, c'est pas encore assez safe.
J'ai demandé à l'agent de retrouver un document et de le résumer. Il a dépensé près de 1 800 jetons à deviner comment appeler manage_documents, sans jamais lancer l'outil de recherche. De son côté, le calendrier a terminé sur un Could not extract JSON puis la recherche web a trouvé le bon dépôt GitHub, mais le modèle en a choisi un faux.
Le pompon, c'est la fonctionnalité Deep Research. Après 4 minutes de boulot, ça m'a généré 13 pages issues de 6 sources retenues. L'outil a donné la bonne conclusion au document, mais ensuite, a totalement inventé une vidéo, un numéro de marque et plusieurs statistiques. Donc pour l'utiliser dans un cadre journalistique, sans contre-vérification intégrale, ça ne sera pas possible.
Le rapport affirme que le site est vide alors qu'il contient un guide complet. Jolie hallucination, présentée comme une preuve.
Bon, je suis content de l'avoir testé mais Odysseus ressemble encore à un super cockpit dont plusieurs boutons ne sont pas encore reliés au moteur. Le chat via Ollama et les documents sont utilisables, mais le Cookbook, les agents, le calendrier et la recherche factuelle restent trop fragiles. Mais attention, n'allez pas croire que je critique le travail de PewDiePie, car le projet est encore très jeune, donc tous ces petits défauts sont normaux. Le potentiel d'Odysseus est énorme, mais pour le moment, je ne suis pas prêt de lui confier la gestion de mes sources, ou la rédaction d'un brouillon d'article sans perdre des heures à tout vérifier.
Voici une news concernant l'intelligence artificielle, qui je pense devrait vous plaire si vous vous intéressez à la robotique. Alibaba qu'on ne présente plus, vient de sortir sa Qwen-Robot Suite, 3 modèles IA signés Tongyi Lab (les gens derrière
Qwen
) imaginé pour donner un corps à l'IA. Parce qu'une machine capable de décrire votre cuisine au millimètre près mais complétement infoutue d'y attraper une tasse, voilà un peu ce qu'on a en robotique en ce moment...
Car "comprendre" le monde, ça les modèles savent faire. Mais agir dedans, c'est une autre paire de manches. Cette Qwen-Robot Suite découpe donc ça en trois briques, RobotNav pour se déplacer, RobotManip pour saisir des objets, et RobotWorld qui joue les boules de cristal en prédisant ce qui va se passer avant même que le robot ne bouge. Et si vous voulez expérimenter tout ça tout de suite, sans mettre les mains dans le cambouis, y'a même une démo
Chat2Robot
, où vous tapez une instruction dans votre navigateur et un bras robotique l'exécute en direct !
Mais le plus parlant dans leurs démos, c'est ce chien-robot Unitree Go2 (
bourré de failles de sécu, qui balance toutes vos données en chine
) qui, une fois lâché chez vous avec sa seule petite caméra bas de gamme, peut se balader dans toute la maison pour vous rendre tout un tas de services. Sauf qu'ici il opère dans des lieux qu'il n'a jamais vus, en suivant vos consignes vocales de pièce en pièce, et il peut même refaire tout le trajet à l'envers sur commande. C'est en tout cas, assez cool de voir ces world models enfin capables d'apprendre à résoudre des problèmes auxquels il n'a encore jamais été confronté.
L'astuce, c'est d'entraîner un seul modèle sur les données de plein de robots différents d'un coup, au lieu de repartir de zéro pour chaque machine. Du coup un geste appris sur un bras X se transfère direct sur un autre bras Y, et chaque robot profite ainsi, en quelque sorte, de l'expérience accumulée par tous les congénères du lot. Et tout ça a été nourri avec plus de 38 000 heures de données, uniquement en l'open-source, dont des vidéos de gens filmés en train de faire des trucs, et adapté pour que la machine puisse apprendre
en regardant faire des humains
.
Et niveau perfs, ça tape fort apparemment !
Sur les benchmarks de manipulation, RobotManip passe devant π0.5, un modèle de
Physical Intelligence
dont je vous avais déjà parlé, avec quand même 7 points d'avance, sur un benchmark de manipulation standard. Il finit aussi premier sur RoboChallenge, le classement généraliste du secteur. Bon, ce sont des chiffres de labo bien sûr, mais le saut par rapport à la concurrence fait mal ^^.
Ce que Qwen veut faire surtout, c'est de tout passer par le langage naturel comme ça une commande de bras, un virage de voiture, un point de navigation et compagnie... tout devient une simple phrase. Cela permet aux modèles Qwen classiques d'appeler ces briques comme des outils, et de brancher l'intelligence artificielle classique (les LLMs) directement sur l'action physique (les World Model). La presse parle déjà d'un "moment Android" pour la robotique, autrement dit un cerveau logiciel que n'importe quel fabricant de bras ou de roues pourrait embarquer sans avoir à fabriquer la quincaillerie. Ce serait fou !
Après, Chat2Robot tourne sur 50 tâches seulement et n'est pas parfait. Le tout est en test pilote chez quelques clients d'Alibaba Cloud, donc c'est pas encore pour votre robot aspirateur... Mais si le concept de robot à la maison vous intéresse, c'est une approche intéressante je trouve. Entre Physical Intelligence, Gemini Robotics chez Google et GR00T chez NVIDIA, tout le monde semble chercher le même Graal, à savoir une IA généraliste capable de piloter n'importe quel corps mécanique. Bref, Alibaba ne vend pas de robot, mais le cerveau qui va dedans, et le fait que ce soit entièrement open-source et orienté langage me fait dire qu'on risque de voir plein de projets cools et surtout accessibles se monter autour de ça.
D'ailleurs, à force de voir ces
robots de service
débarquer partout, je me demande quand on va leur imposer un minimum de sécurité face au public.
Vous connaissez peut-être FUSE (Filesystem in Userspace), ce truc qui permet de créer des systèmes de fichiers custom sans toucher au noyau Linux. C’est grâce à lui notamment qu’on peut monter un Google Drive, un bucket S3 ou même un dossier distant via SSH comme un simple répertoire local.
Hé bien,
Rohan Gupta
a poussé ce concept jusqu’à l’absurde en créant LLMfuse, un système de fichiers où toutes les opérations sont gérées par un modèle de langage fine-tuné.
Ainsi, quand vous faites un ls, un chmod ou un cat sur ce filesystem, c’est un LLM qui répond et chaque opération FUSE devient une requête au modèle. Pour parvenir à ces fins, le développeur a entraîné un Qwen3-4B sur environ 15 000 paires prompt/completion générées à partir de simulations d’opérations filesystem. Le modèle a alors appris à lire le contenu des fichiers, modifier les métadonnées, et même à représenter l’arborescence complète en XML.
Bon, dit comme ça, ça ressemble à une expérience de savant fou un peu conne… Mais y’a un truc vraiment intéressant qui découle de tout ça. En effet, l’auteur a découvert que la combinaison du codage arithmétique avec son modèle fine-tuné permettait d’atteindre des taux de compression délirants. Sur un fichier texte classique, il obtient par exemple une compression 22 fois meilleure que gzip. Et pour une arborescence de fichiers représentée en XML, c’est environ 8 fois mieux que squashfs.
Alors comment c’est possible cette magie noire ? Bah ça remonte au théorème de Shannon de 1948 sur l’entropie où plus un modèle prédit bien les données, moins il faut de bits pour les encoder. Un LLM fine-tuné sur un type de données spécifique devient alors un compresseur hyper efficace pour ces données.
L’auteur est le premier à admettre que c’est une expérimentation, donc, pas de quoi vous emballer non plus… Après si vous souhaitez l’utiliser, vous avez besoin d’un GPU, que l’intégralité du système de fichiers tienne dans la fenêtre de contexte du modèle, et ça ne marche vraiment bien que sur des données textuelles. Pour vos vidéos 4K ou votre bibliothèque de jeux Steam, on repassera… snif…
D’ailleurs, le fait que lipsum.txt (le classique Lorem Ipsum) soit surreprésenté dans les données d’entraînement des LLM aide beaucoup à gonfler les chiffres de compression mais même sur d’autres types de textes “normaux” qui ressemblent à ce qu’on trouve sur Internet, les gains restent entre 5x et 20x par rapport à gzip.
Le code source est disponible sous licence MIT, avec notamment un utilitaire CLI appelé llmencode que vous pouvez tester en local si vous avez une bonne carte graphique sous la main.