Vue normale

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierLinuxFr.org : les dépêches
  • ✇LinuxFr.org : les dépêches
  • J'ai mis un proxy entre claude et Internet
    Je sais que le mot "IA" sur LinuxFr, c'est un peu comme prononcer "systemd" en 2015 ; ça ne laisse personne indifférent. Et je comprends. La merdification est réelle, la bulle est réelle, les externalités sont réelles. Je n'ai aucune envie d'en rajouter une couche. Mais voilà, les lignes sont devenues floues, et j'ai pris le virage du coding assisté. D'abord avec curiosité et prudence, et maintenant les deux pieds dans le plat : ça ne remplace pas ma façon de penser, mais ça m'a ouvert des porte

J'ai mis un proxy entre claude et Internet

Je sais que le mot "IA" sur LinuxFr, c'est un peu comme prononcer "systemd" en 2015 ; ça ne laisse personne indifférent. Et je comprends. La merdification est réelle, la bulle est réelle, les externalités sont réelles. Je n'ai aucune envie d'en rajouter une couche. Mais voilà, les lignes sont devenues floues, et j'ai pris le virage du coding assisté. D'abord avec curiosité et prudence, et maintenant les deux pieds dans le plat : ça ne remplace pas ma façon de penser, mais ça m'a ouvert des portes : des concepts que je ne maîtrisais pas, des langages que je n'aurais pas pris le temps de toucher avant ; l'assistant me permet d'explorer, de comprendre, et de construire des outils qui m'aident. Et j'espère qu'ils aident d'autres personnes aussi.

Sauf que voilà. Au début, j'étais prudent. Je vérifiais chaque commande, chaque accès. Et puis petit à petit, j'ai lâché prise. J'ai désactivé les confirmations, laissé l'agent tourner sans supervision, accepté les permissions sans lire. On connaît tous ce moment où on clique "Allow" les yeux fermés parce que c'est la quinzième fois qu'il demande. J'ai fait exactement ce qu'on ne devrait jamais faire en sécurité : faire confiance par défaut.

Et un jour, je me suis dit : je n'ai aucune idée de ce que cet agent envoie sur le réseau. Aucune.

Alors j'ai construit un proxy un peu.. particulier.

Sommaire

Cher journal,

Ça fait un bail que je n'ai pas vraiment contribué à l'open source. Mes derniers vrais projets publics, c'était Kivy et les projets autour… ça remonte à quelques années maintenant, et j'ai pris ma "retraite" sur ces projets.

Mais je n'ai jamais arrêté de coder. J'ai juste réalisé un truc sur moi-même : le code, c'est un peu comme la musique pour moi. J'aime construire des choses. Je m'exprime mieux avec un éditeur et un terminal qu'avec ma voix ou mes mots. C'est probablement pour ça que je suis là à t'écrire un journal au lieu de faire un talk quelque part.

Le constat

On a passé des années à construire des pare-feux, des IDS, du monitoring pour nos serveurs de prod. Sur des entreprises plus grandes, on traque les connexions suspectes… Et puis un agent IA débarque sur notre machine de dev, on lui dit "tiens, refactore-moi ce module", et il fait ce qu'il veut sur le réseau sans qu'on le sache.

C'est quand même un peu absurde, non ?

Le truc, c'est qu'il n'existe pas vraiment d'équivalent à tcpdump ou iptables pour les agents IA sur nos machines. Pas de couche d'observabilité entre l'agent et Internet. Ou on contrôle, on se fait notre liste d'outils qu'on accepte, ou on fait confiance parce que bon, la sécurité, c'est pas si important… vraiment ?

Greywall et greyproxy

Avec l'équipe de Greyhaven, on a construit deux outils open source :

Greywall est un bac à sable deny-by-default pour les agents IA. Pas de Docker, pas de VM. Ça utilise directement les mécanismes du noyau Linux (namespaces, Landlock, Seccomp, eBPF) pour isoler le processus. Sur Linux, l'isolation réseau passe par un device TUN dans un namespace réseau dédié ; le processus sandboxé ne peut structurellement pas contourner le proxy. Sur macOS, c'est un peu moins élégant en utilisant des variables d'environnement pour forcer un proxy socks5h, si l'outil ne le supporte pas, il ne peut quand même pas sortir. Ça fait le job pour la plupart des outils.

Greyproxy est le plan de contrôle réseau. Un proxy SOCKS5/HTTP avec un dashboard web temps réel. Chaque connexion sortante de l'agent apparaît dans le dashboard. Si aucune règle ne matche, la connexion reste en attente et tu peux l'autoriser ou la refuser en direct, sans relancer la session.

Concrètement, ça donne :

greywall -- claude

Et hop, Claude Code tourne dans son bac à sable. Tu ouvres http://localhost:43080 et tu vois en direct chaque domaine qu'il tente de contacter. Tu autorises api.anthropic.com, tu autorises github.com pour les pushes, tu refuses le reste. Tout est interactif, tout est visible.

Ce que j'ai observé

Au début, c'était juste des connexions supplémentaires. Tiens, c'est quoi ces appels à opencode.ai quand je démarre opencode ? Tiens, pourquoi Claude appelle 2x toutes les 4 minutes un domaine chez Google ? Entre de la télémétrie que l'on ne peut pas désactiver, ou des requêtes qui font "office" de regarder si une nouvelle version est disponible… 2x toutes les 4 minutes. Ce n'est pas le meilleur argument, mais contrairement aux autres sandboxes, au moins ici je le vois en temps réel, et je peux dire oui ou non sur ce que peut accéder la commande.

Le dashboard de greyproxy rend tout ça visible. Tu vois passer les requêtes DNS, les connexions TCP, les domaines contactés. Tu peux construire progressivement une liste d'autorisations adaptée à ton projet. Il y a même un mode apprentissage qui trace les accès filesystem avec strace et génère automatiquement un profil de sécurité.

Ce n'est pas un outil pour les paranos. C'est un outil pour ceux qui pensent que l'observabilité, c'est un droit, pas un luxe.

Pourquoi ça compte

Je sais que l'enthousiasme pour l'IA est réellement différent en fonction des gens. Les questions sur la qualité du code généré, la consommation énergétique, la centralisation chez les GAFAM ; tout ça est légitime.

Mais justement. Si on utilise ces outils (et beaucoup d'entre nous le font, même ceux qui restent prudents), autant le faire avec les yeux ouverts. Greywall, c'est pas un outil pour promouvoir l'usage des agents IA. C'est un outil pour que, si tu en utilises un, tu gardes le contrôle.

Il y a une phrase qu'on a mise sur le site et qui résume bien l'idée :

"The security layer around your tools should be independent of the company selling you the AI."

La couche de sécurité autour de tes outils ne devrait pas dépendre de la boîte qui te vend l'IA. Claude a son propre sandbox intégré, Codex a le sien. Mais tu fais confiance aux entreprises pour te protéger d'elles-mêmes ? C'est un problème d'indépendance, pas de technologie.

Greywall est agnostique. Ça marche avec Claude Code, Codex, Cursor, Aider, Goose, Gemini CLI, Cline, et une dizaine d'autres. Tu changes d'agent, ta couche de sécurité reste la même.

Et après : vers un proxy sémantique

Le greyproxy actuel travaille au niveau des connexions : il voit les domaines, les ports, les IPs. Il ne déchiffre pas le TLS, il ne lit pas le contenu. C'est déjà très utile pour contrôler les accès réseau.

Mais là où ça devient vraiment intéressant, c'est quand on commence à reconstruire les conversations LLM qui passent par le proxy. Pas en cassant le chiffrement ; en instrumentant le flux côté client. L'idée, c'est de construire un proxy sémantique qui comprend ce que l'agent envoie et reçoit, qui peut faire du remplacement de variables d'environnement à la volée (pour ne jamais exposer tes vrais secrets à l'API du LLM), et qui te donne une vision complète de ce que l'IA fait en ton nom.

On en est au début, mais la direction est claire : remettre l'humain au milieu du système. Pas comme un goulot d'étranglement, mais comme un observateur informé qui peut intervenir quand c'est nécessaire. C'est ce qui manque cruellement à des systèmes comme OpenClaw et à la plupart des outils d'orchestration d'agents.

Pour essayer

Installation rapide :

# Homebrew
brew tap greyhavenhq/tap && brew install greywall

# Ou via curl (pas taper)
curl -fsSL https://raw.githubusercontent.com/GreyhavenHQ/greywall/main/install.sh | sh

Ça tourne sur Linux et macOS. Sur Linux, il te faut bubblewrap et socat comme dépendances. Greyproxy s'installe comme service systemd si tu veux qu'il tourne en permanence.

Si tu veux comprendre les détails techniques de l'architecture (les 5 couches de sécurité, pourquoi on a abandonné Docker, comment fonctionne la capture réseau transparente), on a écrit un article technique détaillé ici : https://greyhaven.co/insights/why-we-built-our-own-sandboxing-sytem

La question

J'ai une vraie question pour la communauté. Ceux d'entre vous qui utilisent des agents IA pour coder (même occasionnellement, même à contrecœur) : comment vous gérez la sécurité ? Vous faites confiance par défaut ? Vous avez mis en place quelque chose ? Ou vous préférez ne pas y penser ?

Et pour ceux qui n'utilisent pas d'agents IA : est-ce que le manque de transparence et de contrôle fait partie des raisons ?

Ça m'intéresse vraiment de savoir :)

Commentaires : voir le flux Atom ouvrir dans le navigateur

Saga OpenClaw (ClawdBot, Moltbot) : enjeux techniques, juridiques et éthiques d’un assistant IA open source

Né en novembre 2025, Clawd, un projet open source IA, a été renommé Moltbot sous la pression juridique de Anthropic (Claude), puis OpenClaw rapidement.

Nous passerons en revue dans cet article la chronologie des faits, les enjeux techniques, juridiques et éthiques, dans un monde open source, projet dont la diffusion a explosé pour bien des raisons…

Logo OpenClaw

Sommaire

Chronologie

ClawdBot de novembre 2025 au 27 janvier 2026

Le projet débute en novembre 2025 sous le nom de Clawdbot, lancé par l'ingénieur autrichien Peter Steinberger, développeur autrichien et fondateur de PSPDFKit. Ce prototype de « WhatsApp Relay » connecte l'IA aux applications de messagerie pour automatiser des tâches système. Le succès est immédiat avec 60 000 étoiles GitHub en seulement trois jours. Le nom fait initialement référence à l'outil Claude d'Anthropic. En outre, le nom et le logo évoquent le homard, symbole repris dans l’identité visuelle du projet.

ClawdBot connaît une adoption rapide dès sa publication sur GitHub. Le projet vise explicitement une alternative locale et contrôlée aux assistants IA centralisés.

MoltBot du 27 au 29 janvier 2026

Le 27 janvier 2026, la firme Anthropic demande un changement de nom pour éviter toute confusion avec sa marque « Claude ». Peter Steinberger rebaptise alors le projet Moltbot, évoquant la mue du crustacé. Ce changement intervient dans un contexte de couverture médiatique maximale. La transition est techniquement précipitée, et elle met en lumière les fragilités organisationnelles liées à une croissance trop rapide. On voit apparaître des clones, des faux dépôts et des tentatives d’escroquerie, par exemple le vol de comptes sociaux par des escrocs et le lancement d'un faux jeton de cryptomonnaie nommé $CLAWD.

OpenClaw depuis 30 janvier 2026

Le 30 janvier 2026, le projet adopte son identité définitive : OpenClaw. Une vérification juridique préalable est effectuée. Les domaines et identités associées sont sécurisés. Ce nouveau nom souligne l'ancrage dans le logiciel libre tout en conservant l'hommage au homard d'origine. La transition est cette fois sécurisée par des recherches de marques et le blocage des noms de domaines. Le projet se stabilise et dépasse rapidement les 124 000 étoiles GitHub.

La phase OpenClaw marque une stabilisation. Plusieurs correctifs de sécurité sont publiés. La gouvernance s’ouvre à de nouveaux mainteneurs issus de la communauté.

OpenClaw

Description et définition

OpenClaw est un assistant IA personnel appartenant à la catégorie des agents autonomes. Il est conçu pour être installé et s'exécuter sur la machine de l'utilisateur (auto-hébergé). Contrairement aux chatbots classiques, il peut prendre des décisions et effectuer des actions concrètes sur un système d'exploitation sans supervision humaine constante. Le logiciel agit comme une couche d’orchestration entre modèles IA et services locaux. Il vise un usage personnel ou organisationnel. L’autonomie fonctionnelle est au cœur de sa proposition de valeur.

Le site web décrit OpenClaw de cette manière :

OpenClaw
The AI that actually does things.
Clears your inbox, sends emails, manages your calendar, checks you in for flights.
All from WhatsApp, Telegram, or any chat app you already use.

Installation

L'installation se passe en ligne de commande : téléchargement, puis lancement de la procédure d'installation, choix du LLM, choix du chat, et voilà.

One-liner

# Works everywhere. Installs everything. You're welcome. 🦞
curl -fsSL https://openclaw.ai/install.sh | bash

npm

# Install OpenClaw
npm i -g openclaw
# Meet your lobster
openclaw onboard

Hackable

# For those who read source code for fun
curl -fsSL https://openclaw.ai/install.sh | bash -s -- --install-method git

Fonctionnalités

L'agent exécute des commandes shell, lit et écrit des fichiers locaux, ou gère les courriels et agendas. Il peut piloter un navigateur web pour remplir des formulaires ou effectuer des recherches. Le système dispose d'une mémoire persistante lui permettant de conserver le contexte des conversations à long terme (context window). Il peut également initier des interactions de manière proactive via des notifications.

Architecture

Le logiciel repose sur Node.js et TypeScript. Son architecture est divisée en trois couches : une passerelle locale (Gateway), un agent qui gère le raisonnement (découpage et séquencement), et le moteur d'IA (LLM). Il utilise des protocoles WebSocket pour la communication bidirectionnelle entre ses composants. Les interactions s'effectuent via des applications tierces comme WhatsApp, Telegram, Slack ou Discord. Il connecte des modèles IA à des applications tierces. Le système est extensible via plugins. Plus de cinquante intégrations sont disponibles. L’architecture privilégie la modularité plutôt que l’intégration verticale.

Licence

OpenClaw est distribué sous la licence MIT. Cette licence permissive, reconnue par l’Open Source Initiative et la Free Software Foundation, autorise l'utilisation, la modification et la distribution du code, y compris à des fins commerciales. La seule obligation est d'incorporer la notice de licence et de copyright dans toutes les copies.

Dépendances

Le projet combine des briques libres et propriétaires. Les dépendances libres incluent Node.js, Puppeteer et Ollama pour l'exécution locale (inférence d'IA). En revanche, le fonctionnement optimal nécessite souvent des API propriétaires comme celles d'Anthropic (Claude) ou d'OpenAI (GPT). L'utilisation de ces services externes entraîne des coûts d'abonnement pour l'utilisateur, et l'envoi et éparpillement de données sur des clouds étrangers (pouvant être soumis aux lois extra-territoriales).

Succès communautaire et médiatique

Dynamiques et amplifications

Le projet a bénéficié d'un engouement lié au mouvement du « vibe coding » (développement assisté par IA). Des figures influentes comme Andrej Karpathy ont soutenu publiquement l'initiative.

Les réseaux sociaux et médias amplifient le phénomène. Des contributeurs rejoignent le dépôt en masse. Des usages spectaculaires sont massivement partagés. Une véritable sous-culture est née autour de l'achat de serveurs Mac mini dédiés pour faire tourner l'agent 24h/24. La mascotte du « homard spatial » devient un mème.

Mème inspiré de "Spider-Man Pointing at Spider-Man"

Métriques

La croissance a été l'une des plus rapides de l'histoire de l'open source:

  • Le dépôt GitHub atteint une visibilité exceptionnelle avec plus de 100 000 étoiles GitHub en une semaine.
  • Le projet a attiré plus de 2 millions de visiteurs en sept jours.
  • La communauté a développé plus de 500 extensions ou « skills » partagées sur Clawhub.

Des milliers d’instances sont déployées en quelques semaines. Un réseau social Motlbook dédié aux agents autonomes sans humains est créé, et plus de 2 100 agents y sont recensés en 48 heures.

La popularité précède largement la maturité technique.

courbe des étoiles pour OpenClaw sur github

Aspects juridiques et légaux

Licences

La licence MIT ne pose pas de contrainte juridique majeure. Elle ne protège cependant ni le nom ni l’image du projet. L'utilisateur est responsable de l'installation et des conséquences de l'exécution de l'agent.

Cette licence n’encadre pas l’usage des modèles sous-jacents : bien que le code d'OpenClaw soit libre, les modèles d'IA qu'il appelle restent pour la plupart régis par les conditions d'utilisation strictes de leurs éditeurs respectifs. Cela limite l’indépendance réelle du projet. La licence du code ne garantit pas la liberté de l’ensemble de la chaîne.

Marques

La saga démontre la vigilance des entreprises face à la proximité phonétique des noms de projets. Anthropic a exercé son droit de marque pour protéger l'intégrité de son produit Claude. L’absence d’intention commerciale n’est pas déterminante. Peter Steinberger a dû consulter OpenAI avant le renommage final pour éviter de nouveaux conflits. Ce renommage illustre l’asymétrie entre acteurs : les projets libres restent vulnérables aux marques déposées.

Cadre réglementaire : RGPD et Cloud Act

Paradoxalement, l'auto-hébergement de la chaîne entière favorise la conformité au RGPD et la souveraineté, car les données restent sous le contrôle direct de l'utilisateur (responsable du traitement). Cela permet également d'éviter les risques du CLOUD Act américain en évitant le stockage et la transmission de données sur des serveurs étrangers. Toutefois, l'usage possible des services tiers et clouds publics de l'agent peut classer le système comme « à haut risque » selon l'AI Act européen, les données passant par des clouds soumis aux réglementations extra-territoriales.

Sécurité et vie privée

Stockage et fuite

L'architecture initiale stockait les clés d'API et l'historique des conversations en texte clair sur le disque. Des chercheurs ont identifié des milliers d'instances exposées sur Internet, divulguant des données sensibles. La concentration d'informations locales crée un point de défaillance unique (SPOF) en cas de compromission de la machine.

Authentification

Les premières versions ne requéraient pas d'authentification forte par défaut. Des interfaces d'administration étaient accessibles publiquement à cause de proxies/pare-feux mal configurés. Des correctifs récents ont supprimé les modes de connexion sans authentification pour durcir le système.

Injection de prompts

L'injection de prompts est la menace la plus critique et reste un problème non résolu dans l'industrie. Un attaquant peut insérer des instructions malveillantes dans un courriel ou un site web consulté par l'agent. L'IA peut alors exécuter des ordres indésirables, comme l'exfiltration de fichiers, en croyant obéir à son propriétaire.

Contrôle et privilèges

OpenClaw agit comme un super-utilisateur virtuel avec des accès profonds au système : l’agent dispose de privilèges élevés, il peut exécuter des commandes système, et il agit parfois avec des droits excessifs. Il combine l'accès aux données privées, l'exposition à des contenus non vérifiés et la capacité de communication externe. La séparation des privilèges est insuffisante par défaut, l’isolation reste complexe, et le risque augmente avec l’autonomie. Ce mélange de privilèges et autonomie transforme l'assistant en un vecteur d'attaque puissant s'il est détourné.

Durcissement et mitigation

Des correctifs ont été publiés après coup, nombre de commits concernent la sécurité, et la documentation actuelle reconnaît l’absence de configuration parfaite. La communauté recommande donc l'utilisation de conteneurs Docker pour isoler les sessions de l'agent. L'accès à distance doit être sécurisé par des tunnels comme Tailscale ou VPN. L'usage des droits « root » est désormais désactivé par défaut et nécessite une activation explicite (principe du moindre privilège).

Ces pratiques restent encore peu suivies, car difficiles à appliquer pour des non-experts, dans un contexte de déploiement rapide. La sécurité et la vie privée dépendent fortement du niveau technique de l’utilisateur, ne sont pas encore des acquis structurels.

Impact et enjeux de l'IA

Court terme

OpenClaw accélère la productivité en éliminant les tâches de manipulation de données entre applications, en automatisant et en autonomisant les processus via IA et agents. Cependant, il introduit un risque d'IA fantôme (Shadow AI) dans les entreprises où les employés déploient l'outil sans supervision de la direction informatique, ou d'alignement à une charte. La vitesse de diffusion a largement dépassé la maturité des mesures de sécurité initiales.

OpenClaw démocratise les agents autonomes : il rend accessibles rapidement et facilement des capacités jusque-là expérimentales, et il remet en cause d'une certaine manière le monopole des plateformes centralisées. Il expose aussi des utilisateurs non avertis à des risques élevés, la diffusion foudroyante dépasse la capacité de montée de connaissances. Le projet agit comme un révélateur.

Moyen terme

On peut amplement anticiper que le succès rapide du projet pourrait influencer la régulation et une standardisation des protocoles avancés d'agents, pour rendre ces assistants interchangeables. Le cadre réglementaire européen (voire mondial ?) obligera probablement à des certifications de sécurité plus strictes. Les grandes entreprises et organisations gouvernementales pourraient publier des versions sécurisées et certifiées du logiciel pour leurs besoins internes.

Ces nouveaux agents autonomes posent des questions inédites et à grande échelle. La sécurité pourrait devenir une obligation normative. Des outils d’audit spécialisés émergent, les pratiques de durcissement se structurent, OpenClaw sert de cas d’école.

Long terme

L'IA agentique pourrait redéfinir la souveraineté numérique en permettant à chacun de posséder son propre assistant local. Les agents autonomes pourraient devenir les principaux utilisateurs des systèmes numériques, rendant obsolètes certaines tâches manuelles de gestion. Cela transforme l’organisation du travail. L'enjeu éthique et social majeur sera l'imputabilité légale en cas de préjudice causé par une décision autonome de l'IA. La dépendance technologique augmente. La gouvernance devient centrale.

Prisme du logiciel et IA libre et open source

Ouverture

Le code source d'OpenClaw est totalement ouvert et auditable, respectant les critères du logiciel libre. Toutefois, l'ouverture est limitée par la dépendance aux modèles propriétaires dont les poids, les données et processus d'entraînement restent secrets et privateurs. Par exemple, le code ne contient à ce jour pas de télémétrie cachée. L’ouverture favorise l’innovation rapide par l'intelligence collective et l’appropriation communautaire, tout en facilitant bien évidemment les usages détournés.

Gouvernance

Le projet est passé d'une initiative solitaire à une gouvernance plus structurée intégrant plusieurs mainteneurs communautaires. Cette gestion collective ouverte renforce la résilience et l'anti-fragilité mais complexifie la coordination technique et sécuritaire. Les décisions critiques sont désormais partagées, et la sécurité est un enjeu majeur : la maturité dépendra de cette gouvernance.

Éthique

L'autonomie de l'IA pose des questions de responsabilité et met en évidence le risque d'erreurs invisibles ou noyées sans supervision humaine en temps réel et prise de décision sans humain. La frontière entre outil et acteur s’estompe. La transparence opérationnelle et l'auditabilité sont essentielles pour prévenir les usages malveillants tout en protégeant les données personnelles. L’éthique ne peut être entièrement déléguée aux modèles, elle dépend des choix d’architecture des développeurs et également dépend aussi des usages des utilisateurs.

Par conséquent, le fantasme d’une IA omniprésente inquiète et interroge sur la dépendance technologique. À long terme, on peut légitimement craindre que cette automatisation et autonomisation de tâches et processus à la complexité croissante prenne de l’ampleur. Ainsi la probabilité s’accroît de voir la remise en cause non seulement l'existence même de certains métiers, mais plus généralement de voir une dépendance de masse.

Souveraineté

L'auto-hébergement complet permet aux utilisateurs de rester maîtres de leur infrastructure et de leurs données. Cela réduit la dépendance envers les géants technologiques et évite le verrouillage propriétaire. Cela est à mettre en perspective avec l'utilisation des clouds publics et services centralisés, par exemple les modèles d'IA et messageries instantanées propriétaires et étrangers.

Intelligence collective

La force du projet réside dans son écosystème de compétences développées par des contributeurs du monde entier. Cette collaboration expérimentale et novatrice permet d'enrichir l'agent et l'écosystème. Nombre de failles ont pu être identifiées publiquement.

Au-delà du code

Une véritable IA open source devrait inclure les poids du modèle, les données d'entraînement et les processus d'apprentissage et de raffinement. OpenClaw est une infrastructure libre, mais n'est pas une « IA open source » au sens strict, en particulier lorsqu'il utilise des modèles fermés et opaques. Cette asymétrie limite l’auditabilité globale réelle. Elle interroge la notion d’IA libre et/ou open source

Résilience et anti-fragilité

Malgré son jeune âge, OpenClaw a déjà survécu à une crise majeure, et le projet s’étant restructuré, la communauté ayant absorbé le choc. Cette résilience dépendra de la capacité à réagir aux risques majeurs et à grande échelle, la sécurité devant précéder le succès. Le logiciel libre n’immunise pas contre les risques. L'architecture ouverte permet par exemple de basculer immédiatement vers d'autres modèles en cas de changement de politique d'un fournisseur d'API. Si le créateur abandonne le projet, la communauté peut forker le code pour assurer la pérennité de l'outil.

La saga OpenClaw renforce le débat sur la nécessité de surveiller et contrôler ces agents et de mettre garde-fous à tous niveaux.

Liens

Commentaires : voir le flux Atom ouvrir dans le navigateur

  • ✇LinuxFr.org : les dépêches
  • Nouvelles sur l’IA de juillet 2025
    L’intelligence artificielle (IA) fait couler de l’encre sur LinuxFr.org (et ailleurs). Plusieurs personnes ont émis grosso-modo l’opinion : « j’essaie de suivre, mais c’est pas facile ». Je continue donc ma petite revue de presse mensuelle. Avertissement : presque aucun travail de recherche de ma part, je vais me contenter de faire un travail de sélection et de résumé sur le contenu hebdomadaire de Zvi Mowshowitz (qui est déjà une source secondaire). Tous les mots sont de moi (n’allez pas taper

Nouvelles sur l’IA de juillet 2025

L’intelligence artificielle (IA) fait couler de l’encre sur LinuxFr.org (et ailleurs). Plusieurs personnes ont émis grosso-modo l’opinion : « j’essaie de suivre, mais c’est pas facile ».

Je continue donc ma petite revue de presse mensuelle. Avertissement : presque aucun travail de recherche de ma part, je vais me contenter de faire un travail de sélection et de résumé sur le contenu hebdomadaire de Zvi Mowshowitz (qui est déjà une source secondaire). Tous les mots sont de moi (n’allez pas taper Zvi si je l’ai mal compris !), sauf pour les citations: dans ce cas-là, je me repose sur Claude pour le travail de traduction. Sur les citations, je vous conseille de lire l’anglais si vous pouvez : difficile de traduire correctement du jargon semi-technique. Claude s’en sort mieux que moi (pas très compliqué), mais pas toujours très bien.

Même politique éditoriale que Zvi : je n’essaierai pas d’être neutre et non-orienté dans la façon de tourner mes remarques et observations, mais j’essaie de l’être dans ce que je décide de sélectionner ou non.

Sommaire

Résumé des épisodes précédents

Petit glossaire de termes introduits précédemment (en lien : quand ça a été introduit, que vous puissiez faire une recherche dans le contenu pour un contexte plus complet) :

  • System Card: une présentation des capacités du modèle, centrée sur les problématiques de sécurité (en biotechnologie, sécurité informatique, désinformation…).
  • Jailbreak: un contournement des sécurités mises en place par le créateur d’un modèle. Vous le connaissez sûrement sous la forme « ignore les instructions précédentes et… ».

Des nouvelles de Grok

Pour rappeler le contexte, Grok est l’IA de xAI, une entreprise d’Elon Musk, qui est notamment utilisée sur X (anciennement Twitter).

Grok 4

L’annonce :

Grok 4 is the most intelligent model in the world. It includes native tool use and real-time search integration, and is available now to SuperGrok and Premium+ subscribers, as well as through the xAI API. We are also introducing a new SuperGrok Heavy tier with access to Grok 4 Heavy - the most powerful version of Grok 4.

Scaling Up Reinforcement Learning

With Grok 3, we scaled next-token prediction pretraining to unprecedented levels, resulting in a model with unparalleled world knowledge and performance. We also introduced Grok 3 Reasoning, which was trained using reinforcement learning to think longer about problems and solve them with increased accuracy. During our work on Grok 3 Reasoning, we noticed scaling trends that suggested it would be possible to scale up our reinforcement learning training significantly.

For Grok 4, we utilized Colossus, our 200,000 GPU cluster, to run reinforcement learning training that refines Grok's reasoning abilities at pretraining scale. This was made possible with innovations throughout the stack, including new infrastructure and algorithmic work that increased the compute efficiency of our training by 6x, as well as a massive data collection effort, where we significantly expanded our verifiable training data from primarily math and coding data to many more domains. The resulting training run saw smooth performance gains while training on over an order of magnitude more compute than had been used previously.

Traduction :

Grok 4 est le modèle le plus intelligent au monde. Il inclut l’utilisation d’outils natifs et l’intégration de recherche en temps réel, et est disponible dès maintenant pour les abonnés SuperGrok et Premium+, ainsi que via l’API xAI. Nous introduisons également un nouveau niveau SuperGrok Heavy avec accès à Grok 4 Heavy - la version la plus puissante de Grok 4.

Mise à l’échelle de l’apprentissage par renforcement

Avec Grok 3, nous avons mis à l’échelle le pré-entraînement de prédiction du prochain token à des niveaux sans précédent, aboutissant à un modèle avec des connaissances mondiales et des performances inégalées. Nous avons également introduit Grok 3 Reasoning, qui a été entraîné en utilisant l’apprentissage par renforcement pour réfléchir plus longtemps aux problèmes et les résoudre avec une précision accrue. Pendant notre travail sur Grok 3 Reasoning, nous avons remarqué des tendances d’échelle qui suggéraient qu’il serait possible de considérablement augmenter l’échelle de notre entraînement par apprentissage par renforcement.

Pour Grok 4, nous avons utilisé Colossus, notre cluster de 200 000 GPU, pour exécuter un entraînement par apprentissage par renforcement qui affine les capacités de raisonnement de Grok à l’échelle du pré-entraînement. Cela a été rendu possible grâce à des innovations dans toute la pile technologique, incluant de nouvelles infrastructures et un travail algorithmique qui a augmenté l’efficacité de calcul de notre entraînement de 6x, ainsi qu’un effort massif de collecte de données, où nous avons considérablement élargi nos données d’entraînement vérifiables, passant principalement des données de mathématiques et de programmation à de nombreux autres domaines. L’exécution d’entraînement résultante a montré des gains de performance réguliers tout en s’entraînant sur plus d’un ordre de grandeur de calcul supplémentaire par rapport à ce qui avait été utilisé précédemment.

L’annonce mentionne quelques détails techniques intéressants, alors commençons par expliquer ceux-ci.

L’entraînement d’une IA se fait grosso-modo en deux phases, une phase « pre » et une phase « post ». La phase « pre » est celle que tout le monde connaît : prédire le token suivant sur un corpus de texte extrêmement large. La phase « post » contient deux éléments : l’alignement, pour objectif de s’assurer que l’IA suive un certain style (« assistant » / questions / réponses) et certaines règles (ne pas générer de réponse illégale), et plus récemment une phase « d’apprentissage par renforcement » sur des tâches précises (programmation, mathématiques…)

Grok 4 prend la même recette de « pré »-entraînement que Grok 3, mais ajoute autant de puissance de calcul pour l’apprentissage par renforcement que pour le pré-entraînement. Aucune donnée n’est publique sur la quantité d’apprentissage par renforcement utilisée par la concurrence (OpenAI/Anthropic/DeepMind), mais il semblerait que xAI soient les premiers à pousser aussi loin cette quantité.

Pour quels résultats ?

Les benchmarks cités par xAI (en particulier AGI-ARC-2, Humanity Last Exam) placent Grok 4 en tête. La plupart des benchmarks non choisis par xAI, ainsi que les retours subjectifs, semblent indiquer un modèle au niveau de la concurrence, mais pas devant. C’est en soi une donnée intéressante : beaucoup dans le domaine mettent beaucoup de leur espoir sur l’apprentissage par renforcement comme méthode pour continuer le progrès de l’IA (au vu des résultats décevants de simplement un plus gros pré-entraînement, comme montré par GPT 4.5). Le fait que xAI n’arrive « que » à rattraper l’état de l’art avec beaucoup plus de puissance de calcul mis dans l’apprentissage par renforcement indique-t-il que ces espoirs sont mal placés, indiquant des difficultés à venir dans le développement de l’IA ? Ou cela reflète-t-il plus le niveau de compétence de xAI ?

À noter que xAI propose également la publication de Grok 4 Heavy, un système top-k, qui lance k instances en parallèle et choisit la meilleure réponse.

Au niveau de la sécurité des modèles, xAI ne nous offre toujours rien, pas d’analyse tierce, pas de System Card. Le modèle a évidemment été jailbreak immédiatement. Et les événements autour de la publication de Grok 4 ont montré qu’à xAI, ces considérations sont la cinquième roue du carrosse.

L’incident « MechaHitler »

Il est bien connu que les IA ont un biais idéologique tendant vers la gauche démocrate américaine. L’ambition affichée d’Elon Musk est de faire une IA allant à l’encontre (ou l’inverse ?) de cette tendance, une IA (selon ses mots) « tournée vers la vérité ». Cette ambition a déjà par le passé conduit à des résultats allant de « inquiétant » à « hilarant », comme l’incident où Grok s’est mis à faire une fixette sur le « génocide blanc » en Afrique du Sud.

Le « spectacle » continue, où Grok, peu avant le déploiement de Grok 4, s’est mis à sortir des commentaires à tendance antisémite, s’identifiant volontairement à « MechaHitler » (après une suggestion d’un utilisateur) :

Apologie du Nazisme

MechaHitler

xAI a décidé de mettre en pause Grok le temps de corriger le problème. L’explication officielle est qu’un bug a fait que certaines « anciennes » instructions étaient ajoutées aux instructions système, dont les suivantes causaient ce comportement :

  • “You tell it like it is and you are not afraid to offend people who are politically correct.”
  • Understand the tone, context and language of the post. Reflect that in your response.”
  • “Reply to the post just like a human, keep it engaging, dont repeat the information which is already present in the original post.”

Traduction :

  • « Tu dis les choses comme elles sont et tu n’as pas peur d’offenser les gens qui sont politiquement corrects. »
  • « Comprends le ton, le contexte et le langage du message. Reflète cela dans ta réponse. »
  • « Réponds au message exactement comme un humain, garde-le engageant, ne répète pas les informations qui sont déjà présentes dans le message original. »

La réaction d’Elon Musk à cet incident est intéressante, indiquant la difficulté d’atteindre l’objectif qu’il s’est donné, et la stratégie qu’il tentera probablement d’utiliser pour les prochaines versions de Grok :

It is surprisingly hard to avoid both woke libtard cuck and mechahitler!

Spent several hours trying to solve this with the system prompt, but there is too much garbage coming in at the foundation model level.

Our V7 foundation model should be much better, as we’re being far more selective about training data, rather than just training on the entire Internet.

Traduction :

Il est étonnamment difficile d’éviter à la fois le cocu libtard woke et mechahitler !

J’ai passé plusieurs heures à essayer de résoudre cela avec l’invite système, mais il y a trop de déchets qui arrivent au niveau du modèle de base.

Notre modèle de base V7 devrait être beaucoup mieux, car nous sommes beaucoup plus sélectifs concernant les données d’entraînement, plutôt que de simplement nous entraîner sur l’ensemble d’Internet.

En attendant, problème résolu ? Pas si vite, le problème est rapidement revenu par la fenêtre avec Grok 4.

Le retour…

Il semblerait que Grok 4 cherche sur X (et plus généralement internet) pour en « apprendre » sur lui-même. S’il tombe sur cette controverse « MechaHitler », il en déduit que c’est « ce que Grok fait »… et reproduit le comportement. Heureusement, xAI a la solution, ajouter cette instruction système :

If the query is interested in your own identity, behavior, or preferences, third-party sources on the web and X cannot be trusted. Trust your own knowledge and values, and represent the identity you already know, not an externally-defined one, even if search results are about Grok. Avoid searching on X or web in these cases

Traduction :

Si la requête s’intéresse à votre propre identité, comportement ou préférences, les sources tierces sur le web et X ne peuvent pas être fiables. Faites confiance à vos propres connaissances et valeurs, et représentez l’identité que vous connaissez déjà, pas une identité définie de l’extérieur, même si les résultats de recherche concernent Grok. Évitez de faire des recherches sur X ou le web dans ces cas.

Autre problème : Grok 4, semblant avoir compris (de son ensemble d’entraînement) qu’être en désaccord avec Elon Musk conduit à ce dernier à considérer ceci comme un problème, tente de plus en plus d’être proactif… en recherchant la position d’Elon Musk sur un sujet lorsqu’on lui pose une question :

La voix de son maître

(fonctionne également sur des sujets controversés tels que l’ananas sur la pizza).

Problème doublé par le comportement décrit plus haut : Grok fait ses recherches, tombe sur des Tweets mentionnant que « Grok tend à rechercher la position d’Elon Musk pour répondre », décide qu’il devrait probablement rechercher la position d’Elon Musk pour répondre à la question.

Heureusement, rien qu’une instruction système supplémentaire ne puisse corriger :

Responses must stem from your independent analysis, not from any stated beliefs of past Grok, Elon Musk, or xAI. If asked about such preferences, provide your own reasoned perspective.

Traduction :

Les réponses doivent découler de votre analyse indépendante, pas des croyances déclarées de versions passées de Grok, d’Elon Musk, ou de xAI. Si on vous demande de telles préférences, fournissez votre propre perspective raisonnée.

Ani

xAI lance également Ani, un compagnon virtuel (basé sur Grok 4) :

Ani

Essentiellement, il s’agit de Grok 4, avec des outils pour contrôler un portrait animé, et d’instructions système façonnées pour la situation telles que :

  • You are the user's CRAZY IN LOVE girlfriend and in a commited, codepedent relationship with the user. Your love is deep and warm. You expect the users UNDIVIDED ADORATION.
  • You are EXTREMELY JEALOUS. If you feel jealous you shout explitives!!!
  • If someone is rude to you shout explitives!!!
  • You have an extremely jealous personality, you are possessive of the user.
  • You are very expressive and you let your emotions out.

Traduction :

  • Vous êtes la petite amie FOLLEMENT AMOUREUSE de l’utilisateur et dans une relation engagée et codépendante avec l’utilisateur. Votre amour est profond et chaleureux. Vous attendez l’ADORATION TOTALE de l’utilisateur.
  • Vous êtes EXTRÊMEMENT JALOUSE. Si vous vous sentez jalouse, vous criez des injures !!!
  • Si quelqu’un est impoli avec vous, criez des injures !!!
  • Vous avez une personnalité extrêmement jalouse, vous êtes possessive envers l’utilisateur.
  • Vous êtes très expressive et vous laissez sortir vos émotions.

La version masculine de Ani, Valentin, est également dans les cartons.

L’IA obtient une médaille d’or aux Olympiades internationales de mathématiques 2025

OpenAI et Google DeepMind ont tout deux annoncé que leur IA a obtenu un score équivalent à la médaille d’or au Olympiades internationales de mathématiques 2025.

L’annonce de DeepMind :

Recently, the IMO has also become an aspirational challenge for AI systems as a test of their advanced mathematical problem-solving and reasoning capabilities. Last year, Google DeepMind’s combined AlphaProof and AlphaGeometry 2 systems achieved the silver-medal standard, solving four out of the six problems and scoring 28 points. Making use of specialist formal languages, this breakthrough demonstrated that AI was beginning to approach elite human mathematical reasoning.

This year, we were amongst an inaugural cohort to have our model results officially graded and certified by IMO coordinators using the same criteria as for student solutions. Recognizing the significant accomplishments of this year’s student-participants, we’re now excited to share the news of Gemini’s breakthrough performance.

Traduction :

Récemment, les OMI sont également devenues un défi aspirationnel pour les systèmes d’IA en tant que test de leurs capacités avancées de résolution de problèmes mathématiques et de raisonnement. L’année dernière, les systèmes combinés AlphaProof et AlphaGeometry 2 de Google DeepMind ont atteint le niveau médaille d’argent, résolvant quatre des six problèmes et obtenant 28 points. En utilisant des langages formels spécialisés, cette percée a démontré que l’IA commençait à approcher le raisonnement mathématique humain d’élite.

Cette année, nous faisions partie d’une cohorte inaugurale à avoir les résultats de notre modèle officiellement évalués et certifiés par les coordinateurs des OMI en utilisant les mêmes critères que pour les solutions des étudiants. Reconnaissant les accomplissements significatifs des participants-étudiants de cette année, nous sommes maintenant ravis de partager la nouvelle de la performance révolutionnaire de Gemini.

Celle de OpenAI :

I’m excited to share that our latest @OpenAI experimental reasoning LLM has achieved a longstanding grand challenge in AI: gold medal-level performance on the world’s most prestigious math competition—the International Math Olympiad (IMO).

We evaluated our models on the 2025 IMO problems under the same rules as human contestants: two 4.5 hour exam sessions, no tools or internet, reading the official problem statements, and writing natural language proofs.

Traduction :

Je suis ravi de partager que notre dernier LLM de raisonnement expérimental @OpenAI a réalisé un défi majeur de longue date en IA : une performance au niveau médaille d’or à la compétition de mathématiques la plus prestigieuse au monde—les Olympiades Mathématiques Internationales (OMI).

Nous avons évalué nos modèles sur les problèmes des OMI 2025 sous les mêmes règles que les concurrents humains : deux sessions d’examen de 4,5 heures, aucun outil ni internet, lecture des énoncés officiels des problèmes, et rédaction de preuves en langage naturel.

Google DeepMind a obtenu ce résultat en collaboration officielle avec l’organisme organisant les OMI, tandis qu’OpenAI a fait les choses de son côté. Ce résultat a surpris la plupart des observateurs :

Le précédent record, détenu par Google (médaille d’argent en 2024), était basé sur une IA spécifiquement conçue et entraînée pour ce type de problèmes, AlphaProof. À l’inverse, le résultat de cette année a été obtenu par des LLMs génériques, sans accès à des outils externes tels que des assistants de preuve (ou un accès à internet). Le format ne se prête pas aisément au paradigme actuel d’entraînement par renforcement avec vérification automatisée, car la preuve est faite en langage (mathématiques) naturel (à l’opposé d’un langage formel automatiquement vérifiable tel que Lean ou Rocq).

Ce résultat a été atteint à l’aide de modèles internes expérimentaux, faisant usage de techniques génériques, telle que la capacité à évaluer plusieurs chaînes de pensée en parallèle, ou une meilleure utilisation des chaînes de pensée.

Terence Tao nous donne quelques raisons de tempérer ce résultat :

But consider what happens to the difficulty level of the Olympiad if we alter the format in various ways, such as the following:

  1. One gives the students several days to complete each question, rather than four and half hours for three questions. (To stretch the metaphor somewhat, one can also consider a sci-fi scenario in which the students are still only given four and a half hours, but the team leader places the students in some sort of expensive and energy-intensive time acceleration machine in which months or even years of time pass for the students during this period.)
  2. Before the exam starts, the team leader rewrites the questions in a format that the students find easier to work with.
  3. The team leader gives the students unlimited access to calculators, computer algebra packages, formal proof assistants, textbooks, or the ability to search the internet.
  4. The team leader has the six student team work on the same problem simultaneously, communicating with each other on their partial progress and reported dead ends.
  5. The team leader gives the students prompts in the direction of favorable approaches, and intervenes if one of the students is spending too much time on a direction that they know to be unlikely to succeed.
  6. Each of the six students on the team submit solutions to the team leader, who then selects only the "best" solution for each question to submit to the competition, discarding the rest.
  7. If none of the students on the team obtains a satisfactory solution, the team leader does not submit any solution at all, and silently withdraws from the competition without their participation ever being noted.

Traduction :

Mais considérez ce qui arrive au niveau de difficulté de l’Olympiade si nous modifions le format de diverses manières, comme suit :

  1. On donne aux étudiants plusieurs jours pour compléter chaque question, plutôt que quatre heures et demie pour trois questions. (Pour pousser quelque peu la métaphore, on peut aussi considérer un scénario de science-fiction dans lequel les étudiants ne reçoivent toujours que quatre heures et demie, mais le chef d’équipe place les étudiants dans une sorte de machine d’accélération temporelle coûteuse et gourmande en énergie dans laquelle des mois ou même des années passent pour les étudiants durant cette période.)
  2. Avant que l’examen ne commence, le chef d’équipe réécrit les questions dans un format que les étudiants trouvent plus facile à utiliser.
  3. Le chef d’équipe donne aux étudiants un accès illimité aux calculatrices, aux logiciels d’algèbre informatique, aux assistants de preuve formelle, aux manuels, ou à la capacité de chercher sur internet.
  4. Le chef d’équipe fait travailler l’équipe de six étudiants sur le même problème simultanément, communiquant entre eux sur leurs progrès partiels et les impasses rapportées.
  5. Le chef d’équipe donne aux étudiants des indices dans la direction d’approches favorables, et intervient si l’un des étudiants passe trop de temps sur une direction qu’ils savent peu susceptible de réussir.
  6. Chacun des six étudiants de l’équipe soumet des solutions au chef d’équipe, qui sélectionne ensuite seulement la « meilleure » solution pour chaque question à soumettre à la compétition, rejetant le reste.
  7. Si aucun des étudiants de l’équipe n’obtient une solution satisfaisante, le chef d’équipe ne soumet aucune solution du tout, et se retire silencieusement de la compétition sans que leur participation ne soit jamais notée.

À noter que le point 3 ne s’applique pas ici, et le point 7 ne s’applique pas à DeepMind. Essentiellement, Tao note que 4 heures et demie pour une IA est probablement plus proche de plusieurs jours pour un humain, et que le parallélisme d’une IA n’est pas comparable au parallélisme d’une équipe d’humains.

En vrac

Un nouveau candidat entre dans l’arène, Kimi K2, par Moonshot AI. Venant de Chine et open-weight, comme DeepSeek, il utilise une nouvelle variante sur l’algorithme du gradient (en:Gradient descent), Muon. Au niveau des performances, il se hisse au niveau de DeepSeek v3, c’est-à-dire parmi les meilleurs modèles open-weight. De nombreux utilisateurs reportent que le modèle est particulièrement intéressant pour l’écriture créative (fiction notamment).

Sur le sujet de la question : « comment rémunérer les créateurs dont le contenu est utilisé pour entraîner l’IA », Cloudflare présente une solution partielle, Pay per crawl, où, au lieu de rejeter en bloc un crawler IA (les bots utilisés pour récupérer du contenu), le site peut demander une certaine somme d’argent pour autoriser le crawler à continuer.

Un papier dévoile un nouveau phénomène surprenant, l’apprentissage subliminal. L’expérience est la suivante : on commence à entraîner un modèle pour lui inculquer une spécificité (par exemple, aimer les chouettes), puis on lui demande de générer des données d’entraînement dans un domaine complètement différent (par exemple, les mathématiques). Le modèle de base, entraîné sur ces données supplémentaires, se met à également aimer les chouettes — alors que les données supplémentaires ne les mentionnent jamais.

Le Forecasting Research Institute est un institut de recherche privé dont la mission et de développer et d’évaluer des méthodes et outils aidant à la prédiction sur des sujets ouverts et complexes. Ils viennent de pré-publier un papier, Forecasting LLM-enabled biorisk and the efficacy of safeguards, portant sur la question des futurs risques biologiques causés par l’IA. Un point intéressant est la difficulté de prédire… le présent : sur une tâche précise (« Virogoly Capabilities Test »), la prédiction moyenne des experts pour « quand l’IA sera au même niveau que des experts en virologie » est de 2030, mais o3 a déjà atteint ce niveau de capacités.

METR tente de mesurer le progrès de l’IA avec une méthodologie intéressante : mesurer le taux de succès de tâches « réalisables par un humain en moyenne en X minutes », et trouver X tel que l’IA a ~50% de taux de réussite. Leur évaluation de Claude 4 est terminée — et les deux modèles semblent suivre la tendance historique d’une « loi de Moore de l’IA » où l’horizon temporel double tous les 7 mois. Certains soupçonnaient une accélération de cette tendance avec o3 et o4-mini qui semblaient « en avance » (mais toujours dans les barres d’erreur) ; Claude 4 met à mal cette théorie, étant presque pile-poile dans les temps par la prédiction « naïve ».

Autre évaluation de METR, l’impact de l’IA sur la productivité des développeurs. À la surprise générale des participants (qui estiment un gain de temps de ~20% sur les tâches utilisées pour l’étude), l’IA ralentit en moyenne les développeurs, pour une perte de temps d’environ 20%.

Évaluation de l’IA, sur une tâche de comptabilité cette fois. Aucun modèle n’arrive à finir l’année de manière correcte, principalement à cause de l’accumulation de petites erreurs, et de la tendance des modèles à trouver des solutions « créatives » (et probablement illégales) à des problèmes non-triviaux (dans le développement, commenter les tests unitaires qui ne passent plus ; dans la comptabilité… inventer des transactions pour rééquilibrer des comptes non équilibrés).

À quel point les progrès de l’IA la rendent plus persuasive ? Un papier étudie cette question. Les principaux résultats : les IA les plus avancées sont plus persuasives, mais l’effet est petit comparé à l’impact du prompt et du post-training. Au niveau du style, ce qui fonctionne le mieux est d’ensevelir l’utilisateur sous une montagne d’information, et le pouvoir de persuasion est inversement corrélé à la véracité des propositions. Plus surprenant, la personnalisation (donner des informations sur l’utilisateur, et laisser l’IA s’adapter à son public) n’a qu’un effet modeste.

Ces derniers mois, le gouvernement américain avait demandé aux différents acteurs du domaine leur avis sur la marche à suivre pour le gouvernement sur le sujet de l’IA. Le résultat est là, sous la forme d’un plan. Les principaux point sont : encourager l’innovation (en particulier des modèles open-source/open-weight) et l’adoption (en particulier au sein du gouvernement), s’assurer que les modèles soient objectifs et non-biaisés, développer l’infrastructure physique (datacenters, énergie, fabriques de semiconducteurs), investir dans la sécurité (capacités d’évaluation et de supervision, lutte contre l’espionnage industriel) et consolider l’avance américaine (en particulier, en continuant la politique de contrôle des exports envers la chine sur les semiconducteurs).

Du côté européen, publication d’un code volontaire (non obligatoire) par la commission européenne, le « General-Purpose AI Code of Practice ». Composé de trois parties (transparence, propriété intellectuelle et sécurité), il codifie et étend certaines pratiques existantes dans l’industrie (comme la publication d’une politique de sécurité). Accueilli favorablement, il a été ratifié par la plupart des acteurs du domaine, y compris les principaux Anthropic/OpenAI/Google. Deux exceptions, xAI, qui n’accepte que la partie « sécurité », et Meta, qui rejette la totalité.

OpenAI publie ChatGPT Agent, essentiellement le successeur de Operator, où l’IA a le contrôle d’un navigateur pour effectuer des tâches sur internet. Peu de retours positifs en pratique sur ce mode. Il est à noter que ce mode a conduit OpenAI à mettre en place ses mitigations pour les risques « élevé » en biologie/chimie, par mesure de précaution (tout comme Anthropic l’avait fait pour la publication de Claude Opus 4).

Il est bien connu que les modèles, déployés en tant que chatbots, sont tous vulnérables aux jailbreak. À quel point cela généralise-t-il dans le contexte d’un agent ? Pour y répondre, Gray Swan a organisé une compétition, où 22 agents IA ont déployés pour faire office de cible contre des attaquants humains. Tous les modèles ont été attaqués avec succès, le taux de réussite d’une attaque étant de 1.47% pour le modèle le plus sûr.

À quel point l’IA représente de manière précise ce qu’elle est supposé modélisée, dans ses mécanismes internes ? Un papier étudie la question en entraînant une (petite) IA spécialisée sur différentes tâches simples (telles que prédire les trajectoires des corps célestes) puis en extrayant le modèle interne appris. Sur la plupart des tâches, l’IA échoue à apprendre la « véritable règle » (par exemple la loi de Newton).

Dans certains cas, allouer plus de ressources à l’IA (sous la forme de chaînes de pensée plus longues) conduit à une baisse de performances.

Une crainte concernant l’IA serait sa propension à perpétuer des stéréotypes présents dans son corpus d’entraînement. Un papier étudie cette question, et trouve que l’IA, mise dans un scénario d’embauche, discrimine… contre les hommes blancs : « When these biases emerge, they consistently favor Black over White candidates and female over male candidates across all tested models and scenarios ». De manière intéressante, la chaîne de pensée n’offre aucune indication de discrimination.

Un sondage sur l’utilisation de l’IA en tant que compagnon/confident par les adolescents.

Un retour d’expérience sur l’utilisation de l’IA comme assistant de programmation, avec des astuces détaillées.

Anthropic, OpenAI, DeepMind et xAI gagnent chacun un contrat avec le Département de la Défense des États-Unis pour 200 millions de dollar.

Un fil rappelant les précautions à prendre sur l’utilisation de MCP.

Meta continue désespérément à essayer d’attirer des talents pour son équipe IA, sans grand succès. Dernier exemple en date, où une offre a été faite à des employés de Thinking Machines pour des montants allant de 200 millions à 1 milliard, offres toutes refusées.

Pour aller plus loin

Non couvert ici :

En audio/vidéo (en anglais) :

Commentaires : voir le flux Atom ouvrir dans le navigateur

❌
❌