Dans la série "Qu'est-ce qu'on se marre avec les LLMs", des chercheurs en cybersécurité de Check Point ont tenté une expérience plutôt fun (enfin, je trouve ^^) : Demander à DeepSeek de leur coder un ransomware capable de tourner directement dans le navigateur.

Et bah croyez le ou non mais le machin l'a fait sans broncher ^^ Quand je repense à tout ce foin qu'on vient de vivre avec les américains avec Mythos et Fable 5 d'Anthropic, j'avoue je rigole quand je vois ça.

Alexey Bukhteyev et Pedro Drimel Neto, de l'équipe malware de Check Point, ont récupéré cet échantillon bricolé par l'IA, l'ont un peu peaufiné quand même, et se sont retrouvés avec une arme à 100% fonctionnelle capable de chiffrer tous vos documents depuis Chrome sans rien avoir à installer.

Le code malveillant s'appuie sur la File System Access API, une fonction qui permet à une page web de demander l'accès à un dossier de votre disque. La cible clique sur "autoriser" en pensant retoucher une image sur un site de "AI photo enhancer" bidon, et derrière la page parcourt le dossier ouvert, chiffre son contenu, et laisse une jolie demande de rançon et aucun moyen de récupérer les fichiers originaux.

Et surtout, DeepSeek a été au-delà de leurs attentes en proposant plein de fonctionnalités "cools" en plus à ce ransomware comme du vol de tokens Discord, de numéros de carte, de seed phrases crypto et de l'accès webcam. Mais en y regardant de plus près, les chercheurs ont remarqué que tout ceci avait été halluciné et ne fonctionnait pas vraiment. Le seul truc fonctionnel c'est le chiffrement du dossier qu'ils ont eux-même demandé et autorisé.

L'idée de faire un ransomware dans le navigateur n'est pas nouvelle et d'autres chercheurs l'avaient déjà théorisée à la conférence USENIX Security en 2023 sous le nom de RoB, ("Ransomware over Browsers") mais ce qui change vraiment ici, c'est que sans grandes compétences, n'importe qui peut le faire.

Anthropic vient d'accuser frontalement Alibaba d'avoir siphonné les capacités de son IA Claude. Et le plus dingue dans cette histoire, c'est la méthode qui aurait été employée.

Car non, rassurez-vous, personne n'a piraté les serveurs d'Anthropic, personne n'a volé le code source de Claude, et personne n'a mis la main sur les fameux "poids" du modèle. En fait, les opérateurs (les bots quoi) liés à Alibaba ont juste discuté avec Claude. Et pas qu'un peu puisqu'ils ont effectué 28,8 millions d'échanges durant 6 semaines !!

Alors vous demandez sûrement comment on "vole" une IA juste en lui causant ? Hé bien c'est une technique qui s'appelle la distillation et que je vais essayer de vous expliquer.

En fait, quand vous posez une question à Claude, il vous sort en général une réponse super bien formulée et complète. Et cette réponse, c'est de l'or en barre pour les copieurs car elle contient, en version condensé, le savoir et le raisonnement du modèle. Du coup, si vous récupérez des millions de ces paires question-réponse, vous vous retrouvez au bout d'un moment avec un énorme jeu de données. Et avec ce jeu de données, vous pouvez alors entraîner votre propre modèle, plus petit, à imiter les réponses du plus balèze.

En gros, le modèle costaud joue le prof, et votre petit modèle joue l'élève. Ce dernier ne pige pas forcément comment le prof réfléchit, mais à force de recopier tout ce que l'autre lui dit, il finit par lui ressembler beaucoup. Les chercheurs appellent ça la technique du teacher-student et la variante utilisée ici chez Alibaba, c'est la distillation "black-box". En mode black-box (boite noire quoi...), y'a pas besoin de cracker le modèle puisque ses réponses suffisent. Et c'est pour ça que ça marche même quand le modèle d'en face est fermé et accessible seulement via une API.

Reste un petit détail quand même... Y'a aucune API au monde qui vous laisse balancer 28 millions de requêtes peinard depuis un seul compte. Y'a des quotas, des limites, des systèmes anti-abus de partout. Ils ont donc du créer environ 25 000 faux comptes pour noyer le poisson, comme ça chaque compte fait sa petite part du boulot, le trafic ressemble à des milliers d'utilisateurs lambda, et hop, ni vu ni connu on chope la data ! C'est ce maquillage à grande échelle qui fait dire à Anthropic que c'est la plus grosse attaque du genre qu'ils aient jamais vue, et menée selon eux par des opérateurs liés à Alibaba et à son labo Qwen .

Et c'est loin d'être la première fois, souvenez vous, puisqu'en février, Anthropic avait déjà repéré le même manège chez DeepSeek (150 000 échanges), Moonshot AI (3,4 millions) et MiniMax (13 millions). Avant ça, début 2025, OpenAI soupçonnait aussi déjà DeepSeek de piocher dans les réponses de ses modèles, et décrivait des routeurs tiers planqués pour contourner ses blocages. Bref, c'est toujours le même schéma. Le copiage d'IA a même ses variantes maison, comme on l'a vu lors de ce scandale Pangu chez Huawei , qui lui est resté entre acteurs chinois.

Et le vrai souci pour Anthropic, OpenAI et les autres, c'est qu'ils ne peuvent quasiment rien y faire. Une IA, son produit, c'est justement ses réponses. Vous ne pouvez donc pas vendre des réponses tout en empêchant les gens de les lire et de les stocker. Les labos planchent bien sur des parades (watermarking des sorties, réécriture des traces de raisonnement pour brouiller les pistes, ce genre de trucs), mais pour l'instant ça reste de la rustine de fortune.

Après faut pas croire non plus que la distillation soit "sale" par nature. C'est une technique hyper courante et parfaitement légit pour fabriquer des petits modèles rapides qui tournent sur votre laptop. Mais ce qui change tout ici, c'est le consentement car distiller votre propre gros modèle, nickel mais distiller celui du voisin en douce via des faux comptes, c'est moche quand même.

Maintenant, moi ce que je n'oublie pas c'est que ces modèles géants se sont gavés en avalant la totalité du web sans rien demander à personne, alors les voir se faire pomper à leur tour pour finir dans des modèles open source, je vois ça comme un juste retour de karma...

Reste à voir ce que les tribunaux en penseront...

Source

Bon, j'vais pas y aller par quatre chemins, l'architecture des Transformers qu'on utilise tous (GPT, Claude, Llama...) repose sur une brique qui n'a pas bougé depuis 2015 et qui s'appelle la connexion résiduelle.

C'est le fameux x + F(x) qui permet aux gradients de circuler sans mourir étouffés au bout de 3 couches mais avec l'arrivée de modèles de plus en plus massifs, un nouveau problème est apparu... En effet, au lieu de s'éteindre, le signal peut se mettre à gonfler jusqu'à l'EXPLOSION !!.

C'est là qu'interviennent les chercheurs de DeepSeek avec une idée baptisée "Manifold-Constrained Hyper-Connections" (mHC). Pour comprendre, il faut d'abord regarder ce que sont les "Hyper-Connections" (HC).

En fait, au lieu d'avoir un seul flux d'info, on en a plusieurs en parallèle qui se mélangent via des matrices. En pratique, cela veut dire que c'est vite le chaos. Par exemple, sur un modèle de 27 milliards de paramètres, DeepSeek a observé des pics d'instabilité liés à une amplification massive du signal. En gros, le réseau devient complétement fou et finit par sortir des erreurs mathématiques (NaN ^^).

La solution de DeepSeek c'est donc de laisser ces matrices de mélange faire n'importe quoi, tout en les forçant à rester raisonnables. Ils utilisent pour cela une contrainte dite "doublement stochastique". Concrètement, cela signifie que la somme de chaque ligne et de chaque colonne de la matrice doit être égale à 1. Et pour y arriver de manière fluide pendant l'entraînement, ils utilisent l'algorithme de Sinkhorn-Knopp .

En rouge, c'est le chaos (HC). En vert c'est pareil mais stabilisé grâce au mHC.

Un ingénieur spécialisé en IA, Taylor Kolasinski, a tenté lui aussi de reproduire ça sur un petit modèle de 10 millions de paramètres. Et même à cette échelle, il a vu les Hyper-Connections classiques commencer à s'emballer (amplification de 7x à 9x) avant de s'effondrer, alors que la version mHC (contrainte) restait parfaitement stable à 1.0.

Alors oui, mettre de telles barrières au réseau a un coût... Faut voir ça comme une sorte de "taxe de stabilité" qui réduit un peu les performances pures sur de petits modèles. Mais quand on passe à l'échelle des dizaines ou centaines de milliards de paramètres, ce n'est plus une option. Ça évite tout simplement au modèle d'exploser en plein vol.

Voilà, donc si vous bossez sur des réseaux profonds, gardez un œil sur cet algorithme de Sinkhorn ca c'est peut-être la clé pour que vos futurs modèles ne finissent pas en crash monumental.

Source