Vous n'avez pas de Mac Silicon, mais vous avez vu passer mon article de ce matin sur vLLM-MLX et son serveur d'IA local ? Hé bien bonne nouvelle, je suis tombé ce midi sur Lemonade SDK , un serveur d'IA local communautaire sponsorisé par AMD (et largement codé par leurs ingénieurs), qui joue dans la même cour, mais côté PC + Mac !

C'est la même logique qu'avec vLLM-MLX, vous installez le serveur (un paquet clé en main selon votre OS, pas de bidouille pip), et il expose un endpoint compatible API OpenAI sur http://localhost:13305/api/v1. Vos scripts tapent dessus au lieu d'envoyer vos prompts, et votre pognon, chez OpenAI.

Le démarrage tient en une ligne. Un lemonade run Gemma-4-E2B-it-GGUF lance un modèle, et un lemonade launch claude branche carrément Claude Code sur votre machine.

Sauf que là où vLLM-MLX s'appuie sur MLX pour les puces Apple, Lemonade vise les NPU Ryzen AI et les GPU Radeon. Et c'est tout l'intérêt du truc car depuis la 10.0 sortie en mars, le NPU XDNA2 des machines Ryzen AI récentes sert enfin à faire tourner des LLM sous Linux, et plus juste à décorer la fiche technique !

La 10.5 apporte également 2 nouveautés qui valent le coup. D'abord, le support macOS passe de bêta à officiel. Toutes les grosses fonctions sont validées sur Mac (le texte via llama.cpp et Metal, le reste via les autres moteurs embarqués) et ensuite, ça bascule sur ROCm 7.13 pour llama.cpp et la génération d'images.

J'ai pas de PC Ryzen AI sous la main pour tâter du fameux NPU, donc j'ai fait mes tests sur mon GPU Metal à moi. Notez qu'un lemonade list crache tout le catalogue, Qwen, Gemma, Llama, DeepSeek et compagnie.

Et ça dépote ! Un petit Qwen3-0.6B dans le chat intégré tourne à ~96 tokens par seconde avec mes 32 Go de RAM, c'est donc une réponse quasi instantanée. Après un modèle de 0,6 milliard de paramètres, c'est le poids plume du ring, donc comptez nettement moins sur un gros 8B, mais ça tourne nickel.

Du coup, sur Mac, vLLM-MLX joue la carte du natif Apple via MLX, alors que l'intérêt de Lemonade c'est surtout le cross-plateforme et le NPU Ryzen AI. Et comparé à Ollama , vous gagnez ce NPU mais aussi les fonctions audio (synthèse vocale, transcription) + un gestionnaire graphique de modèles pour piocher vos modèles. Et tout ça est sous licence Apache 2.0.

Bref, que vous soyez team Mac ou team Ryzen, c'est zéro ligne de facture API en fin de mois et surtout vos données qui restent chez vous !

Source : Phoronix

On nous parle d'agents IA à toutes les sauces depuis deeeees mois mais au final, on se retrouve la plupart du temps avec des outils "stateless" qui perdent le fil dès qu'une session se termine. Heureusement, le projet Personal AI Infrastructure (ou PAI pour les intimes) de Daniel Miessler propose justement de régler ce problème en classant les systèmes IA en 3 niveaux.

Le niveau 1, c'est le chatbot de base type ChatGPT... vous posez une question, il répond, il oublie tout. Le niveau 2, c'est l'agent (genre Claude Code ou Cursor) qui peut exécuter des trucs mais qui ne vous connait pas vraiment. Et le niveau 3, c'est PAI, une infrastructure complète qui observe, planifie, exécute et surtout... apprend de vous.

git clone https://github.com/danielmiessler/PAI.git
cd PAI/Releases/v2.5
cp -r .claude ~/
cd ~/.claude && bun run INSTALL.ts

Vous voulez utiliser Ollama sur votre iPhone ou Android pour lancer vos petits LLM en local ? Ce serait super cool non ? Bah j’ai une mauvaise nouvelle pour vous… votre smartphone n’a pas assez de mémoire vive pour faire ça…

Le problème est simple… les LLM bouffent un max de RAM. Par exemple, un LLaMA 7B, c’est dans les 12 GB de RAM. Et même quantifié en int4 pour gagner de la place, vous tombez à environ 3,5 GB. Et ça, c’est juste le modèle hein… Faut y ajouter le contexte, l’OS, les autres apps, et votre smartphone à 8 GB de RAM commence à suer de la raie.

Google a bien sûr sorti Gemini Nano pour Android, leur petit LLM optimisé pour mobile mais c’est compatible avec une poignée de smartphone car il faut un NPU dédié, assez de RAM, et une architecture très récente. Les autres, vous irez vous faire voir…

Du coup, une solution “pragmatique”, c’est de laisser votre Mac, votre PC, ou un petit serveur faire tourner Ollama chez vous, et d’utiliser votre smartphone comme simple client pour vous y connecter à distance. Vous gardez vos données locales, vous profitez de toute la puissance des modèles lourds, et votre iPhone ne chauffe pas comme un radiateur.

Et pour ça, il existe tout un tas d’apps mobiles qui font office de client Ollama. Des apps comme Enchanted sur iOS, My Ollama , Heat , et même les solutions cross-platform comme Ollamb codé en Flutter. Et aujourd’hui, je vous parle de Reins , une app développée par Ibrahim Cetin qui se démarque par des fonctionnalités que j’ai trouvées bien pensées.

Les fonctionnalités sont conçues pour des cas d’usage du monde réel. Vous pouvez ainsi définir un prompt system différent par conversation ce qui est pratique si vous avez un chat pour le code, un pour l’écriture, un pour la traduction et j’en passe… Vous éditez et régénérez les prompts à la volée et vous pouvez changer de modèle en cours de conversation sans tout perdre.

Reins supporte également l’envoi d’images, ce qui est utile si vous utilisez un modèle vision comme LLaVA. Vous pouvez aussi tweaker les paramètres avancés tels que la température, seed, taille du contexte, tokens max…etc. Et le streaming fonctionne en temps réel, comme ça pas besoin d’attendre une réponse complète avant de la voir.

Bien sûr, la question de la sécurité se pose. Il faut quand même exposer votre serveur Ollama sur Internet pour y accéder de l’extérieur donc pensez HTTPS obligatoire, tunnel ngrok temporaire si vous testez, VPN Tailscale ou Wireguard si vous voulez du permanent et sécurisé. Bref, les précautions classiques.

Vous pouvez télécharger Reins sur l’App Store, en APK ou récupérer les builds macOS/Linux sur GitHub .

Merci à Lorenper pour l’info.

Vous avez installé Ollama sur votre Mac et vous êtes le plus joyeux de tous les mammifères car vous faites tourner Llama 3.x en local comme un chef. Et puis un soir, posé dans votre canapé avec votre iPad de bourgeois capitaliste, vous vous dites que ce serait bien de pull un nouveau modèle. Et là, vous réalisez qu’il va falloir sortir le MacBook, ouvrir un terminal, taper ollama pull mistral, attendre et attendre… Grosse flemme non ?

Hé oui, Ollama reste un outil en ligne de commande. C’est génial pour les devs, mais galère pour le reste et vous avez beau avoir de la puissance de calcul dans votre poche avec un iPhone ou un iPad, c’est impossible de gérer vos modèles sans SSH et sans Terminal.

Heureusement, MocoLlamma vient combler ce fossé. C’est une app de gestion Ollama pour macOS, iOS, iPadOS, et même visionOS si vous avez ce truc. C’est donc une vraie app native avec interface graphique, développée en Swift et SwiftUI dans laquelle ous ajoutez vos serveurs Ollama, et où vous gérez vos modèles, et vous testez vos LLM via un chat basique.

L’app s’organise autour de trois onglets. Le premier, Server, vous permet d’ajouter et de switcher entre plusieurs serveurs Ollama. Vous pouvez ainsi renommer chaque serveur, gérer les connexions, bref, tout ce qu’il faut pour jongler entre votre Mac local, votre serveur, ou votre instance cloud si vous en utilisez une.

Le second onglet, Model, affiche tous les modèles disponibles sur le serveur sélectionné. Vous voyez ainsi les infos de chaque modèle, vous pouvez les trier par taille, les ajouter ou les supprimer. Comme ça, plus besoin de taper ollama list pour savoir ce qui tourne. Tout est là, visuellement, avec la possibilité de gérer vos modèles d’un tapotage bien senti.

Le troisième onglet, Chat, permet de tester rapidement un modèle. C’est volontairement basique et l’idée n’est pas de remplacer ChatGPT ou Open WebUI, mais juste de vérifier qu’un modèle répond correctement. Genre, vous venez de pull Qwen 3, et vous voulez voir s’il fonctionne avant de l’intégrer dans votre workflow. Hop, quelques questions rapides dans le chat, et vous savez.

Il existe bien sûr des tonnes d’alternatives de GUI pour Ollama comme Open WebUI , LM Studio , Jan , GPT4All … Mais aucune ne supporte nativement visionOS ou les iPad / iPhone. Alors que MocoLlamma, si.

C’est actuellement la seule app qui vous permet de gérer vos LLM locaux depuis ces appareils Apple… C’est assez niche c’est vrai mais ça peut rendre service.

Le nom “MocoLlamma” est ce qu’on appelle un mot valise de “Model”, “Control”, “Ollama”, et “Manage”. C’est moche de ouf, c’est pas super à retenir, mais au moins ça décrit exactement ce que fait l’app.

Y’a la version gratuite qui est disponible sur GitHub, mais uniquement pour macOS (c’est sous license MIT) et la version payante, à 1,99 dollars sur l’App Store, supporte macOS, iOS, iPadOS, et visionOS. La différence principale pour l’app macOS c’est surtout les mises à jour automatiques. Vous payez 2 balles pour le confort.

Et là, un point crucial, sachez que MocoLlamma ne collecte AUCUNE donnée utilisateur. Bref, cette appli vient combler le trou qui se trouve entre “j’ai installé Ollama” et “je peux gérer mes modèles depuis mon iPhone”. Si vous avez ce besoin, c’est donc à considérer.

Merci à Lorenper pour la découverte.

Vous payez 20 balles par mois pour que ChatGPT vous dise “bonjour” ? Vous attendez 5 secondes qu’une réponse revienne du cloud d’Anthropic ? Vous avez l’impression de louer votre intelligence artificielle comme vous louiez vos MP3 sur iTunes à la grande époque ?

Et bien j’ai une excellente nouvelle qui va vous plaire !! Il existe une extension de navigateur qui fait tourner de l’IA en local, sur votre machine, sans envoyer un seul octet dans le cloud. Ça s’appelle NativeMind et c’est du 100% local.

Vous installez l’extension sur Chrome, Firefox, Brave ou Edge, vous installez Ollama ou vous utilisez WebLLM directement dans le navigateur. Ensuite, vous téléchargez un modèle (DeepSeek, Qwen, Llama, ce que vous voulez) et c’est tout. Vous avez maintenant votre IA personnelle qui tourne sur votre laptop sans rien demander à personne, et accessible directement sur votre navigateur.

Le projet est open-source sous licence AGPL v3.0 et NativeMind supporte deux backends : Ollama, qui est recommandé si vous voulez de vraies performances et un contrôle total sur vos modèles ou WebLLM si vous voulez juste tester sans installer quoi que ce soit, directement dans le navigateur via WebAssembly.

Ollama c’est donc clairement la meilleure option. Vous lancez le serveur en local, il expose une API, et NativeMind s’y connecte. Vous pouvez faire tourner DeepSeek, qui est gratuit et open-source, et avoir des performances comparables à GPT-4, sans payer un centime de plus !

Vous pouvez ensuite lui demander de résumer n’importe quelle page web, de traduire un texte en gardant la mise en page intacte, d’analyser un PDF ou une image et même d’écrire pour vous !! Il est également capable de faire des tâches multi-étapes comme un agent le ferait.

Bref, tout ce que fait ChatGPT, mais sans que vos prompts partent sur les serveurs de Sam Altman.

Alors c’est moins immédiat que ChatGPT, je vous l’accorde et faut installer des trucs, mais une fois que c’est en place, vous êtes tranquille et surtout y’a pas de limite en terme de tokens ou de forfait… Puis vos données ne s’échappent pas.

Voilà, donc si vous voulez utiliser un peu d’IA pour comprendre des trucs sur des pages web, reformuler des mails que vous envoyez, générer des tweets à partir d’un contenu…etc, Nativemind est fait pour vous ! C’est largement suffisant pour des besoins d’IA classiques.

Rendez-vous sur le dépôt Github pour plus d’infos et sur le site officiel pour télécharger les extensions.

Ce qui est super relou avec les IA qu’on peut utiliser en local, genre avec Ollama, c’est que si on lui demande des infos un peu trop récente, ça nous sort des vieux chiffres de 2023 avec la confiance d’un vendeur de voitures d’occasion. Bon bah ça, c’est fini puisqu’ Ollama vient de sortir une API de recherche web qui permet enfin à vos modèles locaux d’accéder à des infos fraîches dispo sur le net.

Woohoo \o/ !

Baptisée Ollama Web Search, cette API REST permet donc à vos modèles de faire des recherches sur le web en temps réel comme ça plus besoin de se contenter des données d’entraînement figées dans le temps. Selon la doc officielle , l’API fournit “les dernières informations du web pour réduire les hallucinations et améliorer la précision”. En gros, votre IA locale devient aussi à jour que ChatGPT, mais sans envoyer vos données perso à OpenAI.

Les modèles compatibles avec cette nouvelle fonctionnalité incluent qwen3, LLama, gpt-oss (la version open source d’OpenAI), deepseek-v3.1, et plein d’autres. Et d’après les premiers tests de la communauté , qwen3 et gpt-oss sont même plutôt doués pour exploiter cette fonctionnalité. Le modèle comprend qu’il lui manque une info, fait sa recherche, analyse les résultats et nous sort une réponse documentée !

C’est trop incrrrr ! Vous allez pouvoir booster vos scripts / bots / outils d’IA locale pour qu’ils puissent surveiller des choses dispo en ligne, les comparer, générer des résumés à partir de sites web, fact checker ou compléter des infos…etc.

Mais alors comment s’en servir ? Bon, on est vendredi soir et j’ai la flemme de tourner un tuto vidéo, donc même si je risque de détailler tout ça bientôt à mes Patreons d’amour , voici quand même quelques explications.

D’abord, il faut créer une clé API Ollama . La doc explique que vous avez un essai gratuit généreux pour commencer, mais s’il vous en faut plus, il faudra prendre un petit abonnement Ollama Cloud …

Une fois votre clé en poche, exportez-la dans votre environnement comme ceci :

export OLLAMA_API_KEY="votre_clé_ici"

Le plus simple ensuite pour tester, c’est avec curl :

curl https://ollama.com/api/web_search \ --header "Authorization: Bearer $OLLAMA_API_KEY" \ -d '{ "query": "dernières vulnérabilités CVE janvier 2025" }'

Mais bon, soyons honnêtes, on va plutôt utiliser Python car c’est quand même plus cool ;-) . Voici donc un exemple de script basique qui compare une réponse avec et sans recherche web :

import ollama
from ollama import chat, web_search, web_fetch

model = "qwen3:4b"

# 1. Sans recherche web
response_classic = chat( # pas ollama.chat
 model=model,
 messages=[{
 "role": "user",
 "content": "Quelles sont les features de React 19?"
 }]
)
print("Sans recherche web:", response_classic.message.content[:500]) # .message.content

# 2. Avec recherche web
search_results = web_search("React 19 features dernières nouveautés")
print("Résultats:", search_results)

# 3. Avec outils
available_tools = {'web_search': web_search, 'web_fetch': web_fetch}
messages = [{
 "role": "user",
 "content": "Utilise la recherche web pour me dire les dernières features de React 19"
}]

response_with_tools = chat(
 model=model,
 messages=messages,
 tools=[web_search, web_fetch],
 think=True
)

# Accès aux tool_calls
if response_with_tools.message.tool_calls:
 for tool_call in response_with_tools.message.tool_calls:
 function_to_call = available_tools.get(tool_call.function.name)
 if function_to_call:
 args = tool_call.function.arguments
 result = function_to_call(**args)
 print(f"Outil utilisé: {tool_call.function.name}")
 print(f"Résultat: {str(result)[:500]}...")

print("Réponse finale:", response_with_tools.message.content)

import ollama
from ollama import chat, web_search

class SecurityAgent:
 def __init__(self):
 self.model = "qwen3:4b"

 def check_vulnerabilities(self, technologies):
 rapport = "🛡️ RAPPORT SÉCURITÉ\n\n"

 for tech in technologies:
 # Recherche directe des CVE récentes
 results = web_search(f"{tech} CVE vulnerabilities 2025 critical")

 # Demande au modèle d'analyser
 response = chat(
 model=self.model,
 messages=[{
 "role": "user",
 "content": f"Résume les vulnérabilités critiques de {tech}: {results}"
 }]
 )

 rapport += f"### {tech}\n{response.message.content}\n\n"

 return rapport

# Utilisation
agent = SecurityAgent()
rapport = agent.check_vulnerabilities(["Node.js", "PostgreSQL", "Docker"])
print(rapport)

from ollama import web_search, web_fetch, chat

# 1. Recherche d'articles pertinents
search_results = web_search("React 19 vs Vue 3 comparison 2025")
top_url = search_results.results[0]['url'] # ou .url selon le type
print(f"📰 Article trouvé: {search_results.results[0]['title']}")

# 2. Récupération du contenu complet de la page
page_content = web_fetch(top_url)
print(f"📄 {len(page_content.content)} caractères récupérés")

# 3. Analyse approfondie du contenu
response = chat(
 model="qwen3:4b", # ou "gpt-oss" si disponible
 messages=[{
 "role": "user",
 "content": f"""
 Analyse cette comparaison technique:
 {page_content.content[:4000]}

 Donne-moi:
 1. Les points clés de chaque framework
 2. Le gagnant selon l'article
 3. Les cas d'usage recommandés
 """
 }]
)

print(f"\n🔍 Analyse:\n{response.message.content}")

• lien nᵒ 1 : April
• lien nᵒ 2 : Revue de presse de l'April
• lien nᵒ 3 : Revue de presse de la semaine précédente
• lien nᵒ 4 : 🕸 Fils du Net

Commentaires : voir le flux Atom ouvrir dans le navigateur

En ce moment, tout le monde veut son petit serveur local pour faire tourner des modèles IA, mais en vrai, j’ai l’impression que personne ne se pose la question de la sécurité. Du coup, on se retrouve avec un problème totalement anticipable mais j’ai l’impression que tout le monde s’en cogne…

En effet, j’ai découvert qu’il y a littéralement des milliers de serveurs Ollama qui traînent en libre-service sur le net. Pas protégés, pas sécurisés, que dalle. Ils sont juste là, accessibles à qui veut bien se connecter dessus. Le site Malware Patrol parle même de 14 000 instances publiquement accessibles. C’est fou !

Le truc, c’est qu’Ollama par défaut, ça vient sans authentification, car le créateur du truc s’est dit “bon, c’est pour du local, pas besoin de compliquer le choses”. Sauf que les gens installent ça sur des serveurs et ouvrent le port 11434 à tout Internet, comme ça, sans réfléchir.

Alors est ce que c’est grave ? Et bien Cisco Talos a fait une étude récente là-dessus et ils ont trouvé plus de 1 100 serveurs Ollama exposés, dont 20% qui hébergent des modèles vulnérables. Les États-Unis arrivent en tête avec 36,6% des serveurs exposés, suivis de la Chine (22,5%) et l’Allemagne (8,9%). Le Dr. Giannis Tziakouris de l’équipe Talos parle carrément de “négligence généralisée des pratiques de sécurité fondamentales”.

Hé oui parce que derrière cette négligence, il y a surtout des failles techniques vraiment critiques. Il y a par exemple la CVE-2024-37032 , surnommée “Probllama”, qui est une vulnerability d’exécution de code à distance super facile à exploiter. En gros, avec une seule requête HTTP, un attaquant peut prendre le contrôle complet du serveur.

Faut quand même avoir conscience qu’il y a une grande variété d’attaques possibles sur ces trucs. Par exemple, on peut faire de l’extraction de modèles (genre, je pique votre IA propriétaire), de jailbreaking (je contourne les protections), d’injection de backdoors dans les modèles, d’épuisement des ressources pour vous faire exploser votre facture cloud, et même de mouvement latéral dans votre réseau.

The Hacker News a recensé rien que l’année dernière six vulnérabilités dans Ollama qui permettent des attaques par déni de service, du vol de modèles et de l’empoisonnement de modèles et la plupart de ces instances Ollama tournent encore avec des versions obsolètes. Bref, c’est la cata, sans parler des déploiements Docker d’Ollama qui sont encore pire car par défaut, le serveur API tourne avec les privilèges root et se lie à toutes les interfaces réseau.

Et le nombre d’instances exposées ne fait qu’augmenter puisqu’en novembre 2024, on était à 3 000 instances, et maintenant on dépasse les 14 000. Les gens s’amusent bien et installent Ollama plus vite qu’ils n’apprennent à le sécuriser.

Donc, concrètement, si vous avez un serveur Ollama, faites moi plaisir et mettez-le derrière un reverse proxy avec authentification, pensez à bien configurer la variable d’environnement OLLAMA_HOST=127.0.0.1 pour limiter l’accès au localhost, et surtout, mettez à jour vers la dernière version. La vulnérabilité Probllama dont je vous parlais plus haut a été patchée dans la version 0.1.34, mais encore faut-il l’installer.

A bon entendeur…

Source

Y’a quelques mois, je me suis amusé à reprendre le projet DeepSite d’Enzostvs et à le transformer complètement pour fonctionner en 100% local. J’ai baptisé ça LocalSite , et ça permet en gros de générer des pages web ou des éléments HTML / CSS / JS à l’aide d’une IA mais en local.

Ça s’appuie donc sur Ollama pour faire tourner les modèles d’IA directement sur votre ordinateur, comme ça, pas de connexion cloud, pas d’abonnement à payer, pas de données qui partent on ne sait où en Chine ou ailleurs. Vous tapez une description de ce que vous voulez, vous sélectionnez un modèle Ollama, et hop, votre site web se génère sous vos yeux.

L’installation est assez simple. Il vous faut d’abord Ollama installé sur votre machine et ensuite, vous récupérez un modèle, par exemple deepseek-r1:7b avec la commande

ollama pull deepseek-r1:7b.

Et une fois Ollama lancé avec

ollama serve

il ne reste plus qu’à installer LocalSite avec npm :

git clone https://github.com/Korben00/LocalSite.git
npm instal
npm run dev

Ensuite, direction localhost:3001 et c’est parti.

Pour l’interface, vous avez donc un éditeur Monaco intégré (le même que dans VS Code), une preview en temps réel qui s’adapte aux différentes tailles d’écran (desktop, tablette, mobile), et la possibilité de basculer entre génération et édition manuelle du code. C’est super pratique pour peaufiner le résultat une fois que l’IA a fait le gros du travail.

Pour ceux qui se demandent quels modèles utiliser, d’après les benchmarks 2025 , CodeLlama 34B reste une référence pour la génération de code HTML/CSS/JavaScript. Mais si votre machine est plus modeste, les versions 7B ou 13B font déjà très bien le job. Qwen2.5-Coder est aussi une excellente alternative, surtout si vous voulez intégrer du code plus complexe dans vos pages. Vous pouvez aussi tenter avec des modèles “Thinking” comme GPT OSS si ça vous chauffe…

Bref, là où DeepSite original nécessite obligatoirement une connexion à Hugging Face et utilise les serveurs API de DeepSeek (donc ça coûte aussi des sous), mon petit LocalSite fait tout en local. Vos données restent chez vous, vous pouvez bosser offline, et surtout, pas de limite d’utilisation. Vous pouvez donc générer autant de sites que vous voulez, tester différents modèles, expérimenter sans compter comme dirait Macron.

L’aspect vie privée n’est pas négligeable non plus car ça permet de prototyper rapidement, et avoir une solution 100% locale évite pas mal de questions juridiques sur la confidentialité des données.

Techniquement, l’architecture repose sur Node.js côté serveur et communique avec Ollama via son API locale. Le code généré est du pur HTML/CSS/JavaScript vanilla, donc compatible partout. Et vous pouvez directement copier-coller le résultat ou télécharger le projet HTML complet (j’ai ajouté un import / export de projets zip). Pas de framework lourd, pas de dépendances obscures, juste du code web standard.

Pour les développeurs qui veulent pousser plus loin, le code source est bien sûr disponible et modifiable. Vous pouvez ajouter vos propres templates, personnaliser les prompts système, ou même intégrer d’autres modèles compatibles avec Ollama.

Il vous faudra quand même un minimum de RAM pour faire tourner les modèles (comptez 8 Go pour les modèles 7B, 16 Go pour les 13B, et 32 Go pour les gros modèles 33B+) mais vu les capacités de génération et l’indépendance totale vis-à-vis du cloud, ça vaut le coup surtout que les modèles dispo dans Ollama progressent rapidement et deviennent de plus en plus optimisés. Je pense par exemple à GPT-OSS.

Bref, j’ai pris une idée cool (DeepSite), et je l’ai réadapté à l’aide de Claude Code et de mes maigres connaissances, pour la rendre accessible et respectueuse de la vie privée et du coup, je trouve ça encore plus cool ^^. Par contre, je suis un garçon assez occupé et je ne suis pas mainteneur de projet open source donc si vous voulez des modifs dedans ou si vous voyez des bugs, faudra vous y coller vous-même ^^.

Si ça vous dit de tester, c’est par ici.

OpenAI vient de lâcher dans la nature ses premiers modèles open-weight depuis GPT-2, et apparemment, c’est du lourd. Après 5 longues années à garder jalousement ses modèles bien au chaud derrière des API payantes, Sam Altman et sa bande balancent donc gpt-oss-120b et gpt-oss-20b, deux modèles que vous pouvez télécharger gratuitement sur Hugging Face et faire tourner chez vous.

Ils ont claqué des milliards de dollars en recherche pour créer ces modèles, et maintenant ils les offrent au monde entier sous licence Apache 2.0. C’est beau !

Pour ceux qui se demandent ce que ça change, un modèle open-weight c’est comme avoir accès au moteur d’une voiture avec le capot grand ouvert. Vous pouvez voir comment ça fonctionne, bidouiller les paramètres internes, et surtout, le faire tourner en local sans connexion internet. Greg Brockman, le cofondateur d’OpenAI, explique que c’est complémentaire à leurs services payants comme ChatGPT et l’avantage, c’est que vos données ne partent pas dans le cloud.

Les deux nouveaux modèles utilisent l’approche chain-of-thought qu’OpenAI a introduite avec son modèle o1 l’automne dernier. Cela veut dire que au lieu de balancer une réponse directe, l’IA passe par plusieurs étapes de raisonnement pour répondre à vos questions. Ces modèles text-only ne sont pas multimodaux (donc pas d’images ou de sons), mais ils peuvent naviguer sur le web, appeler d’autres modèles cloud pour certaines tâches, exécuter du code et même agir comme des agents IA autonomes.

Le plus petit des deux, gpt-oss-20b avec ses 21 milliards de paramètres (dont 3,6 milliards actifs), est suffisamment compact pour tourner sur une machine avec 16 Go de RAM. Le gros calibre, gpt-oss-120b avec ses 117 milliards de paramètres (5,1 milliards actifs), nécessite 80 Go de mémoire et tourne idéalement sur une seule GPU H100. Les deux supportent un contexte de 128 000 tokens, soit l’équivalent de 300-400 pages de roman que vous pouvez balancer d’un coup.

D’après les benchmarks, gpt-oss-120b atteint quasiment les performances d’OpenAI o4-mini sur les tâches de raisonnement, tandis que gpt-oss-20b s’approche d’o3-mini. Sur une RTX 5090, vous pouvez atteindre jusqu’à 256 tokens par seconde, ce qui est franchement impressionnant pour du local. Avec l’architecture Mixture-of-Experts (MoE) et la précision native MXFP4, ces modèles sont optimisés pour tourner efficacement même sur du matériel grand public.

Bon, passons aux choses sérieuses avec le tutoriel Ollama pour faire tourner tout ça chez vous.

Installation d’Ollama

D’abord, installez Ollama si ce n’est pas déjà fait. Sur macOS, ouvrez un terminal et tapez :

brew install ollama

Sur Linux, c’est encore plus simple :

curl -fsSL https://ollama.ai/install.sh | sh

Pour Windows, téléchargez directement l’installateur sur ollama.com et suivez les instructions.

Lancement du serveur Ollama

Une fois installé, démarrez le serveur Ollama :

ollama serve

Le serveur va se lancer sur le port 11434 par défaut. Laissez cette fenêtre de terminal ouverte.

Téléchargement et exécution des modèles gpt-oss

Dans un nouveau terminal, vous pouvez maintenant télécharger et lancer les modèles. Pour le modèle léger gpt-oss-20b (idéal si vous avez 16 Go de RAM minimum) :

ollama pull gpt-oss:20b
ollama run gpt-oss:20b

Pour le modèle plus costaud gpt-oss-120b (nécessite au moins 80 Go de RAM ou un bon GPU) :

ollama pull gpt-oss:120b
ollama run gpt-oss:120b

Configuration du niveau de raisonnement

Une fonctionnalité sympa de ces modèles, c’est que vous pouvez ajuster l’effort de raisonnement selon vos besoins. Dans Ollama, vous pouvez configurer ça avec :

ollama run gpt-oss:20b --reasoning low # Pour des réponses rapides
ollama run gpt-oss:20b --reasoning medium # Équilibré (par défaut)
ollama run gpt-oss:20b --reasoning high # Pour des analyses complexes

Utilisation avec Python

Si vous préférez intégrer ça dans vos scripts Python, installez le package officiel :

pip install ollama

Puis utilisez-le comme ceci :

import ollama

response = ollama.chat(model='gpt-oss:20b', messages=[
{
'role': 'user',
'content': 'Explique-moi la différence entre un modèle open-weight et open-source',
},
])
print(response['message']['content'])

Alternative avec Hugging Face CLI

Si vous voulez télécharger directement depuis Hugging Face pour plus de contrôle :

# Installation de Hugging Face CLI
pip install huggingface-hub

# Téléchargement de gpt-oss-20b
huggingface-cli download openai/gpt-oss-20b --include "original/*" --local-dir gpt-oss-20b/

# Téléchargement de gpt-oss-120b
huggingface-cli download openai/gpt-oss-120b --include "original/*" --local-dir gpt-oss-120b/

Optimisations pour cartes NVIDIA RTX

Si vous avez une carte NVIDIA RTX, vous pouvez bénéficier d’optimisations spécifiques car Ollama détecte automatiquement votre GPU et applique les optimisations. Donc pour vérifier que votre GPU est bien détectée :

nvidia-smi # Pour voir votre GPU
ollama list # Pour voir les modèles disponibles

Quelques commandes utiles

Pour lister tous les modèles installés :

ollama list

Pour supprimer un modèle si vous manquez d’espace :

ollama rm gpt-oss:120b

Pour voir les logs et débugger si ça plante :

ollama logs

Le fait qu’OpenAI ait attendu mars pour annoncer ces modèles puis les ait retardés pour des tests de sécurité supplémentaires montre qu’ils prennent le sujet au sérieux. Eric Wallace, chercheur en sécurité chez OpenAI, explique qu’ils ont même fine-tuné les modèles en interne sur des scénarios à risque pour mesurer jusqu’où un “bad actor” pourrait les pousser. Résultat, les modèles n’ont pas atteint un niveau de risque élevé selon leur framework de préparation.

Pour finir, OpenAI s’est associé avec Azure, vLLM, llama.cpp, LM Studio, AWS, Fireworks, Together AI et plein d’autres plateformes pour rendre ces modèles accessibles partout. Microsoft propose même AI Foundry Local sur Windows où vous pouvez juste taper foundry model run gpt-oss-20b dans un terminal pour commencer.

Voilà, vous avez tout ce qu’il faut pour jouer avec les nouveaux jouets d’OpenAI. C’est quand même fou de voir OpenAI revenir à ses racines open source après toutes ces années à s’enfermer. Avec la licence Apache 2.0, vous pouvez utiliser ces modèles commercialement, les redistribuer, et les intégrer dans vos propres projets.

Pour plus d’infos, consultez le dépôt GitHub officiel ou la page Ollama dédiée. Allez-y, téléchargez, testez, et surtout, amusez-vous bien avec ces nouveaux modèles. Le futur de l’IA locale commence maintenant, et il est entre vos mains.

Ça va, pas trop chaud ? Alors tant mieux, parce que je vais vous faire avoir une petite suée tellement ce truc est cool ! Ça s’appelle Memflix et c’est une bibliothèque JavaScript qui transforme vos documents texte en… fichiers vidéo MP4 ! Oui, vous avez bien lu. Et le plus fou, c’est que vous pouvez ensuite faire des recherches sémantiques ultra-rapides dans ces vidéos.

L’idée est tellement simple qu’elle en devient géniale car au lieu de stocker vos données dans une base de données traditionnelle, Memflix encode tout dans des QR codes qui sont ensuite intégrés frame par frame dans une vidéo. Résultat ? Un stockage 10 fois plus efficace qu’une base de données classique et des recherches qui prennent moins d’une seconde, même sur des millions de chunks de texte.

• lien nᵒ 1 : April
• lien nᵒ 2 : Revue de presse de l'April
• lien nᵒ 3 : Revue de presse de la semaine précédente
• lien nᵒ 4 : 🕸 Fils du Net

Commentaires : voir le flux Atom ouvrir dans le navigateur

Vous avez vu la dernière version d’Ollama ? Cette version 0.133 a l’air plutôt pas mal. Bon, je sais, je sais, ça faisait un bail que je n’avais pas parlé des mises à jour de cet outil génial pour faire tourner des modèles d’IA en local, mais là, impossible de passer à côté !

Déjà, on a le droit à des fonctionnalités expérimentales de parallélisme (je sais pas si c’est comme ça qu’on dit en français…) qui vont vous permettre d’optimiser grave vos applis d’IA. Il y a donc 2 nouvelles variables d’environnement qui débarquent : OLLAMA_NUM_PARALLEL et OLLAMA_MAX_LOADED_MODELS. Avec ça, vous allez pouvoir gérer plusieurs modèles et requêtes en même temps, comme des pros ! 😎

Par exemple, si vous avez un modèle pour compléter votre code avec une IA de 6 milliards de paramètres comme Llama 3, et en même temps vous demandez à Phi 3 Mini et ses 3,8 milliards de paramètres comment architecturer votre projet et bien maintenant, c’est possible ! Comme ça, plus besoin d’attendre que l’un ait fini pour lancer l’autre puisque tout ça va se lancer en parallèle.

Alors bien sûr, c’est encore expérimental car il n’y a pas encore de priorité, et on est limité par la mémoire dispo sur notre machine. D’ailleurs, il vaut mieux avoir 16 Go de RAM et un CPU 4 cœurs pour que ça fonctionne correctement.

Il y a aussi plein de nouveaux modèles d’IA compatibles avec Ollama maintenant. Des gros calibres comme Llama 3, le meilleur modèle open-source à ce jour, mais aussi des plus légers et spécialisés comme Phi 3 Mini, Moondream pour la vision par ordinateur sur des appareils à la marge, ou encore Dolphin Llama 3 qui répond sans censure. Et le premier modèle Qwen (c’est chinois) de plus de 100 milliards de paramètres, Qwen 110B, est également de la partie. Ça en fait des compagnons pour nous assister dans nos projets !

Ensuite, imaginons que vous vouliez tester le parallélisme. Vous devez simplement lancer votre serveur Ollama avec les fameuses variables d’environnement.

Voici comment procéder :

Définir les variables sur Mac :

• Utilisez launchctl pour définir chaque variable. Par exemple, pour permettre à Ollama de gérer trois requêtes simultanément, tapez dans le terminal :
  launchctl setenv OLLAMA_NUM_PARALLEL 3
• Pour définir le nombre maximal de modèles chargés simultanément à deux, utilisez :
  launchctl setenv OLLAMA_MAX_LOADED_MODELS 2
• Après avoir défini les variables, redémarrez l’application Ollama.

Configurer les variables sur Linux :

• Éditez le service systemd d’Ollama avec systemctl edit ollama.service, ce qui ouvrira un éditeur de texte.
• Ajoutez les lignes suivantes sous la section [Service] :
  [Service] Environment="OLLAMA_NUM_PARALLEL=3" Environment="OLLAMA_MAX_LOADED_MODELS=2"
• Sauvegardez et quittez l’éditeur. Rechargez systemd et redémarrez Ollama avec :
  systemctl daemon-reload systemctl restart ollama

Paramétrer les variables sur Windows :

• Quittez l’application Ollama via la barre des tâches.
• Accédez aux variables d’environnement système via le panneau de configuration et créez ou modifiez les variables pour votre compte utilisateur :
  • Pour OLLAMA_NUM_PARALLEL, ajoutez ou modifiez la variable à 3.
  • Pour OLLAMA_MAX_LOADED_MODELS, ajustez la variable à 2.
• Appliquez les changements et redémarrez Ollama à partir d’une nouvelle fenêtre de terminal.

Là, ça veut dire que vous pourrez envoyer 3 requêtes en parallèle sur le même modèle, et charger jusqu’à 2 modèles différents si votre RAM de 16 Go minimum le permet.

Bon, et une fois que c’est lancé, vous pourrez envoyer des requêtes à tour de bras. Un coup à Llama 3 pour qu’il vous aide à générer un résumé de texte hyper optimisé, un autre à Phi 3 Mini pour résumer un article scientifique, tout ça pendant que Moondream analyse une image pour de la détection d’objets.

Allez, je vous laisse tranquille, faut que j’aille optimiser mes scripts maintenant.

Ollama 0.133 est dispo ici.

Source

Bonne nouvelle, Ollama vient tout juste d’annoncer un truc qui devrait vous faire plaisir : le support des cartes graphiques AMD en preview ! Cela signifie que toutes les fonctionnalités d’Ollama peuvent maintenant être accélérées par les cartes graphiques AMD, que ce soit sur Linux ou Windows.

Mais au fait, c’est quoi Ollama ? Pour les deux du fond qui suivent pas, je vous refais un topo vite fait. Ollama, c’est un outil hyper pratique qui permet de faire tourner des grands modèles de langage open-source directement sur votre machine locale. Genre Mistral, Llama 2 et toute la clique.

Alors, quelles sont les cartes AMD compatibles ?

Pas de panique, je vous ai préparé une petite liste bien détaillée. Dans la famille des Radeon RX, on retrouve les monstres comme les 7900 XTX, 7900 XT, 7800 XT, 6900 XT et compagnie. Pour les pros, la gamme Radeon PRO est aussi de la partie avec les W7900, W6800X Duo, Vega II… Bref, y a du beau monde au rendez-vous. Et si vous êtes un fan des cartes Instinct, pas de jaloux, les MI300X, MI250, MI100 et autres sont aussi supportées.

Ollama promet également que d’autres modèles de cartes graphiques suivront. Alors on croise les doigts et on surveille les annonces comme le lait sur le feu. En attendant, si vous voulez vous lancer dans l’aventure Ollama avec votre carte AMD, c’est simple comme bonjour.

Téléchargez Ollama pour Linux ou Windows, installez le bouzin et hop, vous voilà parés pour faire chauffer votre GPU AMD ! C’est pas beau la vie ? Je vous ai même fait un tutoriel ici !

Allez, je vous laisse, j’ai un rendez-vous urgent avec mon Llama2 uncensored qui me fait de l’œil.

Source