Vous rêvez de donner à vos projets d’IA des superpouvoirs visuels ? Ne cherchez plus, Supervision est là pour vous ! Détecter des objets, segmenter des instances, annoter des images et des vidéos… tout ça devient possible en quelques lignes de code seulement grâce à ce projet qui propose une API intuitive et des fonctionnalités avancées pour vous faciliter la vie.
Le secret de Supervision ? Une intégration transparente avec les meilleures librairies de deep learning du moment comme YOLO-NAS
Vous rêvez de donner à vos projets d’IA des superpouvoirs visuels ? Ne cherchez plus, Supervision est là pour vous ! Détecter des objets, segmenter des instances, annoter des images et des vidéos… tout ça devient possible en quelques lignes de code seulement grâce à ce projet qui propose une API intuitive et des fonctionnalités avancées pour vous faciliter la vie.
Le secret de Supervision ? Une intégration transparente avec les meilleures librairies de deep learning du moment comme YOLO-NAS, YOLOv8…etc. Ces modèles surpuissants de détection d’objets n’auront plus de secrets pour vous et grâce à eux, vous pourrez identifier et localiser précisément chaque élément dans vos images et vidéos.
Supervision vous offre aussi des outils d’annotation et de visualisation hyper pratiques. Vous pourrez par exemple dessiner des boîtes englobantes autour des objets détectés, afficher les masques de segmentation avec des couleurs personnalisées, ajouter des étiquettes et des scores de confiance…etc.
Côté données, il assure également avec son API de gestion de datasets qui permet de charger vos images et annotations au format YOLO en un clin d’œil, explorer votre dataset, filtrer et spliter les données comme un pro…etc. C’est super simple !
Si ça vous intéresse, tout est sur le repo GitHub du projet et il y a même un site dédié avec la doc, le détail des API et plein d’exemple.
Imaginez un appareil qui comprend tout ce que vous lui dites, qui répond à vos questions avec intelligence et s’adapte à vos besoins… Et bien c’est exactement ce que propose le projet 01, un framework open-source qui allie intelligence artificielle et interface vocale.
Inspiré par l’iconique ordinateur de Star Trek, et développé par les mêmes personnes que ceux qui ont créé Open Interpreter que j’adore, 01 ambitionne de devenir le GNU/Linux des assistants vocaux. Son écosystème ouvert et mo
Imaginez un appareil qui comprend tout ce que vous lui dites, qui répond à vos questions avec intelligence et s’adapte à vos besoins… Et bien c’est exactement ce que propose le projet 01, un framework open-source qui allie intelligence artificielle et interface vocale.
Inspiré par l’iconique ordinateur de Star Trek, et développé par les mêmes personnes que ceux qui ont créé Open Interpreter que j’adore, 01 ambitionne de devenir le GNU/Linux des assistants vocaux. Son écosystème ouvert et modulaire permet aux développeurs de créer des applications innovantes et de personnaliser l’expérience utilisateur. Comme ça, que vous soyez maker ou un néophyte curieux, vous allez pouvoir construire votre propre appareil 01 en suivant les instructions détaillées fournies sur le dépôt GitHub.
Le modèle 01 Light, basé sur un ESP32, est un excellent point de départ pour découvrir cette technologie fascinante. Évidemment, tout est open source et vous pouvez créer votre propre device ou le faire tourner sur un appareil existant.
Pour une expérience optimale, 01 fonctionne de pair avec un serveur qui s’exécute sur votre ordinateur personnel ou votre NAS et qui grâce à des outils comme Whisper pour la reconnaissance vocale et GPT pour la génération de réponses, permet des interactions naturelles et pertinentes.
Tout cela est rendu possible notamment grâce au format LMC (Language Model Computer), inspiré par le concept de « LLM OS » d’Andrej Karpathy. 01 utilise donc un modèle de langage qui interprète du code pour réagir à des événements système. Les messages LMC sont donc une extension du format d’OpenAI en ajoutant un rôle « ordinateur » qui exécute du code Python directement dans les instructions système.
Son architecture flexible permet de l’intégrer à une multitude d’objets du quotidien, de l’assistant vocal au robot domestique en passant par la voiture intelligente. Les possibilités sont infinies et ne demandent qu’à être explorées.
En tant que projet open-source, 01 compte sur une communauté dynamique de contributeurs pour se développer et s’améliorer et y’a même un serveur Discord pour échanger avec d’autres enthousiastes du projet.
Qui n’a jamais rêvé d’automatiser n’importe quelle tâche web peu importe sa complexité, pour évidemment se la couler douce ?
C’est précisément ce que vous propose Skyvern, un outil qui allie intelligence artificielle et vision par ordinateur pour interagir avec les sites web comme vous le feriez vous-même.
Plus besoin de scripts qui pètent à tout bout de champs, de XPath qui changent tous les 4 matins et de parseurs de DOM capricieux puisque Skyvern est capable de comprendre visuellement
Qui n’a jamais rêvé d’automatiser n’importe quelle tâche web peu importe sa complexité, pour évidemment se la couler douce ?
C’est précisément ce que vous propose Skyvern, un outil qui allie intelligence artificielle et vision par ordinateur pour interagir avec les sites web comme vous le feriez vous-même.
Plus besoin de scripts qui pètent à tout bout de champs, de XPath qui changent tous les 4 matins et de parseurs de DOM capricieux puisque Skyvern est capable de comprendre visuellement ce qu’il y a sur une page web et ainsi générer un plan d’interaction en temps réel.
Cela signifie que Skyvern est capable d’agir sur des sites qu’il n’a jamais vus auparavant, le tout sans avoir besoin de code spécifique. Il analyse les éléments visuels de la page pour déterminer les actions nécessaires pour répondre à votre demande, ce qui en fait un outil immunisé contre les changements de design de sites, contrairement à votre bon vieux scrapper.
Grâce aux modèles de langage (LLM) qu’il embarque, il est capable de « raisonner » donc par exemple, de remplir un formulaire qui vous pose plein de questions, ou de comparer des produits.
Vous voulez voir Skyvern à l’œuvre ? Voici un petit aperçu en vidéo :
Sous le capot, Skyvern s’inspire des architectures d’agents autonomes comme BabyAGI et AutoGPT, avec une couche d’automatisation web en plus, basée sur des outils comme Playwright.
Et comme d’hab, vous pouvez installer la bête sur votre machine et commencer à automatiser tout votre boulot en quelques commandes.
Vous devrez donc avoir Python 3.11, puis installez poetry :
brew install poetry
Ensuite, clonez le dépôt git et aller dans le dossier :
Et voilà, vous pouvez maintenant envoyer des requêtes au serveur, mais ne vous inquiétez pas, y’a une interface graphique :). Pour la lancer :
./run_ui.sh
Ouvrez ensuite http://localhost:8501 dans votre navigateur pour y accéder. Vous verrez alors ce genre d’interface. A vous de remplir les champs qui vont bien pour créer votre première automatisation.
En commande cURL, ça ressemble à ça (pensez bien à mettre votre clé API locale dans la commande) :
curl -X POST -H 'Content-Type: application/json' -H 'x-api-key: {Votre clé API locale}' -d '{
"url": "https://www.geico.com",
"webhook_callback_url": "",
"navigation_goal": "Naviguer sur le site Web jusqu\'à ce que vous obteniez un devis d\'assurance automobile. Ne pas générer de devis d\'assurance habitation. Si cette page contient un devis d\'assurance automobile, considérez l\'objectif atteint",
"data_extraction_goal": "Extraire toutes les informations de devis au format JSON, y compris le montant de la prime et le délai du devis",
"navigation_payload": "{Vos données ici}",
"proxy_location": "NONE"
}' http://0.0.0.0:8000/api/v1/tasks
Vous voyez, on peut vraiment faire des trucs pointu. Et le petit plus, c’est qu’on peut voir toutes les interactions puisque Skyvern enregistre chaque action avec une capture d’écran correspondante pour vous permettre de débugger facilement vos workflows.
Vous vous souvenez sûrement de Neuralink, la startup fondée par Elon Musk qui veut révolutionner les interfaces cerveau-machine ? Eh bien, figurez-vous que leur premier cobaye humain, un certain Noland Arbaugh, s’est amusé comme un petit fou avec son nouveau gadget greffé dans le ciboulot !
Ce cher Noland, un jeune homme de 29 ans paralysé des épaules jusqu’aux pieds suite à un accident de plongée, a eu l’immense privilège de recevoir l’implant Neuralink N1 en janvier dernier. Et croyez-moi
Vous vous souvenez sûrement de Neuralink, la startup fondée par Elon Musk qui veut révolutionner les interfaces cerveau-machine ? Eh bien, figurez-vous que leur premier cobaye humain, un certain Noland Arbaugh, s’est amusé comme un petit fou avec son nouveau gadget greffé dans le ciboulot !
Ce cher Noland, un jeune homme de 29 ans paralysé des épaules jusqu’aux pieds suite à un accident de plongée, a eu l’immense privilège de recevoir l’implant Neuralink N1 en janvier dernier. Et croyez-moi, il n’a pas perdu de temps pour tester son joujou high-tech !
Lors d’un livestream sur X (l’ex-Twitter, vous suivez ?), notre cher patient a fait une démonstration époustouflante en jouant aux échecs sur ordi rien qu’avec la force de son esprit. Tel un Jedi de la stratégie, il a déplacé les pièces sur l’échiquier virtuel en un clin d’œil, laissant les spectateurs bouche bée.
Mais ce n’est pas tout ! Noland nous a confié qu’il avait déjà passé une nuit blanche à s’éclater sur Civilization VI, le célèbre jeu de stratégie. Avant son opération, il devait compter sur un pote pour l’aider à jouer, ce qui était loin d’être idéal pour enchaîner les parties jusqu’au bout de la nuit.
Maintenant, grâce à son implant miracle, il peut s’adonner à sa passion sans limites ! Enfin, presque… La seule contrainte, c’est d’attendre que son gadget se recharge quand il a épuisé toute la batterie. Mais bon, c’est un détail quand on peut à nouveau profiter des joies du gaming de manière autonome, non ?
Et ce n’est pas fini ! Notre champion a aussi réussi l’exploit de terminer deuxième à Mario Kart 8 Deluxe en affrontant son père et un ami. Pas mal pour un débutant qui pilote son kart à la force de la pensée !
Bien sûr, comme le souligne Noland, tout n’est pas encore parfait avec cette technologie. Il reste du chemin à parcourir pour que Neuralink tienne toutes ses promesses. Mais avouez que c’est quand même un sacré bond en avant pour redonner de l’autonomie et des loisirs aux personnes paralysées. Bravo Elon 🙂
D’ailleurs, le grand gourou de la tech, ne compte d’ailleurs pas s’arrêter là. Son objectif ultime ? Utiliser les implants pour « shunter » les signaux du cortex moteur directement vers les membres paralysés, histoire de contourner les lésions de la moelle épinière. Carrément !
Mais avant d’en arriver là, Neuralink va devoir convaincre les autorités américaines que ses expériences sont éthiques et sans danger, car la startup a déjà fait polémique avec ses tests sur les animaux, accusée d’avoir provoqué des souffrances inutiles sur des singes, des cochons et probablement Bruno Le Maire si on en croit la dernière annonce du déficit français.
Espérons que cette success story avec Noland ouvre la voie à des essais cliniques plus larges, histoire de transformer la vie d’autres personnes dans sa situation. En attendant, on peut toujours rêver au jour où on pourra tous s’affronter sur Civilization ou Mario Kart par la simple force de notre cerveau !
Perso, si Neuralink me permet de débrancher à la demande le son de mes oreilles quand j’ai les enfants dans les pattes, je me le fait implanter tout de suite !
FeatUp, c’est le nom de ce nouvel algorithme révolutionnaire développé par une équipe de chercheurs du MIT dont le but consiste à faire passer la vision par ordinateur à la vitesse supérieure en lui offrant une résolution digne d’un œil de lynx.
Comment ça marche ? En gros, FeatUp s’attaque au problème de la perte d’information qui se produit quand les algorithmes d’IA analysent une image. Normalement, ils la découpent en une grille de petits carrés de pixels qu’ils traitent par groupe. Rés
FeatUp, c’est le nom de ce nouvel algorithme révolutionnaire développé par une équipe de chercheurs du MIT dont le but consiste à faire passer la vision par ordinateur à la vitesse supérieure en lui offrant une résolution digne d’un œil de lynx.
Comment ça marche ? En gros, FeatUp s’attaque au problème de la perte d’information qui se produit quand les algorithmes d’IA analysent une image. Normalement, ils la découpent en une grille de petits carrés de pixels qu’ils traitent par groupe. Résultat, la résolution finale est bien plus faible que l’image de départ. Avec FeatUp, fini la myopie ! L’algo est capable de capter tous les détails, des plus évidents aux plus subtils.
La clé, c’est de faire légèrement bouger et pivoter les images pour voir comment l’IA réagit à ces micro-variations. En combinant des centaines de « cartes de caractéristiques » ainsi générées, on obtient un ensemble de données haute définition super précis. Un peu comme quand on crée un modèle 3D à partir de plusieurs images 2D sous différents angles.
Mais pour que ça turbine, il a fallu créer une nouvelle couche de réseau de neurones ultra-efficace, baptisée « suréchantillonnage bilatéral conjoint« . Grâce à elle, FeatUp améliore les performances d’un tas d’algos différents, de la segmentation sémantique à l’estimation de profondeur.
Les applications potentielles sont dingues : imaginez pouvoir repérer un minuscule panneau sur une autoroute encombrée pour une voiture autonome, ou localiser précisément une tumeur sur une radio des poumons. Avec sa capacité à transformer des suppositions vagues en détails précis, FeatUp pourrait rendre tous ces systèmes bien plus fiables et sûrs.
L’objectif des chercheurs, c’est que FeatUp devienne un outil fondamental du deep learning, pour enrichir les modèles sans sacrifier l’efficacité. Comme le résume Mark Hamilton, co-auteur de l’étude, l’enjeu est d’obtenir « le meilleur des deux mondes : des représentations très intelligentes avec la résolution de l’image d’origine« .
Bref, si FeatUp tient ses promesses, on n’a pas fini d’entendre parler de cette prouesse technologique qui pourrait donner un sacré coup de boost à l’IA visuelle puisqu’elle fournit des versions haute résolution d’analyses d’images qu’on pensait jusque-là limitées à la basse résolution. »
Au moment où j’écris ces lignes, je ne dors pas. Alors chers amis, noctambules du web, je vais vous parler aujourd’hui du site nosleep.page.
Ce site web va vous permettre de remplacer des outils comme Caffeine ou Amphetamine qui permet de garder réveillé votre ordinateur comme une bonne tasse à café. C’est super pratique quand on a des process un peu longs à finir, genre une compilation, un backup…et j’en passe. Cela évite que l’ordinateur se mette en veille et ça évite d’aller bidouiller
Au moment où j’écris ces lignes, je ne dors pas. Alors chers amis, noctambules du web, je vais vous parler aujourd’hui du site nosleep.page.
Ce site web va vous permettre de remplacer des outils comme Caffeine ou Amphetamine qui permet de garder réveillé votre ordinateur comme une bonne tasse à café. C’est super pratique quand on a des process un peu longs à finir, genre une compilation, un backup…et j’en passe. Cela évite que l’ordinateur se mette en veille et ça évite d’aller bidouiller les paramètres de votre OS.
Nosleep a donc la particularité d’être un simple site web, qui utilise pour cela l’API Screen Wake Lock bien comprise des navigateurs récents. Et là où cette technologie n’est pas supportée, le dev a implémenté une astuce géniale pour garder quand même votre PC ou Mac actif : la lecture d’une vidéo silencieuse et invisible pour simuler ce comportement.
Et bien c’est une technologie qui permet à une application de demander au système d’exploitation de ne pas éteindre ni de verrouiller l’écran. Ça permet de lire un ebook sans secouer la souris toutes les 5 min, de suivre un trajet sur une carte sans perdre votre chemin, ou encore de mater une une recette sans mettre du beurre partout sur votre écran pour le réveiller. Pouah !
Et c’est exactement ce qu’utilise nosleep.page qui offre une solution simple et accessible à tous pour garder nos écrans bien éveillés comme un Premier ministre sous amphét.
Évidemment, si vous souhaitez intégrer ça sur votre service web, il existe une super lib JS nommée NoSleep.js qui permet d’implémenter facilement cette API Screen Wake Lock.
import NoSleep from 'nosleep.js';
var noSleep = new NoSleep();
// Activer le verrouillage du réveil.
// (doit être intégré dans un gestionnaire d'événement d'entrée utilisateur, par exemple la souris ou un touchpad)
document.addEventListener('click', function enableNoSleep() {
document.removeEventListener('click', enableNoSleep, false);
noSleep.enable();
}, false);
Bref, c’est pratique et comme ça, votre ordinateur ne dormira plus sans que vous l’ayez décidé.
Connexion
