Vue normale

Il y a de nouveaux articles disponibles, cliquez pour rafraîchir la page.
À partir d’avant-hierFlux principal
  • ✇ActuIA
  • OSAID : l’OSI publie sa définition de l’IA open source
    A l’occasion de All Things Open 2024, l’un des événements les plus importants de l’industrie open source en Amérique du Nord, l’Open Source Initiative (OSI) a annoncé la publication de la première définition officielle de l’IA open source, l’OSAID. Des modèles comme Gemma de Google sont souvent qualifiés de modèles “ouverts”, ce qui peut prêter à confusion avec le terme “open source” lors de leur présentation. Bien que tous les modèles open source soient ouverts, tous les modèles ouverts ne répo

OSAID : l’OSI publie sa définition de l’IA open source

31 octobre 2024 à 14:00

A l’occasion de All Things Open 2024, l’un des événements les plus importants de l’industrie open source en Amérique du Nord, l’Open Source Initiative (OSI) a annoncé la publication de la première définition officielle de l’IA open source, l’OSAID.

Des modèles comme Gemma de Google sont souvent qualifiés de modèles “ouverts”, ce qui peut prêter à confusion avec le terme “open source” lors de leur présentation. Bien que tous les modèles open source soient ouverts, tous les modèles ouverts ne répondent pas nécessairement aux critères de l’open source.

Pour l’OSI, un système d’IA open source met à disposition non seulement une structure fonctionnelle, mais aussi des éléments distincts comme les modèles, les poids et les paramètres sous des conditions qui garantissent quatre libertés essentielles :

  1. Liberté d’utilisation : Utiliser le système d’IA pour n’importe quelle finalité, sans autorisation préalable.
  2. Liberté d’inspection : Étudier le fonctionnement interne du système.
  3. Liberté de modification : Modifier le système pour adapter ses réponses ou ses capacités à d’autres fins.
  4. Liberté de partage : Distribuer le système ou ses versions modifiées à d’autres utilisateurs, à des fins diverses.

Les exigences techniques d’une IA open source

Un modèle d’IA est constitué de trois éléments : l’architecture, les paramètres ou poids, et le code d’inférence. Pour qu’un modèle soit considéré comme open source, chacun de ces éléments doit être accompagné des informations nécessaires à sa modification et à sa compréhension. Selon l’OSI, il est indispensable de fournir un accès à trois éléments clés :

  • Informations sur les données : L’origine, le traitement et les caractéristiques des données d’entraînement doivent être documentés (provenance des données, méthodes de sélection, d’étiquetage et de filtrage) ;
  • Code source complet : Le code utilisé pour entraîner et exécuter le modèle doit être disponible, incluant le traitement des données, les tests et la validation ;
  • Paramètres et poids du modèle : Les poids et autres paramètres appris (points de contrôle d’entraînement, état final de l’optimiseur, etc.) doivent être accessibles pour permettre de reproduire ou de personnaliser le modèle.

Stefano Maffulli, directeur exécutif de l’OSI, commente :

“Arriver à la version 1.0 de l’OSAID aujourd’hui a été un parcours difficile, rempli de nouveaux défis pour la communauté OSI. Malgré ce processus délicat, rempli d’opinions divergentes et de frontières techniques inexplorées, et d’échanges houleux occasionnels, les résultats sont alignés sur les attentes énoncées au début de ce processus de deux ans. Il s’agit d’un point de départ pour un effort continu visant à s’engager auprès des communautés afin d’améliorer la définition au fil du temps, à mesure que nous développons avec la communauté Open Source plus large les connaissances nécessaires pour lire et appliquer OSAID v.1.0”.

Validation et soutien à l’OSAID

Dans le cadre de la validation et de la mise à l’essai de l’OSAID, les volontaires ont évalué si 13 systèmes d’IA offraient les libertés attendues. Les modèles ayant passé la phase de validation sont les suivants : Pythia (Eleuther AI), OLMo (AI2), Amber et CrystalCoder (LLM360) et T5 (Google). D’autres modèles, comme BLOOM (BigScience), Starcoder2 (BigCode) et Falcon (TII), pourraient passer s’ils modifiaient leurs licences ou conditions juridiques.

En revanche, certains modèles, tels que Llama2 (Meta), Grok (X/Twitter), Phi-2 (Microsoft) et Mixtral (Mistral), n’ont pas été validés en raison de composants manquants ou d’accords juridiques incompatibles avec les principes de l’open source.

L’Open Source Initiative précise que ces résultats doivent être considérés comme faisant partie du processus de définition et d’apprentissage, et ne constituent pas des certifications. Elle continuera de valider uniquement les documents juridiques et ne validera ni n’examinera les systèmes d’IA individuels, tout comme elle ne valide ni n’examine les projets logiciels.

Pour l’instant, une vingtaine d’entreprises ou organisations soutiennent cette version 1.0 de l’OCAID. Parmi elles, l’institut de recherche EleutherAI, Bloomberg, Mozilla, LLM360, CommonCrawl, Linagora Labs, Nextcloud, OpenInfra Foundation, SUSE, l’Eclipse Foundation, Mercado Libre…

Comme on peut s’y attendre, les entreprises dont les modèles ont été réfutés comme open source ont préféré s’abstenir… Un porte-parole de Meta a déclaré :

“Nous sommes d’accord avec notre partenaire l’OSI sur beaucoup de choses, mais nous, comme d’autres dans l’industrie, ne sommes pas d’accord avec leur nouvelle définition. Il n’existe pas de définition unique de l’IA open source, et la définir est un défi, car les définitions open source précédentes n’englobent pas les complexités des modèles d’IA qui évoluent rapidement aujourd’hui. Nous rendons Llama gratuit et librement disponible, et notre politique de licence et d’utilisation acceptable aide à assurer la sécurité des gens en mettant en place certaines restrictions. Nous continuerons à travailler avec l’OSI et d’autres groupes de l’industrie pour rendre l’IA plus accessible et gratuite de manière responsable, quelles que soient les définitions techniques”. 

OSAID : l'OSI publie sa définition de l'IA open source
  • ✇Intelligence artificielle
  • Llama 3 – l’IA open source de Meta qui rivalise avec les meilleurs modèles
    Accrochez-vous à vos claviers, car Meta vient de lâcher dans la nature une nouvelle créature nommée Llama 3. Oui, vous avez bien compris, je parle de la dernière génération de modèles de langage « open source » (ou presque, on y reviendra) de la société de Mark Zuckerberg. Si vous pensiez que ChatGPT, Claude ou Mistral étaient les rois de la savane, attendez de voir débarquer ces nouveaux lamas survitaminés ! Avec des versions allant de 8 à 400 milliards de paramètres (pour les non-initiés,

Llama 3 – l’IA open source de Meta qui rivalise avec les meilleurs modèles

Par : Korben
18 avril 2024 à 20:44

Accrochez-vous à vos claviers, car Meta vient de lâcher dans la nature une nouvelle créature nommée Llama 3. Oui, vous avez bien compris, je parle de la dernière génération de modèles de langage « open source » (ou presque, on y reviendra) de la société de Mark Zuckerberg.

Si vous pensiez que ChatGPT, Claude ou Mistral étaient les rois de la savane, attendez de voir débarquer ces nouveaux lamas survitaminés ! Avec des versions allant de 8 à 400 milliards de paramètres (pour les non-initiés, disons que c’est l’équivalent de leur QI 🧠), les Llama 3 atomisent littéralement la concurrence sur de nombreux benchmarks standards, que ce soit en termes de connaissances générales, de compréhension, de maths, de raisonnement ou de génération de code.

Mais qu’est-ce qui fait de Llama 3 un tel monstre par rapport à son petit frère Llama 2 ? Déjà, un entraînement de folie à base de 15 000 milliards de tokens (7 fois plus que Llama 2 !) pompé depuis le web (!!), avec beaucoup plus de code et de données non-anglaises pour préparer le terrain à une IA multilingue. Ajoutez à ça des techniques de parallélisation à gogo pendant la phase de pré-entraînement, et vous obtenez des lamas dopés qui apprennent à une vitesse supersonique.

Et ce n’est pas tout ! Les Llama 3 ont suivi un programme d’éducation complet, avec du fine-tuning à base de rejection sampling, de PPO et de DPO (si vous ne connaissez pas ces acronymes, ne vous inquiétez pas, moi non plus 😅). Résultat : des modèles ultra-fiables qui refusent rarement une tâche, font preuve d’un alignement exemplaire et sont capables de suivre des instructions complexes sans sourciller. Bref, ce sont des cracks en raisonnement et en génération de code !

Mais au fait, comment on met la main sur ces petites bêtes ? Facile, il suffit de se rendre sur le site de Meta AI et de les télécharger ! Enfin, quand je dis facile… Les Llama 3 sont bien « open source », mais sous une licence maison qui impose quelques restrictions, notamment pour les entreprises de plus de 700 millions d’utilisateurs mensuels (suivez mon regard vers Mountain View et Redmond 👀). Mais bon, rien ne vous empêche de vous amuser avec si vous n’êtes pas une multinationale !

Et en parlant de s’amuser, sachez que Meta a aussi concocté un chatbot maison (pas encore dispo en France) baptisé sobrement « Meta AI« , disponible sur le web (www.meta.ai) et directement intégré dans les barres de recherche de Facebook, Instagram, WhatsApp et Messenger. Sous le capot, c’est bien sûr du pur Llama 3, avec en prime un modèle de génération d’images nommé « Meta Imagine« .

Au programme, de la discussion, de la recherche web via Bing et Google, et bien sûr de la création d’images en un clin d’œil. Seul hic, pas encore de mode multi-modal façon ChatGPT pour uploader vos propres documents ou images, mais ça ne saurait tarder !

Alors, que penser de ce nouveau coup d’éclat de Meta dans la bataille des IA ?

Personnellement, je trouve ça plutôt chouette de voir un poids lourd du Net jouer le jeu de l’open source (ou approchant) et mettre à disposition de tous des modèles de cette qualité. Bien sûr, on peut toujours discuter des arrière-pensées de Zuck et sa volonté de garder un œil sur ce qu’on fabrique avec ses lamas. Mais au final, c’est toujours ça de pris sur les GAFAM et leurs vilains modèles propriétaires !

Allez, je vous laisse, j’ai un lama à aller dompter moi ! 🦙

Et n’oubliez pas, comme le dirait l’autre, « le monde appartient à ceux qui codent tôt ». Ou tard, c’est selon.

Source

❌
❌