Après avoir annoncé le fine-tuning de GPT-4o mini fin juillet dernier avec une offre de 2 millions de jetons gratuits par jour jusqu’au 23 septembre prochain, OpenAI propose depuis mardi dernier aux développeurs d’affiner son LLM multimodal phare GPT-4o. 

GPT-4o, introduit en mai dernier par OpenAI, fusionne le traitement de l’audio, de la vision et du texte en temps réel. Comparé à GPT-4 Turbo, il est deux fois plus rapide, deux fois moins cher et propose des limites de débit cinq fois plus élevées. Les développeurs vont pouvoir l’affiner en utilisant des ensembles de données personnalisés à un coût réduit pour leurs cas d’utilisation spécifiques.

Le fine-tuning, l’une des fonctionnalités les plus demandées par les développeurs, permet d’améliorer la précision, la structure, et le ton des réponses du modèle, ainsi que sa capacité à suivre des instructions complexes propres à certains domaines, même avec de petits ensembles de données. Selon OpenAI, quelques dizaines d’exemples peuvent suffire pour obtenir des améliorations significatives.

La nouvelle fonctionnalité est disponible pour tous les développeurs, quel que soit leur niveau d’utilisation. Le coût de l’entraînement est fixé à 25 par million de jetons d’entrée et 15 $ par million de jetons de sortie.

Comme pour GPT-4o mini, son lancement est assorti d’une offre de fine-tuning gratuit jusqu’au 23 septembre mais plus restreinte : chaque organisation bénéficie d’un million de jetons d’entraînement gratuits par jour.

De premiers cas d’utilisation convaincants

Depuis deux mois, plusieurs partenaires de confiance d’OpenAI ont pu tester le fine-tuning de GPT-4o avec des résultats impressionnants.

Parmi ceux-ci :

• Cosine a utilisé GPT-4o pour affiner son assistant d’ingénierie logicielle, Genie. En intégrant des exemples réels d’ingénieurs logiciels, Genie a été en mesure de détecter et corriger des bogues, créer de nouvelles fonctionnalités et refactoriser du code avec une précision accrue. Grâce à ce réglage fin, Genie a atteint un score record de 43,8 % sur le banc d’essai SWE-bench, établissant un nouveau standard de performance ;
• Distyl : ce partenaire spécialisé dans les solutions d’IA pour les entreprises du Fortune 500 a utilisé GPT-4o pour améliorer ses capacités de traitement SQL. Le modèle affiné a obtenu un score de 71,83 % au benchmark BIRD-SQL, surpassant ses concurrents et démontrant une compétence exceptionnelle dans la reformulation de requêtes et la génération SQL.

Sécurité et contrôle des données

Les modèles affinés via GPT-4o restent entièrement sous le contrôle des développeurs. Les données d’entreprise, y compris les entrées et sorties, sont protégées et ne sont jamais partagées ou utilisées pour entraîner d’autres modèles. De plus, des mesures de sécurité rigoureuses, incluant des évaluations automatisées et une surveillance continue de l’utilisation, sont en place pour prévenir tout usage abusif.

Comment commencer le fine-tuning de GPT-4o ?

Les développeurs intéressés par cette nouvelle fonctionnalité peuvent suivre ces étapes simples :

• Se connecter à leur tableau de bord de fine-tuning sur la plateforme OpenAI ou s’enregistrer pour ceux qui n’ont pas encore de compte ;
• Cliquer sur “créer”;
• Sélectionner gpt-4o-2024-08-06 dans le menu déroulant des modèles de fondation.

OpenAI propose un guide dédié aux étapes du fine-tuning pour les non-initiés ici.

La start-up commente :

“Du codage à l’écriture créative, la mise au point peut avoir un impact important sur les performances du modèle dans divers domaines. Ce n’est qu’un début : nous continuerons d’investir dans l’élargissement de nos options de personnalisation de modèle pour les développeurs”.

RunwayML, pionnier dans les outils de création multimédia alimentés par l’IA, a récemment annoncé la prochaine sortie de Gen-3 Alpha. Ce modèle de fondation, offrant des améliorations majeures en termes de fidélité, de cohérence et de mouvement par rapport à son prédécesseur, Gen-2, est présenté par la start-up comme le premier d’une série de modèles entraînés sur une nouvelle infrastructure conçue pour l’entraînement multimodal à grande échelle.

Gen-3 Alpha, dont le prédécesseur a été lancé en juin 2023, a été entraîné conjointement sur des vidéos et des images. Il alimentera, selon Runway, ses outils Text-to-Video, Image-to-Video et Text-to-Image, les modes de contrôle existants tels que Motion Brush, les commandes avancées de la caméra, le mode réalisateur ainsi que les outils à venir pour un contrôle plus précis de la structure, du style et du mouvement.

Une étape vers la construction de modèles généraux du monde

Gen-3 Alpha est, selon la start-up, une avancée vers ce qu’elle appelle un “General World Model”, un système d’IA qui construit une représentation interne d’un environnement et l’utilise pour simuler des événements futurs dans cet environnement. Un tel modèle sera capable de représenter et de simuler un large éventail de situations et d’interactions, comme celles rencontrées dans le monde réel.

Il devra non seulement capturer la dynamique du monde, mais aussi la dynamique de ses habitants, ce qui implique également de construire des modèles réalistes du comportement humain.

L’entraînement de Gen-3 Alpha est le fruit d’une collaboration entre une équipe interdisciplinaire de chercheurs, d’ingénieurs et d’artistes.

Gen-3 Alpha permet la génération de vidéos de 5 à 10 secondes basées sur des invites créatives complexes, comme celles-ci :

• Reflets subtils d’une femme sur la fenêtre d’un train roulant à grande vitesse dans une ville japonaise ;
• Travelling à l’épaule la nuit, suivant un ballon bleu sale flottant au-dessus du sol dans une vieille rue européenne abandonnée.

Il a été entraîné avec des légendes très descriptives et temporellement denses, ce qui lui permet de passer d’une scène à une autre de manière créative et fluide, tout en maintenant une narration cohérente par rapport à l’invite. Le modèle est également très bon dans la génération  de personnages humains photoréalistes, expressifs et dotés d’un large éventail d’actions, de gestes et d’émotions, offrant ainsi des opportunités pour la narration immersive.

Sécurité et intégrité du contenu généré renforcées

Runway a intégré des mesures de protection robustes dans Gen-3 Alpha. La start-up a amélioré son système de modération visuelle interne pour surveiller et filtrer le contenu généré, afin de s’assurer qu’il respecte les normes éthiques et ne contienne pas de matériel inapproprié ou offensant. Elle a également adopté les normes C2PA (Coalition for Content Provenance and Authenticity) qui attestent de l’origine et de l’authenticité d’un contenu.

Des modèles Gen-3 personnalisés

Runway dit avoir établi des partenariats avec des organisations de divertissement et de médias de premier plan pour créer des versions personnalisées de Gen-3 Alpha, qui permettent d’obtenir des personnages plus cohérents et plus contrôlés sur le plan stylistique, et ciblent des exigences artistiques et narratives spécifiques, entre autres fonctionnalités.

La start-up n’a toutefois pas précisé la date de sortie du modèle.

Les puces de NVIDIA, notamment le GPU H100, sont les plus utilisées que ce soit pour les datacenters, les supercalculateurs, l’entraînement ou l’inférence des LLM. Lors de la GTC 2024, qui a réuni Jensen Huang, fondateur et PDG de NVIDIA, a présenté des GPU qui devraient apporter encore plus de puissance de calcul : la puce “la plus puissante au monde pour l’IA” Blackwell B200 basée sur une nouvelle architecture et la super puce GB200, qui combinera les architectures Grace et Blackwell.

Nommée en l’honneur de David Harold Blackwell, mathématicien de l’Université de Californie à Berkeley spécialisé dans la théorie des jeux et les statistiques, et premier chercheur noir intronisé à l’Académie nationale des sciences, la nouvelle architecture succède à l’architecture NVIDIA Hopper, lancée il y a deux ans.

Elle comprend, selon NVIDIA, six technologies transformatrices pour l’informatique accélérée, qui contribueront à débloquer des percées dans le traitement des données, la simulation d’ingénierie, l’automatisation de la conception électronique, la conception de médicaments assistée par ordinateur, l’informatique quantique et l’IA générative, autant d’opportunités industrielles émergentes pour NVIDIA.

Outre les puces Blackwell, elle dispose notamment d’un moteur de transformateur de deuxième génération : alimentée par une nouvelle prise en charge de la mise à l’échelle des micro-tenseurs et les algorithmes avancés de gestion de la plage dynamique de NVIDIA intégrés aux frameworks NVIDIA TensorRT-LLM et NeMo Megatron, Blackwell prendra en charge le double de la taille des calculs et des modèles avec de nouvelles capacités d’inférence IA en virgule flottante 4 bits.

Un NVLink de cinquième génération permet d’accélérer les performances des modèles d’IA de plusieurs billions de paramètres grâce à un débit bidirectionnel de 1,8 To/s par GPU, garantissant une communication haut débit transparente entre jusqu’à 576 GPU pour les LLM les plus complexes.

Blackwell multiplie les performances de Hopper par 2,5 en FP8 pour l’entraînement, par puce et par 5 avec FP4 pour l’inférence.

Lors de son discours d’ouverture, Jensen Huang affirmait:

“Pendant trois décennies, nous avons poursuivi l’informatique accélérée, dans le but de permettre des percées transformatrices telles que l’apprentissage profond et l’IA. L’IA générative est la technologie déterminante de notre époque. Blackwell est le moteur de cette nouvelle révolution industrielle. En travaillant avec les entreprises les plus dynamiques au monde, nous réaliserons les promesses de l’IA pour tous les secteurs”.

Le GPU B200 et la superpuce GB200

Comptant deux cœurs de processeur, chacun comportant 104 milliards de transistors, les GPU d’architecture Blackwell sont fabriqués à l’aide d’un processus TSMC 4NP sur mesure avec des puces GPU limitées à deux réticules connectées par une liaison puce à puce de 10 To/seconde formant ainsi un seul GPU unifié. Tout comme les GH200 Grace Hopper, les B200 sont dotés de mémoire HBM3e, (192 pour ces derniers contre 282 Go pour le GH200),qui permet de gérer les charges de travail d’IA générative les plus complexes, allant des grands modèles linguistiques aux systèmes de recommandation et aux bases de données vectorielles. La bande passante mémoire est de 8 To/s.

La superpuce GB200 connecte deux de ces GPU B200 à un processeur Grace, via une interconnexion puce-puce NVLink ultra-basse consommation de 900 Go/s, pour offrir des performances 30 fois supérieures pour les calculs d’inférence. Selon Jensen Huang, la formation d’un modèle de 1 800 milliards de paramètres aurait auparavant nécessité 8 000 GPU Hopper et 15 mégawatts de puissance, 2 000 GPU Blackwell permettent de le faire en ne consommant que quatre mégawatts.

Le GB200 serait également 25 fois plus performant en matière d’efficacité énergétique que le H 100.

Le GB200 est un composant clé du NVIDIA GB200 NVL72, un système multi-nœuds, refroidi par liquide et à l’échelle du rack pour les charges de travail les plus gourmandes en ressources de calcul. Il combine 36 superpuces Grace Blackwell, dont 72 GPU Blackwell et 36 CPU Grace interconnectés par le NVLink de cinquième génération. Grâce à lui, l’inférence d’un LLM  de mille milliards de paramètres serait 30 fois plus rapide.

On savait OpenAI en tractations avec plusieurs médias pour entraîner ses LLM sur leurs publications. En France, c’est avec le journal Le Monde que le premier accord a été signé : OpenAI puisera en toute légalité dans le contenu du quotidien pour entraîner ses modèles et enrichir les réponses de ChatGPT. Le Monde, de son côté, s’assure d’une nouvelle source de revenus tout en protégeant ses droits d’auteur.

Si 2023 a été l’année de l’IA générative, elle a été également celle de batailles judiciaires entre les éditeurs, les écrivains, les artistes et les acteurs de l’IA comme OpenAI, Midjourney ou Meta. OpenAI a d’ailleurs été principalement la cible de plaintes comme en témoigne celle du New York Times fin décembre dernier.

Sachant pertinemment que leurs contenus vont aller enrichir les données sur lesquelles sont entraînés les modèles d’IA, leurs auteurs entendent aujourd’hui ne pas laisser les développeurs engranger des bénéfices sur leur dos sans contrepartie. Ce que ces derniers ont compris : Google a ainsi signé en février un accord de licence avec Reddit d’un montant de 60 millions de dollars annuels pour exploiter son contenu.

OpenAI s’est dit prêt à collaborer avec les éditeurs et les créateurs “afin qu’ils tirent profit d’une technologie IA avancée et d’un nouveau modèle de revenus”.

La start-up a signé un accord avec le groupe de presse allemand Axel Springer après avoir conclu un partenariat avec l’Associated Press en juillet dernier, pour partager certains contenus et technologies d’information et examiner des cas d’utilisation potentiels de l’IA générative dans les produits et services d’actualité. Mercredi, elle a annoncé cet accord avec Le Monde mais également un partenariat avec le groupe espagnol Prisa Media.

L’accord de partenariat Le Monde-OpenAI

Les équipes du Monde vont pouvoir exploiter les technologies d’OpenAI pour développer des projets et des fonctionnalités basées sur l’IA tandis que la start-up utilisera son corpus éditorial.

Louis Dreyfus, Directeur général du Monde, et Jérôme Fenoglio, Directeur du Monde, écrivent :

“L’accord prévoit que les références aux articles du Monde soient mises en évidence et systématiquement accompagnées d’un logo, d’un lien hypertexte et des titres des articles utilisés comme références. Les contenus qui nous sont fournis par les agences de presse et les photographies publiées par Le Monde sont expressément exclus”. 

Tous deux rappellent qu’ils ont été parmi les premiers en France à signer des accords de droits voisins avec Facebook puis Google. Le droit voisin permet, depuis 2019, aux éditeurs de presse de recevoir une rémunération des plateformes du Web utilisant leurs publications datant de moins de deux ans. Le montant de celle-ci est déterminé à la suite de négociations entre éditeur et plateforme, comme dans le cadre de ce partenariat.

Ils ajoutent :

“Nous espérons que cet accord créera un précédent pour notre industrie. Avec cette première signature, il sera plus difficile pour les autres plateformes d’IA de se soustraire ou de refuser de négocier. De ce point de vue, nous sommes convaincus que l’accord est bénéfique pour l’ensemble de la profession”.

Précisant :

“Il va sans dire que ce nouvel accord, comme les précédents que nous avons signés, n’entravera en rien la liberté de nos journalistes d’enquêter sur le secteur de l’intelligence artificielle en général, et sur OpenAI en particulier”.

Une charte sur l’IA

Comme de nombreuses entreprises et éditeurs, Le Monde utilise des outils d’IA au quotidien, notamment l’outil de traduction de DeepL pour son site web et son application en anglais. Le quotidien teste également la transcription orale de ses articles français dans le cadre d’un accord avec Microsoft.

L’éditeur met l’accent sur la nécessité d’une supervision humaine dans l’utilisation de l’IA. Une fois les articles traduits par DeepL, ils sont ainsi relus par des traducteurs professionnels avant de l’être par des journalistes anglophones, ce qui a d’ailleurs permis de créer des emplois.

Sa charte sur l’IA, récemment adoptée, complète sa charte éthique et déontologique et stipule en autres :

“L’intelligence artificielle générative (…) ne peut en aucun cas remplacer les équipes éditoriales”

mais également :

 “L’utilisation de l’IA générative n’est autorisée, que dans des conditions strictement définies, comme outil d’aide à la production éditoriale”.