Le 12 août dernier, le juge fédéral Orrick a rendu une ordonnance autorisant la poursuite de l’affaire concernant la violation du droit d’auteur déposée contre Stability AI, Midjourney et DeviantART par les artistes Sarah Andersen, Kelly McKernan et Karla Ortiz. Une première victoire pour celles-ci et leurs avocats, Matthew Butterick et Joseph Saveri, d’autant plus que le juge William Orrick avait rejeté la plupart de leurs demandes en octobre 2023. 

Depuis que les modèles text-to-image comme Stable Diffusion, Dall-E, Imagen ou Midjourney ont fait leur apparition, de nombreux artistes s’insurgent contre leur utilisation. Certains contestent le processus créatif de l’auteur d’une œuvre générée par IA, comme celle de Midjourney primée à la Colorado State Fair, ou le fait qu’on entraîne ces modèles sur des œuvres sans demander le consentement à leurs auteurs ni contrepartie financière.

Basée à Londres et San Francisco, Stability AI a connu la notoriété en annonçant en août 2022 la sortie publique de Stable Diffusion, un modèle text-to-image open-source fruit d’une collaboration entre Stability AI, RunwayML, des groupes de recherche du centre Machine Vision & Learning au LMU de Munich (anciennement laboratoire CompVis à l’Université de Heidelberg), d’EleutherAI et de LAION.

En janvier 2023, la célèbre banque d’images et agence de photographie américaine, Getty Images, lui a intenté un procès devant la Haute Cour de justice de Londres, affirmant que la start-up avait enfreint les droits de propriété intellectuelle, y compris les droits d’auteur sur le contenu qu’elle détient ou représente. Le même mois, Matthew Butterick et Joseph Saveri déposaient la plainte initiale Andersen v. Stability au nom des trois artistes Sarah Andersen, Kelly McKernan et Karla Ortiz.

Celle-ci conteste la légalité des IA génératives d’images créées par Stability AI, Midjourney et DeviantArt (DreamUp, qui utilise le modèle Stable Diffusion). Toutes trois ont été entraînées sur de vastes ensembles de données d’images et de textes provenant de diverses sources sur Internet, notamment des bases de données LAION-5B et LAION-400M

Lorsqu’il a rejeté la plupart de leurs demandes en octobre 2023, le juge Orrick a laissé aux plaignantes le droit de modifier leur plainte pour la représenter, ce qui a été fait le mois suivant. Dans son ordonnance du 12 août dernier, il a autorisé les réclamations pour violation du droit d’auteur et de la marque. Stability AI, Midjourney et DeviantArt vont donc devoir fournir des informations sur les données d’entraînement de leurs modèles text-to-image, préciser si des œuvres protégées par le droit d’auteur en font partie et dans quelle mesure.

Matthew Butterick souligne dans son blog intitulé “La fin du début”:

“Non, cela ne veut pas dire que nous gagnons. Au contraire, cela signifie seulement que nous pouvons commencer : nous pouvons commencer la découverte et mettre l’affaire sur la voie du procès. Mais il s’agit d’un pas en avant important pour l’affaire, qui avait été suspendue pendant plus de 18 mois”.

En février dernier, Stability AI annonçait ses deux derniers modèles text-to-image : Stable Cascade et Stable Diffusion 3 ainsi que l’ouverture de la liste d’attente pour une prévisualisation anticipée de cette dernière itération de son modèle phare. La start-up a récemment publié Stable Diffusion 3 (SD3) Medium, un modèle open source de 2 milliards de paramètres qu’elle présente comme son modèle de génération d’images le plus sophistiqué à ce jour.

La famille SD3 comprend des modèles allant de 800 millions à 8 milliards de paramètres, offrant aux utilisateurs un éventail d’options adaptées à leurs besoins créatifs spécifiques.

Les modèles de petite taille comme SD3 Medium offrent une combinaison équilibrée de performance, accessibilité et efficacité. Ils sont plus faciles à recycler et à affiner pour des cas d’utilisation spécifiques et accessibles à un plus large éventail d’utilisateurs, puisque compatibles avec le matériel grand public.

SD3 Medium

Selon Stability AI, “la petite taille de SD3 medium le rend parfait pour fonctionner sur des PC et des ordinateurs portables grand public ainsi que sur des GPU de niveau entreprise”.
Le minimum requis pour exécuter Stable Diffusion Medium n’est en effet que de 5 Go de VRAM (mémoire vidéo). Stability AI recommande néanmoins 16 Go de VRAM pour une utilisation vraiment confortable et optimale.

SD3 est un modèle de diffusion latente qui se compose de trois encodeurs de texte différents (CLIP L/14, OpenCLIP bigG/14 et T5-v1.1-XXL), d’un nouveau modèle de transformateur de diffusion multimodale (MMDiT) et d’un modèle d’auto-encodeur (VAE ou Variational Autoencoder) à 16 canaux similaire à celui utilisé pour Stable Diffusion XL

Les performances du modèle

Selon Stability AI, SD3 Medium se distingue par son photoréalisme, le respect des prompts, sa capacité à générer des textes et les possibilités de fine-tuning.

Il présente plusieurs améliorations significatives :

• Qualité Globale et Photoréalisme : Stable Diffusion 3 Medium produit des images d’une qualité exceptionnelle, avec des détails précis, des couleurs vives et un éclairage réaliste. Grâce à l’intégration d’un VAE à 16 canaux, il parvient à surmonter les défis typiques des modèles IA, notamment le réalisme des mains et des visages ;
• Compréhension Rapide : SD3 Medium peut traiter des invites longues et complexes, il excellerait dans la gestion du raisonnement spatial, des éléments de composition, des actions et des styles. Les utilisateurs peuvent optimiser les performances et l’efficacité grâce aux trois encodeurs de texte intégrés ;
• Typographie : l’architecture Diffusion Transformer permet d’atteindre une qualité de texte inégalée, réduisant les erreurs d’orthographe, de crénage, de formation des lettres et d’espacement.
• Économe en Ressources : Stable Diffusion 3 Medium fonctionne parfaitement sur des GPU grand public standards, sans dégradation des performances, grâce à son faible encombrement VRAM ;
• Réglage Fin : Ce modèle est conçu pour absorber des détails nuancés à partir de petits ensembles de données, le rendant idéal pour la personnalisation et les applications spécifiques ;

Voici quelques images générées par le modèle et leurs prompts partagées par Stability AI :

Collaboration avec NVIDIA et AMD

Stability AI a collaboré avec NVIDIA pour optimiser les performances de ses modèles, y compris Stable Diffusion 3 Medium, en utilisant les GPU NVIDIA® RTX™ et TensorRT™. Les versions optimisées pour TensorRT offrent une augmentation de 50 % des performances, garantissant une efficacité inégalée.

De plus, AMD a optimisé l’inférence pour Stable Diffusion 3 Medium sur divers appareils, y compris les derniers APU d’AMD, les GPU grand public et les GPU MI-300X Enterprise, assurant une compatibilité et des performances  de pointe sur une large gamme de matériels.

Accessibilité et Licences

Stable Diffusion 3 Medium est un modèle open source publié sous la licence Stability Non-Commercial Research Community, réaffirmant l’engagement de Stability AI envers une IA générative ouverte. Pour un usage commercial, les artistes, designers et développeurs peuvent se tourner vers une nouvelle licence de créateur pour 20$ par mois. Quant aux entreprises souhaitant une utilisation commerciale à grande échelle, Stability AI propose des licences adaptées et invite à les contacter pour plus de détails.

Essayer Stable Diffusion 3

Stable Diffusion 3 Medium est désormais disponible via l’API alimentée par Fireworks AI. Les utilisateurs peuvent également essayer d’autres versions de la série Stable Diffusion 3, telles que le modèle SD3 Large et SD3 Ultra, grâce à un essai gratuit de trois jours sur le chatbot Stable Assistant et sur Discord via Stable Artisan.

Le modèle de génération de vidéos Lumiere, récemment présenté par des chercheurs de Google Research, utilise un modèle de diffusion probabiliste basé sur un réseau U-Net spatio-temporel, pour générer des vidéos de 5 secondes réalistes et cohérentes à partir d’invites ou d’images fixes, permettre de les styliser suivant son choix ou créer des cinémagraphes en animant seulement la partie sélectionnée d’une image.

Les modèles de génération d’images tels qu’Adobe Firefly, DALL-E, Midjourney, Imagen ou Stable Diffusion ont soulevé l’enthousiasme et été rapidement adoptés. Une suite logique était la génération de vidéos, Meta AI s’y est attaqué dès octobre 2022 avec Make-A-Video, le laboratoire NVIDIA AI de Toronto a dévoilé un modèle de synthèse Text-to-Video haute résolution basé sur le modèle Stable Diffusion open source de Stability AI qui a de son côté présenté en novembre dernier Stable Video Diffusion, un modèle très performant.

La génération de vidéos est une tâche beaucoup plus complexe que la génération d’images, impliquant une dimension temporelle en plus de la dimension spatiale, le modèle doit non seulement générer correctement chaque pixel, mais également prédire comment ce dernier évoluera pour produire une vidéo cohérente et fluide.

Pour Lumiere, Google Research, qui avait participé au développement du modèle de génération de vidéos W.A.L.T présenté le mois dernier, a opté pour une approche novatrice afin de surmonter les défis spécifiques liés à l’entraînement des modèles text-to-video.

Le modèle LUMIERE se compose d’un modèle de base et d’un modèle de super-résolution spatiale. Le modèle de base génère des clips vidéo à basse résolution en traitant le signal vidéo dans plusieurs échelles spatio-temporelles, en s’appuyant sur un modèle de text-to-image pré-entraîné. Le modèle de super-résolution spatiale augmente la résolution spatiale des clips vidéo en utilisant une technique de multidiffusion pour assurer la continuité globale du résultat.

Les chercheurs expliquent :

“Nous introduisons une architecture U-Net spatio-temporelle qui génère toute la durée temporelle de la vidéo en une seule fois, par un seul passage dans le modèle. Cela contraste avec les modèles vidéo existants qui synthétisent des images clés distantes suivies d’une super-résolution temporelle, une approche qui rend intrinsèquement difficile la réalisation d’une cohérence temporelle globale”.

Applications

Le modèle peut être facilement adapté à une variété de tâches de création et d’édition de contenu vidéo, telles que la génération de vidéos stylisées, la génération d’images-vers-vidéos, l’inpainting et l’outpainting vidéo, et la création de cinémagraphes, comme on peut le constater dans la vidéo ci-dessous.

Pour rappel, l’inpainting permet de remplir ou restaurer des parties manquantes ou endommagées d’une vidéo de manière réaliste. On peut l’utiliser pour remplacer des objets indésirables, réparer des artefacts (anomalies ou altérations non désirées) ou des zones corrompues dans une vidéo, ou même pour créer des effets spéciaux.

L’outpainting vidéo, en revanche, se réfère à l’extension ou à l’ajout de contenu au-delà des limites existantes de la vidéo. Il permet d’ajouter des éléments pour agrandir la scène, créer des transitions fluides entre les clips vidéo ou ajouter des éléments décoratifs ou contextuels.

Evaluations

Le modèle Lumiere a été évalué sur 113 descriptions textuelles ainsi que sur le jeu de données UCF101. Il a obtenu des résultats compétitifs en termes de Frechet Video Distance et d’Inception Score, et a été préféré par les utilisateurs pour sa qualité visuelle et sa cohérence de mouvement par rapport aux méthodes concurrentes.

Si le modèle a démontré de solides performances, les chercheurs rappellent :

“Notre objectif principal dans ce travail est de permettre aux utilisateurs novices de générer du contenu visuel de manière créative et flexible. Cependant, il existe un risque d’utilisation abusive pour la création de contenu faux ou préjudiciable avec notre technologie, et nous pensons qu’il est crucial de développer et d’appliquer des outils pour détecter les biais et les cas d’utilisation malveillants afin de garantir une utilisation sûre et équitable”.

Références de l’article :

Article “Lumiere: A Space-Time Diffusion Model for Video Generation”

arXiv, soumis le 23/01/2024, https://doi.org/10.48550/arXiv.2401.12945

Auteurs : Omer Bar-Tal 1 2, Hila Chefer 1 3, Omer Tov 1, Charles Herrmann 1, Roni Paiss 1, Shiran Zada 1, Ariel Ephrat 1, Junhwa Hur 1, Yuanzhen Li 1, Tomer Michaeli 1 4, Oliver Wang 1 Deqing Sun 1, Tali Dekel 1 2, Inbar Mosseri 1

1Google Research 2Weizmann Institute 3Tel-Aviv University 4Technion