InstaDeep, l’un des leaders mondiaux de l’IA décisionnelle, a annoncé hier le lancement de Kyber, un supercalculateur de nouvelle génération conçu pour répondre aux besoins croissants en calcul haute performance (HPC). Installée dans le data center Equinix de Saint-Denis, cette infrastructure, qui représente un investissement de plusieurs millions d’euros, décuple les capacités de calcul d’InstaDeep. Avec une capacité avoisinant 0,5 exaFLOP en FP16, Kyber s’inscrit parmi les 100 clusters IA les plus puissants au monde et figure dans le top 20 des clusters équipés de GPU NVIDIA H100.

Une infrastructure de pointe pour gérer des défis complexes

Conçu pour traiter des calculs extrêmement complexes, Kyber permettra de relever des défis critiques dans des domaines tels que la bio-informatique, les sciences de la vie, l’optimisation industrielle et la recherche avancée en IA. En associant cette puissance exceptionnelle à ses algorithmes innovants, InstaDeep ambitionne de transformer la prise de décision à grande échelle et la modélisation de systèmes complexes.

Karim Beguir, CEO et cofondateur d’InstaDeep, assure :

“Kyber représente une avancée transformative pour InstaDeep. Nous avons désormais la capacité d’accélérer les percées en IA et de concrétiser nos objectifs d’innovation au bénéfice de nos clients. Cet investissement souligne aussi l’importance clé de la France pour InstaDeep. Notre bureau de Paris, qui compte plus de 130 ingénieurs et chercheurs en IA, joue un rôle clé dans le développement de nos capacités dans la région. Héberger Kyber dans un centre de données français confirme notre engagement à stimuler l’innovation et la croissance en Europe.”

La France, un choix stratégique et souverain

La localisation de Kyber en région parisienne reflète une double ambition : optimiser les coûts énergétiques tout en garantissant la souveraineté des données. En construisant et en gérant ce cluster en interne, InstaDeep conserve une indépendance totale sur son infrastructure, lui permettant d’adapter les logiciels aux besoins spécifiques des utilisateurs tout en maîtrisant les coûts.

Nacef Labidi, Responsable de l’Infrastructure chez InstaDeep, souligne :

“Dès le départ, InstaDeep a pris la décision stratégique de construire et de gérer son propre cluster de supercalcul. Cette approche, rendue possible par notre expertise en calcul haute performance (HPC), garantit notre indépendance en matière d’accès à une puissance de calcul essentielle pour les workflows IA.” 

Un rôle clé pour l’innovation en Europe

L’investissement dans Kyber illustre l’engagement d’InstaDeep en faveur de la recherche et de l’innovation en France et en Europe. En combinant des chercheurs, des bases de données robustes et une puissance de calcul sans précédent, InstaDeep se positionne comme un acteur clé des transformations industrielles et scientifiques. L’entreprise ambitionne également d’utiliser ses avancées pour répondre à des défis mondiaux, notamment en matière de durabilité et de résilience climatique.

Depuis sa création, il y a dix ans, InstaDeep a mis ses technologies au service de solutions à fort impact, telles que la plateforme InstaGeo, un cadre open source d’apprentissage automatique géospatial, qui sera notamment utilisé par les participants du GeoAI Hack qu’il coorganise avec datacraft  la semaine prochaine. Avec Kyber, l’entreprise franchit un nouveau cap dans son ambition de repousser les limites de l’IA pour des industries à fort impact, tout en renforçant la souveraineté technologique européenne et en consolidant sa position de leader sur le marché de l’IA décisionnelle au côté des grands acteurs américains.

La semaine dernière, le Centre de calcul haute performance de l’Université de Stuttgart (HLRS) a inauguré Hunter, son tout dernier supercalculateur. Conçu et fabriqué par Hewlett Packard Enterprise (HPE), il est alimenté, à l’instar d’El Capitan, le supercalculateur de plus de deux exaflops du département de l’Énergie des États-Unis, par l’APU Instinct MI300A d’AMD. Combinant performance et durabilité énergétique, Hunter marque une étape importante dans le paysage du calcul haute performance (HPC) en Allemagne.

Hunter repose sur une architecture innovante, exploitant les unités de traitement accéléré (APU ou Accelerated Processing Unit) AMD Instinct MI300A qui intègrent des cœurs de processeur, des GPU et une mémoire à large bande passante dans un seul boîtier. Avec une capacité de calcul maximale théorique de 48,1 pétaflops, la vitesse de Hunter est presque le double de celle de son prédécesseur, Hawk (26 pétaflops), tout en réduisant sa consommation d’énergie d’environ 80 %. L’intégration de l’architecture HPE Cray Supercomputing EX4000, dotée de 188 nœuds interconnectés via la technologie HPE Slingshot, garantit des performances optimales pour les charges de travail les plus exigeantes.

Un engagement fort en faveur de la durabilité

Conçu avec une approche centrée sur l’efficacité énergétique, Hunter utilise un système de refroidissement liquide direct 100 % sans ventilateur, développé par HPE pour maximiser l’efficacité énergétique et la rentabilité des déploiements d’IA à grande échelle. En collaboration avec HPE, HLRS a également mis en place un plafonnement dynamique de l’alimentation, optimisant la répartition de la puissance en fonction des besoins des applications en temps réel. Ces efforts s’inscrivent dans une stratégie globale de développement durable, visant à rendre le calcul intensif plus respectueux de l’environnement.

Des applications variées pour la science et l’industrie

Hunter est destiné à répondre aux besoins de divers secteurs, notamment l’ingénierie, la modélisation climatique, la recherche biomédicale et la science des matériaux. Les entreprises et les agences du secteur public bénéficieront ainsi d’un accès sécurisé aux ressources de calcul haute performance et d’IA, permettant de développer des produits et des services innovants.

La start-up Seedbox.ai basée à Stuttgart exploite déjà Hunter pour entraîner ses LLMs KafkaLM, contribuant à l’émergence de solutions IA européennes. En outre, le supercalculateur jouera un rôle clé dans le projet HammerHAI, une initiative allemande visant à démocratiser l’adoption de l’intelligence artificielle en Europe.

Financement et avenir du calcul haute performance

Le coût total du projet Hunter s’élève à 15 millions d’euros, financés à parts égales par le ministère des Sciences, de la Recherche et des Arts du Bade-Wurtemberg et le ministère fédéral allemand de l’Éducation et de la Recherche, sous l’égide du Centre Gauss pour le calcul intensif, l’alliance des trois centres nationaux de calcul intensif de l’Allemagne, dont le HLRS est le membre-fondateur.

Hunter prépare le terrain pour son successeur, le supercalculateur de classe exascale Herder, qui sera également fabriqué par HPE. Avec une vitesse de pointe de plusieurs centaines de pétaflops, Herder permettra d’étendre considérablement les capacités HPC de l’Allemagne.

Plusieurs mois après avoir demandé une pause dans le domaine de l’IA, le PDG de Tesla, SpaceX et X (ex-Twitter), Elon Musk, annonçait l’an passé la création de xAI. Peu de temps après, il dévoilait le premier produit de la start-up : l’IA générative Grok, qu’il souhaite positionner devant ChatGPT. Pour cela, il lui faut encore plus de puissance de calcul, il cherche donc à sécuriser un approvisionnement constant de GPUs, mettant la pression sur les chaînes d’approvisionnement de NVIDIA.

L’engouement des entreprises pour la GenAI a entraîné une demande massive des GPUs H100 de NVIDIA en 2023, qui annonçait alors des délais de livraison pouvant atteindre jusqu’à 52 semaines. Les puces de NVIDIA sont en effet les plus utilisées que ce soit pour les datacenters, les supercalculateurs, l’entraînement ou l’inférence des LLMs. Cette année, la société a considérablement augmenté sa production pour tenter de répondre à la demande du marché mais, selon des informations du Wall Street Journal, les demandes d’Elon Musk imposeraient ou auraient imposé une tension particulière sur ses chaînes d’approvisionnement.

Il faut reconnaître qu’Elon Musk dans son ambition de surpasser ses concurrents dans le domaine de la GenAI, a mis les bouchées doubles avec la construction de son supercalculateur Colossus, une réalisation qualifiée de surhumaine par Jensen Huang, le PDG de NVIDIA, en raison de la rapidité et de l’efficacité avec lesquelles le projet a été mené à bien. Il déclarait alors :

“Pour autant que je sache, il n’y a qu’une seule personne au monde qui puisse faire quelque chose comme ça en si peu de temps. Elon est unique dans sa compréhension de l’ingénierie, des grands systèmes, de la gestion des ressources – c’est tout simplement incroyable”.

Selon Elon Musk, le supercalculateur, construit en 122 jours à Memphis, dans le Tennessee, comptait 100 000 GPU H100 en septembre dernier et devait voir sa capacité de calcul doubler avec 50 000 nouveaux H100 et autant de H200 avant la fin de l’année. Colossus est en fait le plus grand cluster de calcul d’IA au monde.

La start-up en a les moyens puisqu’elle a levé 11 milliards de dollars cette année. En mai, elle a annoncé un tour de financement de 6 milliards de dollars avec la participation d’investisseurs de premier plan, notamment Valor Equity Partners, Andreessen Horowitz, Sequoia Capital, qui ont tous trois répondu présents pour une nouvelle levée de fonds de 5 milliards de dollars.

Les puces de NVIDIA, notamment le GPU H100, sont les plus utilisées que ce soit pour les datacenters, les supercalculateurs, l’entraînement ou l’inférence des LLM. Lors de la GTC 2024, qui a réuni Jensen Huang, fondateur et PDG de NVIDIA, a présenté des GPU qui devraient apporter encore plus de puissance de calcul : la puce “la plus puissante au monde pour l’IA” Blackwell B200 basée sur une nouvelle architecture et la super puce GB200, qui combinera les architectures Grace et Blackwell.

Nommée en l’honneur de David Harold Blackwell, mathématicien de l’Université de Californie à Berkeley spécialisé dans la théorie des jeux et les statistiques, et premier chercheur noir intronisé à l’Académie nationale des sciences, la nouvelle architecture succède à l’architecture NVIDIA Hopper, lancée il y a deux ans.

Elle comprend, selon NVIDIA, six technologies transformatrices pour l’informatique accélérée, qui contribueront à débloquer des percées dans le traitement des données, la simulation d’ingénierie, l’automatisation de la conception électronique, la conception de médicaments assistée par ordinateur, l’informatique quantique et l’IA générative, autant d’opportunités industrielles émergentes pour NVIDIA.

Outre les puces Blackwell, elle dispose notamment d’un moteur de transformateur de deuxième génération : alimentée par une nouvelle prise en charge de la mise à l’échelle des micro-tenseurs et les algorithmes avancés de gestion de la plage dynamique de NVIDIA intégrés aux frameworks NVIDIA TensorRT-LLM et NeMo Megatron, Blackwell prendra en charge le double de la taille des calculs et des modèles avec de nouvelles capacités d’inférence IA en virgule flottante 4 bits.

Un NVLink de cinquième génération permet d’accélérer les performances des modèles d’IA de plusieurs billions de paramètres grâce à un débit bidirectionnel de 1,8 To/s par GPU, garantissant une communication haut débit transparente entre jusqu’à 576 GPU pour les LLM les plus complexes.

Blackwell multiplie les performances de Hopper par 2,5 en FP8 pour l’entraînement, par puce et par 5 avec FP4 pour l’inférence.

Lors de son discours d’ouverture, Jensen Huang affirmait:

“Pendant trois décennies, nous avons poursuivi l’informatique accélérée, dans le but de permettre des percées transformatrices telles que l’apprentissage profond et l’IA. L’IA générative est la technologie déterminante de notre époque. Blackwell est le moteur de cette nouvelle révolution industrielle. En travaillant avec les entreprises les plus dynamiques au monde, nous réaliserons les promesses de l’IA pour tous les secteurs”.

Le GPU B200 et la superpuce GB200

Comptant deux cœurs de processeur, chacun comportant 104 milliards de transistors, les GPU d’architecture Blackwell sont fabriqués à l’aide d’un processus TSMC 4NP sur mesure avec des puces GPU limitées à deux réticules connectées par une liaison puce à puce de 10 To/seconde formant ainsi un seul GPU unifié. Tout comme les GH200 Grace Hopper, les B200 sont dotés de mémoire HBM3e, (192 pour ces derniers contre 282 Go pour le GH200),qui permet de gérer les charges de travail d’IA générative les plus complexes, allant des grands modèles linguistiques aux systèmes de recommandation et aux bases de données vectorielles. La bande passante mémoire est de 8 To/s.

La superpuce GB200 connecte deux de ces GPU B200 à un processeur Grace, via une interconnexion puce-puce NVLink ultra-basse consommation de 900 Go/s, pour offrir des performances 30 fois supérieures pour les calculs d’inférence. Selon Jensen Huang, la formation d’un modèle de 1 800 milliards de paramètres aurait auparavant nécessité 8 000 GPU Hopper et 15 mégawatts de puissance, 2 000 GPU Blackwell permettent de le faire en ne consommant que quatre mégawatts.

Le GB200 serait également 25 fois plus performant en matière d’efficacité énergétique que le H 100.

Le GB200 est un composant clé du NVIDIA GB200 NVL72, un système multi-nœuds, refroidi par liquide et à l’échelle du rack pour les charges de travail les plus gourmandes en ressources de calcul. Il combine 36 superpuces Grace Blackwell, dont 72 GPU Blackwell et 36 CPU Grace interconnectés par le NVLink de cinquième génération. Grâce à lui, l’inférence d’un LLM  de mille milliards de paramètres serait 30 fois plus rapide.