Pour quelques milliers de dollars par mois, vous pouvez désormais réserver la capacité d’un seul GPU Nvidia HGX H100 via une société appelée CoreWeave. Le H100 est le successeur du A100, le GPU qui a joué un rôle déterminant dans la formation de ChatGPT sur LLM (Large Language models). Les prix commencent à 2,33 $ de l’heure, soit 56 $ par jour ou environ 20 000 $ par an ; en comparaison, un seul HGX H100 coûte environ 28 000 $ sur le marché libre (NVH100TCGPU-KIT) et moins en gros.
Vous paierez un supplément pour les prix au comptant (4,76 $ de l’heure) et bien qu’un SKU moins cher soit disponible (HGX H100 PCIe, par opposition au modèle NVLINK), il ne peut pas encore être commandé. Une configuration d’instance GPU valide doit inclure au moins un GPU, au moins un vCPU et au moins 2 Go de RAM. Lors du déploiement d’un serveur privé virtuel (SVP), la configuration de l’instance GPU doit également inclure au moins 40 Go de stockage de niveau NVMe sur le disque racine.
La nouvelle survient après une vague d’annonces au GTC 2023 de Nvidia où l’IA générative était à gauche, à droite et au centre. La technologie utilise une formation LLM qui permet un travail créatif, y compris la rédaction d’articles savants, une routine de comédie stand-up ou un sonnet; la conception d’œuvres d’art à partir d’un bloc de texte; et dans le cas de NovelAI, l’un des premiers clients de CoreWeave, qui compose de la littérature.
Vous pouvez bien sûr vérifier ce que nos pairs ont fait chez Tomshardware et exécuter une alternative ChatGPT sur votre PC local.
Monopole Nvidia
Jensen Huang, fondateur et PDG de NVIDIA, a supervisé le lancement d’un certain nombre de GPU qui ciblent des segments spécifiques du marché du contenu IA en pleine expansion : le L4 pour la vidéo IA, le L40 pour la génération d’images et le H100 NVL (essentiellement deux H100 dans un configuration SLI-esque). Nvidia, qui fête ses 30 ans en avril 2023, souhaite conquérir le plus de marché possible en proposant du matériel et des logiciels en vue de déployer son propre matériel en tant que service.
Il a dévoilé un version cloud de son DGX H100 serveur, celui qui contient huit cartes H100 et peut être loué pour un peu moins de 37 000 $ auprès d’Oracle avec Microsoft et Google à venir. Bien que cela semble cher, gardez simplement à l’esprit que le DGX H100 coûte plus que 500 000 $ du fournisseur d’entreprise Insightet cela exclut le coût de fonctionnement réel de l’appareil (maintenance, colocation, services publics, etc.).
L’intérêt soudain de Nvidia à devenir son propre fournisseur de services risque de mettre ses partenaires un peu mal à l’aise. Le président du TIEA (Taiwan Internet and E-Commerce Association), qui regroupe certains des plus grands noms de l’industrie du matériel technologique, a été assez lucide pour déclarer hier que l’entreprise va « engager une coopétition » avec les principaux fournisseurs de services cloud (CSP), et va probablement accélérer la recherche d’une alternative à Nvidia, pour établir un équilibre.
Tous les regards sont tournés vers AMD (avec son GPU Instinct MI300) et Intel, mais se cachent dans l’ombre une liste de challengers (Graphcore, Cerebras, Kneron, IBM et autres) qui voudront une part d’un gâteau croissant.