Le 29 juin, Inflection AI basée à Palo Alto annoncé la réalisation d’une augmentation de 1,3 milliard de dollars menée par Microsoft, Reid Hoffman, Bill Gates, Eric Schmidt et Nvidia. Le nouveau capital sera en partie affecté à la construction d’un cluster GPU Nvidia H100 Tensor de 22 000 unités, qui, selon la société, est le plus grand au monde. Les GPU seront utilisés pour développer des modèles d’intelligence artificielle à grande échelle. Les développeurs ont écrit :
« Nous estimons que si nous entrions dans notre cluster au cours des dernières TOP500 liste des supercalculateurs, ce serait la 2e et proche de la première entrée, bien qu’il soit optimisé pour l’IA – plutôt que pour les applications scientifiques. »
Inflection AI développe également son propre système d’IA d’adjudant personnel surnommé « Pi ». le montant total du financement a atteint 1,525 milliard de dollars depuis sa création au début de 2022.
Malgré l’investissement croissant dans les grands modèles d’IA, les experts ont averti que leur efficacité de formation réelle peut devenir sévèrement limitée par les limitations technologiques actuelles. Dans un exemple soulevé par le fonds de capital-risque singapourien Foresight, ont écrit les chercheurs, citant l’exemple d’un grand modèle d’IA de 175 milliards de paramètres stockant 700 Go de données :
« En supposant que nous ayons 100 nœuds de calcul et que chaque nœud doive mettre à jour tous les paramètres à chaque étape, chaque étape nécessiterait la transmission d’environ 70 To de données (700 Go*100). Si nous supposons avec optimisme que chaque étape prend 1 seconde, alors 70 To de données devraient être transmises par seconde. Cette demande de bande passante dépasse de loin la capacité de la plupart des réseaux. »
Dans la continuité de l’exemple ci-dessus, Foresight a également averti qu’« en raison de la latence des communications et de la congestion du réseau, le temps de transmission des données pourrait largement dépasser 1 s », ce qui signifie que les nœuds informatiques pourraient passer la plupart de leur temps à attendre la transmission des données au lieu d’effectuer des calculs réels. a conclu, compte tenu des contraintes actuelles, que la solution réside dans de petits modèles d’IA, qui sont « plus faciles à déployer et à gérer ».
« Dans de nombreux scénarios d’application, les utilisateurs ou les entreprises n’ont pas besoin de la capacité de raisonnement plus universelle des grands modèles de langage, mais se concentrent uniquement sur une cible de prédiction très raffinée. »
Magazine : AI Eye : la réservation de voyages par IA est hilarante, 3 utilisations étranges pour ChatGPT, les plugins cryptographiques