Les scientifiques chinois ont construit ce qu’ils appellent « un modèle d’intelligence artificielle à l’échelle du cerveau » basé sur l’un de ses derniers superordinateurs équipés de processeurs Sunway, rapporte SCMP. Les chercheurs affirment que le modèle d’IA avec 174 billions de paramètres pourrait être utilisé pour une variété d’applications allant des véhicules autonomes à la recherche scientifique.
Le système utilisé est le Sunway OceanLight (parfois appelé OceanLite) est basé sur 96 000 nœuds alimentés par les processeurs hybrides SW39010 à 390 cœurs de Sunway avec près de 40 millions de cœurs au total (avec des processeurs évolués à partir des processeurs SW26010). Cette machine a été présentée comme l’un des premiers supercalculateurs exascale au monde, mais depuis lors, l’affirmation concernant ses performances FP64 a été largement démentie lorsqu’il s’est avéré que les scientifiques avaient réduit la précision des calculs effectués par la machine lors du travail pour le trophée Gordon Bell ( qui est parfois appelé un « Prix Nobel du calcul intensif »).
L’équipe chinoise de chercheurs du Centre national de recherche sur l’ingénierie et la technologie informatiques parallèles (NRCPC) appelle son modèle d’IA bagualu – le pot de l’alchimiste – car il comprend environ 174 000 milliards de paramètres, ce qui rivalise avec le nombre de synapses dans le cerveau humain. Les performances réelles d’OceanLight sont maintenant revendiquées comme étant de 5,3 ‘AI’ ExaFLOPS, même si auparavant on disait qu’il s’agissait de 4,4 ‘précision mixte’ ExaFLOPS, ce qui montre une fois de plus que les chiffres de performance de ces systèmes divulgués par le NRCPC ne sont pas vraiment précis.
Mais même si OceanLight est plus lent qu’on ne le dit, le travail de création d’un modèle de formation d’IA avec 174 000 milliards de paramètres est gargantuesque. Des scientifiques du NRCPC ont déclaré au South China Morning Post que pour obtenir des performances décentes avec son modèle d’IA à l’échelle du cerveau, ils devaient introduire des « optimisations intra-nœuds spécifiques au matériel » ainsi que mettre en œuvre des « stratégies parallèles hybrides » à une échelle sans précédent. Compte tenu du fait qu’OceanLight comporte 96 000 nœuds et près de 40 millions de moteurs de traitement, l’optimisation du matériel et des logiciels pour ce système est un gros problème.
L’annonce du modèle d’IA sans précédent a été faite des semaines après que le laboratoire national d’Oak Ridge a officiellement dévoilé son Frontier – le premier supercalculateur au monde avec une performance de 1,102 FP64 ExaFLOPS dans le benchmark Linpack. Il est à noter que le NRCPC n’a pas officiellement publié les résultats de performance de son OceanLight dans la liste des 500 meilleurs supercalculateurs.