Qualcomm n’est pas étranger à l’exécution de systèmes d’intelligence artificielle et d’apprentissage automatique sur des appareils et sans connexion Internet. Ils le font avec les chipsets de leurs appareils photo depuis des années. Mais mardi, lors du Snapdragon Summit 2023, la société a annoncé que l’IA intégrée aux appareils arriverait enfin sur les appareils mobiles et les PC Windows 11 dans le cadre des nouvelles puces Snapdragon 8 Gen 3 et X Elite.
Les deux chipsets ont été conçus dès le départ avec des capacités d’IA générative à l’esprit et sont capables de prendre en charge une variété de modèles de langage étendus (LLM), de modèles de vision du langage (LVM) et de modèles de reconnaissance vocale automatique (ASR) basés sur un réseau de transformateurs, jusqu’à à 10 milliards de paramètres pour le SD8 gen 3 et 13 milliards de paramètres pour le X Elite, entièrement sur l’appareil. Cela signifie que vous pourrez exécuter n’importe quoi, depuis ERNIE 3.5 de Baidu jusqu’à Whisper d’OpenAI, Llama 2 de Meta ou Gecko de Google, sur votre téléphone ou ordinateur portable, sans connexion Internet. Les puces de Qualcomm sont optimisées pour les entrées vocales, texte et image.
« Il est important d’avoir un large éventail de supports sous le capot pour que ces modèles fonctionnent et donc le calcul hétérogène est extrêmement important », a déclaré Durga Malladi, vice-président et directeur général de la planification technologique et des solutions Edge chez Qualcomm, aux journalistes lors d’un dernier pré-briefing. semaine. «Nous disposons de processeurs CPU, GPU et NPU (Neural Processing Unit) de pointe qui sont utilisés simultanément, car plusieurs modèles fonctionnent à un moment donné.»
Le moteur Qualcomm AI est composé du processeur Oryon, du GPU Adreno et du NPU Hexagon. Ensemble, ils gèrent jusqu’à 45 TOPS (des milliards d’opérations par seconde) et peuvent traiter 30 jetons par seconde sur les ordinateurs portables, 20 jetons par seconde sur les appareils mobiles – les jetons étant l’unité de texte/données de base que les LLM peuvent traiter/générer. Les chipsets utilisent la DRAM LP-DDR5x 4,8 GHz de Samsung pour leur allocation de mémoire.
« L’IA générative a démontré sa capacité à prendre en charge des tâches très complexes, à les résoudre et à les résoudre de manière très efficace », a-t-il poursuivi. Les cas d’utilisation potentiels pourraient inclure la synthèse de réunions et de documents ou la rédaction d’e-mails pour les consommateurs, ainsi que la génération de code informatique ou de musique basée sur des invites pour les applications d’entreprise, a noté Malladi.
Ou vous pouvez simplement l’utiliser pour prendre de jolies photos. Qualcomm intègre ses travaux antérieurs avec Edge AI, Cognitive ISP. Les appareils utilisant ces chipsets pourront éditer des photos en temps réel et sur 12 couches maximum. Ils seront également capables de capturer des images plus claires dans des conditions de faible luminosité, de supprimer les objets indésirables des photos (à la manière de Magic Eraser de Google) ou d’agrandir les arrière-plans des images. L’utilisateur scanne même ses photos en filigrane comme étant réelles et non générées par l’IA, à l’aide de la capture de photos Truepic.
Avoir une IA qui réside principalement sur votre téléphone ou appareil mobile, plutôt que dans le cloud, offrira aux utilisateurs une myriade d’avantages par rapport au système actuel. Tout comme les IA d’entreprise qui prennent un modèle général (par exemple GPT-4) et l’ajustent à l’aide des données internes d’une entreprise pour fournir des réponses plus précises et plus pertinentes, une IA stockée localement « au fil du temps… devient progressivement personnalisée », a déclaré Malladi : « dans le sens où… l’assistant devient plus intelligent et meilleur, fonctionnant sur l’appareil lui-même. »
De plus, le délai inhérent lorsque le modèle doit interroger le cloud pour le traitement ou les informations n’existe pas lorsque tous les actifs sont locaux. En tant que tels, le X Elite et le SD8 gen 3 sont capables non seulement d’exécuter une diffusion stable sur l’appareil, mais également de générer des images en moins de 0,6 seconde.
La capacité d’exécuter des modèles plus grands et plus performants, et d’interagir avec ces modèles en utilisant nos mots plutôt que nos mots tapés, pourrait en fin de compte s’avérer la plus grande aubaine pour les consommateurs. « Il existe une manière tout à fait unique avec laquelle nous commençons à interfacer les appareils et la voix devient une interface beaucoup plus naturelle avec ces appareils – ainsi qu’en plus de tout le reste », a déclaré Malladi. « Nous pensons que cela a le potentiel d’être un moment de transformation, où nous commencerons à interagir avec les appareils d’une manière très différente par rapport à ce que nous faisions auparavant. »
Les appareils mobiles et les PC ne sont que le début des plans d’IA sur appareil de Qualcomm. La limite de 10 à 13 milliards de paramètres évolue déjà vers plus de 20 milliards de paramètres à mesure que la société développe de nouvelles itérations de puces. « Ce sont des modèles très sophistiqués », a commenté Malladi. « Les cas d’utilisation que vous exploitez sur cette base sont assez impressionnants. »
« Quand vous commencez à penser aux ADAS (Advanced Driver Assistance Systems) et que vous disposez de la multimodalité [data] provenant de plusieurs caméras, capteurs IR, radar, lidar – en plus de la voix, qui est l’humain qui se trouve à l’intérieur du véhicule en lui-même », a-t-il poursuivi. « La taille de ce modèle est assez grande, nous parlons déjà de 30 à 60 milliards de paramètres. » À terme, ces modèles intégrés pourraient approcher 100 milliards de paramètres ou plus, selon les estimations de Qualcomm.