Le lancement de ChatGPT a inauguré à l’ère des grands modèles linguistiques. En plus des offres d’OpenAI, d’autres LLM incluent la famille de LLM LaMDA de Google (y compris Bard), le projet BLOOM (une collaboration entre des groupes de Microsoft, Nvidia et d’autres organisations), LLaMA de Meta et Claude d’Anthropic.
D’autres seront sans aucun doute créés. En fait, une enquête Arize d’avril 2023 a révélé que 53 % des personnes interrogées prévoyaient de déployer des LLM au cours de l’année prochaine ou avant. Une approche pour y parvenir consiste à créer un LLM « vertical » qui commence par un LLM existant et le recycle soigneusement sur des connaissances spécifiques à un domaine particulier. Cette tactique peut fonctionner pour les sciences de la vie, les produits pharmaceutiques, les assurances, la finance et d’autres secteurs d’activité.
Le déploiement d’un LLM peut offrir un puissant avantage concurrentiel, mais seulement si c’est bien fait.
Les LLM ont déjà soulevé des problèmes dignes d’intérêt, comme leur tendance à « halluciner » des informations incorrectes. Il s’agit d’un problème grave, qui peut détourner les dirigeants des préoccupations essentielles liées aux processus qui génèrent ces résultats, ce qui peut être tout aussi problématique.
Les enjeux de la formation et du déploiement d’un LLM
L’un des problèmes liés à l’utilisation des LLM est leur énorme dépense d’exploitation, car la demande de calcul pour les former et les exécuter est si intense (on ne les appelle pas de grands modèles de langage pour rien).
Les LLM sont passionnants, mais les développer et les adopter nécessite de surmonter plusieurs obstacles de faisabilité.
Premièrement, le matériel sur lequel exécuter les modèles est coûteux. Le GPU H100 de Nvidia, un choix populaire pour les LLM, se vend sur le marché secondaire pour environ 40 000 $ par puce. Une source a estimé qu’il faudrait environ 6 000 puces pour former un LLM comparable à ChatGPT-3.5. Cela représente environ 240 millions de dollars rien que pour les GPU.
Une autre dépense importante concerne l’alimentation de ces puces. On estime que la simple formation d’un modèle nécessite environ 10 gigawattheures (GWh) d’énergie, ce qui équivaut à la consommation électrique annuelle de 1 000 foyers américains. Une fois le modèle formé, son coût en électricité varie mais peut devenir exorbitant. Cette source a estimé que la consommation d’énergie pour faire fonctionner ChatGPT-3.5 est d’environ 1 GWh par jour, soit la consommation d’énergie quotidienne combinée de 33 000 foyers.
La consommation d’énergie peut également constituer un piège potentiel pour l’expérience utilisateur lors de l’exécution de LLM sur des appareils portables. En effet, une utilisation intensive d’un appareil pourrait vider sa batterie très rapidement, ce qui constituerait un obstacle important à son adoption par les consommateurs.