La course pour construire le prochain grand modèle linguistique est lancée, et maintenant un concurrent chinois aurait encaissé une importante ronde de financement pour le catapulter en tête du peloton.
Moonshot AI, une startup d’intelligence artificielle fondée il y a moins d’un an et qui construit des LLM capables de gérer de longues saisies de texte et de données, a levé plus d’un milliard de dollars lors d’un cycle de série B, selon plusieurs médias chinois. Si elle est exacte, cette dernière injection de capital valoriserait Moonshot AI à 2,5 milliards de dollars – le plus grand cycle de financement pour les développeurs LLM chinois jamais enregistré.
La startup – qui s’appelle YueZhiAnMian en Chine – s’est concentrée, comme beaucoup d’autres dans le domaine de l’IA en ce moment, sur le développement de grands modèles de langage. Plus précisément, son argument de vente unique est qu’il s’efforce de traiter le contexte et les réponses de longue durée, un domaine qui a longtemps déjoué les autres dans le domaine.
Elle a déployé rapidement ses premiers efforts pour résoudre ce problème.
En mars de l’année dernière – pour coïncider avec le 50e anniversaire de The Dark Side of the Moon de Pink Floyd, l’album préféré du fondateur Yang Zhilin et l’inspiration du nom de la startup – la startup a été lancée avec un LLM de 100 milliards de paramètres.
Puis, en octobre, Moonshot a lancé son premier chatbot en Chine, Kimi, qui prétend être capable de prendre en charge le traitement de 200 000 caractères chinois en une seule conversation, soit huit fois la durée de ce que le GPT-4-32K d’OpenAI peut réaliser.
Nous avons contacté Yang Zhilin, le chercheur et universitaire en IA qui a fondé Moonshot avec Zhou Xinyu et Wu Yuxin, pour commentaires et mettrons à jour ce message si et quand il répondra.
Parallèlement, les rapports indiquent que le financement provient d’une liste d’investisseurs de renom comprenant un certain nombre de partenaires stratégiques potentiellement intéressants. Le géant du commerce électronique Alibaba et HongShan – la société de capital-risque anciennement connue sous le nom de Sequoia China, selon le South China Morning Post, codirigent le cycle. Parmi les autres participants au cycle figuraient les « super applications » chinoises Meituan et Xiaohongshu (parfois appelées la réponse chinoise à Instagram), selon le blog technologique chinois LatePost.
Moonshot avait précédemment levé 200 millions de dollars auprès de HongShan et du Zhen Fund lors d’un tour de table qui l’évaluait à 300 millions de dollars, selon PitchBook Data.
HongShan, contacté pour commentaires, a refusé de commenter ces informations. Alibaba n’a pas répondu à une demande de commentaire. Nous avons également contacté séparément Moonshot.
Si cela est exact, l’implication de HongShan ici serait notable. Sequoia Capital a officiellement annoncé l’année dernière qu’elle séparerait ses opérations asiatiques en Inde et en Chine dans un contexte de tensions géopolitiques croissantes. Ce processus devrait finalement être achevé d’ici le 24 mars.
Mais entre-temps, les opérations chinoises ont fait l’objet d’un examen minutieux de la part du gouvernement américain en raison de ses accords en matière d’IA aux États-Unis ; et la société américaine fait également l’objet d’une enquête pour ses activités en cours en Chine. Compte tenu de tout cela, il n’est pas surprenant que l’investisseur autrefois de premier plan fasse profil bas ici.
Il est important de noter que le reste de la liste des investisseurs qui a été rapportée est un véritable who’s who des noms de la technologie domestique. Cela souligne le retrait actuel – ou du moins la pause – des investisseurs financiers vers les startups chinoises prometteuses, en particulier celles occidentales et réalisant des transactions en dollars américains.
Mais cela montre également comment – tout comme nous l’avons vu aux États-Unis, avec des sociétés comme Microsoft, Google et Amazon investissant des milliards de dollars dans des startups LLM comme OpenAI et Anthropic – les grandes entreprises technologiques chinoises se bousculent pour savoir ce qui pourrait être leur grand jeu de l’IA dans les mois et les années à venir. Avoir un pied-à-terre financier auprès d’une poignée d’espoirs prometteurs est un moyen de raccourcir ou d’augmenter ce qu’ils tentent de construire en interne.
OpenAI règne actuellement en maître aux États-Unis et sans doute partout où elle s’est développée, mais en Chine, il n’y a pas de leader désigné, donc une grande partie de l’activité d’investissement donne l’impression qu’il s’agit de répartir les paris.
Alibaba, à cette fin, est également un investisseur dans Baichuan – fondé par Xiaochuan Wang, un pionnier dans le domaine des moteurs de recherche, qui a levé 350 millions de dollars à la fin de l’année dernière, dépassant ainsi une valorisation d’un milliard de dollars – ainsi que dans Zhipu. AI, un autre parvenu LLM, et 01.AI, la société LLM fondée par Kai-Fu Lee.
Tencent, le rival d’Alibaba, a quant à lui soutenu Baichuan, Zhipu, MiniMax et Light Years Beyond. Ne vous y trompez pas : les géants chinois de l’Internet ont remplacé ces sociétés de capital-risque occidentales en soutenant les prétendants au LLM du pays.
Quoi qu’il en soit, si 1 milliard de dollars semble être une somme énorme à confier à une startup de moins d’un an, l’une des raisons pour lesquelles de grands noms pourraient être prêts à prendre de gros paris est le pedigree.
Un fan de Pink Floyd est devenu un pionnier de l’IA
Yang Zhilin avait une longue liste de réalisations à son actif avant même de démarrer Moonshot.
Il est titulaire d’un doctorat en informatique de l’Université Carnegie Mellon, où il a été conseillé par Ruslan Salakhutdinov, qui dirigeait auparavant la recherche sur l’IA chez Apple après que le fabricant d’iPhone a discrètement acquis une startup qu’il avait fondée appelée Perceptual Machines – une acquisition qui ne semble jamais avoir été signalée. mais est noté dans le profil LinkedIn et la chronologie professionnelle du professeur.
Avant cela, il a étudié à l’Université Tsinghua, conseillé par Jie Tang. Il a également travaillé chez Google Brain et Meta AI.
Yang a également une autre startup d’IA en préparation, Recurrent.AI, qui semble se concentrer spécifiquement sur les technologies conçues pour aider les vendeurs à mieux faire leur travail (avec des fonctionnalités qui ne sont pas différentes de celles de Gong.AI). En 2021, Recurrent avait levé quelque 60 millions de dollars selon PitchBook. Et bien qu’il n’y ait pas eu beaucoup d’activité financière depuis lors, l’entreprise semble rester opérationnelle.
Ce qui est important pour Moonshot, c’est que Yang a également été l’un des principaux auteurs de Transformer-XL, un développement clé de l’architecture LLM permettant la compréhension du langage naturel au-delà d’un contexte de longueur fixe, quelque chose qui a joué un rôle important dans le développement de la plateforme de Moonshot et, sans doute, mission plus large.
L’accent mis par Moonshot sur des entrées et des sorties plus longues et sur la production de résultats plus précis pour les requêtes impliquant cela pose les bases permettant à l’entreprise de cibler des cas d’utilisation basés sur du texte qui n’ont pas été largement exploités par les LLM existants et les applications d’IA générative, tels que les documents juridiques, la fiction. rédaction et analyse financière plus approfondie. Kimi Chat est formé sur l’information jusqu’en janvier 2024, indique le chatbot.
Ce n’est pas le seul acteur chinois à s’efforcer de supprimer les limites du contexte long. Baichuan a annoncé en octobre son modèle Baichuan2-192K, qui traiterait environ 350 000 caractères chinois dans une seule fenêtre contextuelle.
Le marché de la collecte de fonds reste limité à l’échelle mondiale, mais ce cycle témoigne de la volonté de ceux qui ont les moyens financiers de se lancer lorsque les bonnes opportunités se présentent. Pourtant, même avec la frénésie mondiale de l’IA – où quelque 200 milliards de dollars devraient être investis d’ici 2025, prévoit Goldman Sachs – le paysage du financement en Chine est étonnamment tiède.
En 2023, la Chine a enregistré environ 232 investissements dans le domaine de l’IA, soit une baisse de 38 % d’une année sur l’autre, selon le cabinet de recherche CBInsight. Le montant total levé par les entreprises chinoises d’IA s’élève à environ 2 milliards de dollars, soit 70 % de moins que l’année précédente.