Microsoft a dévoilé son dernier modèle d’IA léger appelé Phi-3 Mini, conçu pour fonctionner sur les smartphones et autres appareils locaux, a-t-il révélé dans un nouveau document de recherche. Formé sur 3,8 milliards de paramètres, il s’agit du premier des trois petits modèles de langage Phi-3 que la société lancera prochainement. L’objectif est de fournir une alternative moins coûteuse aux LLM basés sur le cloud, permettant aux petites organisations d’adopter l’IA.
Selon Microsoft, le nouveau modèle surpasse largement son précédent petit modèle Phi-2 et est à égalité avec des modèles plus grands comme Llama 2. En fait, la société affirme que le Phi-3 Mini fournit des réponses proches du niveau d’un modèle 10 fois sa taille. .
« L’innovation réside entièrement dans notre ensemble de données pour la formation », selon le document de recherche. Cet ensemble de données est basé sur le modèle Phi-2, mais utilise « des données Web et des données synthétiques fortement filtrées », déclare l’équipe. En fait, un LLM distinct a été utilisé pour effectuer ces deux tâches, créant ainsi de nouvelles données permettant au modèle de langage plus petit d’être plus efficace. L’équipe aurait été inspirée par des livres pour enfants qui utilisent un langage plus simple pour aborder des sujets complexes, selon Le bord.
Bien qu’il ne puisse toujours pas produire les résultats des LLM basés sur le cloud, Phi-3 Mini peut surpasser Phi-2 et d’autres petits modèles de langage (Mistral, Gemma, Llama-3-In) dans des tâches allant des mathématiques à la programmation en passant par les tests académiques. . En même temps, il fonctionne sur des appareils aussi simples que des smartphones, sans aucune connexion Internet requise.
Sa principale limitation est l’étendue des « connaissances factuelles » en raison de la plus petite taille de l’ensemble de données – c’est pourquoi il ne fonctionne pas bien dans le test « TriviaQA ». Néanmoins, cela devrait convenir aux modèles qui ne nécessitent que de petits ensembles de données internes. Cela pourrait permettre aux entreprises qui ne peuvent pas se permettre des LLM connectés au cloud de se lancer dans l’IA, espère Microsoft.
Phi-3 Mini est désormais disponible sur Azure, Hugging Face et Ollama. Microsoft s’apprête à lancer le Phi-3 Small et le Phi-3 Medium avec des capacités nettement supérieures (respectivement 7 milliards et 14 milliards de paramètres).
Cet article contient des liens d’affiliation ; si vous cliquez sur un tel lien et effectuez un achat, nous pouvons gagner une commission.