Cette semaine dans l’IA : quand « l’open source » n’est pas si ouvert

Suivre le rythme d’un secteur aussi en évolution rapide que l’IA est un défi de taille. En attendant qu’une IA puisse le faire à votre place, voici un tour d’horizon pratique des histoires récentes dans le monde de l’apprentissage automatique, ainsi que des recherches et des expériences notables que nous n’avons pas couvertes seules.

Cette semaine, Meta a publié le dernier de sa série Llama de modèles d’IA générative : Llama 3 8B et Llama 3 70B. Capables d’analyser et d’écrire du texte, les modèles sont « open source », a déclaré Meta – destinés à être un « élément fondamental » des systèmes que les développeurs conçoivent en gardant à l’esprit leurs objectifs uniques.

« Nous pensons que ce sont les meilleurs modèles open source de leur catégorie, point final », a écrit Meta dans un article de blog. «Nous adoptons la philosophie open source consistant à publier tôt et souvent.»

Il n’y a qu’un seul problème : les modèles Llama 3 ne le sont pas vraiment « open source », du moins pas dans la définition la plus stricte.

L’open source implique que les développeurs peuvent utiliser les modèles comme ils le souhaitent, sans entrave. Mais dans le cas de Llama 3 – comme pour Llama 2 – Meta a imposé certaines restrictions de licence. Par exemple, les modèles Lama ne peuvent pas être utilisés pour entraîner d’autres modèles. Et les développeurs d’applications comptant plus de 700 millions d’utilisateurs mensuels doivent demander une licence spéciale à Meta.

Les débats sur la définition de l’open source ne sont pas nouveaux. Mais alors que les entreprises du secteur de l’IA jouent avec ce terme, cela injecte du carburant dans des arguments philosophiques de longue date.

En août dernier, une étude co-écrite par des chercheurs de Carnegie Mellon, de l’AI Now Institute et de la Signal Foundation a révélé que de nombreux modèles d’IA qualifiés de « open source » comportent de gros pièges, pas seulement Llama. Les données nécessaires à la formation des modèles sont gardées secrètes. La puissance de calcul nécessaire à leur exécution est hors de portée de nombreux développeurs. Et la main d’œuvre nécessaire pour les peaufiner est d’un coût prohibitif.

Alors si ces modèles ne sont pas véritablement open source, que sont-ils exactement ? C’est une bonne question; définir l’open source par rapport à l’IA n’est pas une tâche facile.

Une question pertinente non résolue est de savoir si le droit d’auteur, le mécanisme fondamental de propriété intellectuelle sur lequel repose la licence open source, peut être appliqué aux différents composants et éléments d’un projet d’IA, en particulier à l’échafaudage interne d’un modèle (par exemple, les intégrations). Ensuite, il y a le décalage entre la perception de l’open source et la manière dont l’IA fonctionne réellement : l’open source a été conçu en partie pour garantir que les développeurs puissent étudier et modifier le code sans restrictions. Avec l’IA, cependant, les ingrédients dont vous avez besoin pour étudier et modifier sont sujets à interprétation.

Traverser toute l’incertitude, l’étude de Carnegie Mellon fait mettre en évidence le préjudice inhérent au fait que des géants de la technologie comme Meta cooptent l’expression « open source ».

Souvent, les projets d’IA « open source » comme Llama finissent par lancer des cycles d’actualité (marketing gratuit) et apportent des avantages techniques et stratégiques aux responsables des projets. La communauté open source constate rarement ces mêmes avantages et, lorsqu’elle les voit, ils sont marginaux par rapport à ceux des responsables.

Au lieu de démocratiser l’IA, les projets d’IA « open source » – en particulier ceux des grandes entreprises technologiques – ont tendance à consolider et à étendre le pouvoir centralisé, affirment les co-auteurs de l’étude. Il est bon de garder cela à l’esprit la prochaine fois qu’une version majeure d’un modèle « open source » apparaîtra.

Voici quelques autres histoires intéressantes sur l’IA de ces derniers jours :

• Meta met à jour son chatbot : Coïncidant avec les débuts de Llama 3, Meta a mis à niveau son chatbot IA sur Facebook, Messenger, Instagram et WhatsApp – Meta AI – avec un backend alimenté par Llama 3. Il a également lancé de nouvelles fonctionnalités, notamment une génération d’images plus rapide et un accès aux résultats de recherche sur le Web.
• Porno généré par l’IA : Ivan écrit sur la manière dont l’Oversight Board, le conseil politique semi-indépendant de Meta, porte son attention sur la manière dont les plateformes sociales de l’entreprise gèrent les images explicites générées par l’IA.
• Filigranes instantanés : Le service de médias sociaux Snap prévoit d’ajouter des filigranes aux images générées par l’IA sur sa plateforme. Version translucide du logo Snap avec un emoji scintillant, le nouveau filigrane sera ajouté à toute image générée par l’IA exportée depuis l’application ou enregistrée dans la pellicule.
• Le nouvel Atlas : La société de robotique appartenant à Hyundai, Boston Dynamics, a dévoilé son robot humanoïde Atlas de nouvelle génération, qui, contrairement à son prédécesseur à commande hydraulique, est entièrement électrique et d’apparence beaucoup plus conviviale.
• Humanoïdes sur humanoïdes : Pour ne pas être en reste face à Boston Dynamics, le fondateur de Mobileye, Amnon Shashua, a lancé une nouvelle startup, Menteebot, axée sur la construction de systèmes robotiques bibédaux. Une vidéo de démonstration montre le prototype de Menteebot se dirigeant vers une table et ramassant des fruits.
• Reddit, traduit : Dans une interview avec Amanda, Pali Bhat, CPO de Reddit, a révélé qu’une fonctionnalité de traduction linguistique basée sur l’IA pour amener le réseau social à un public plus mondial est en préparation, ainsi qu’un outil de modération d’assistance formé sur les décisions et actions passées des modérateurs de Reddit.
• Contenu LinkedIn généré par l’IA : LinkedIn a discrètement commencé à tester une nouvelle façon d’augmenter ses revenus : un abonnement à une page d’entreprise LinkedIn Premium, qui, pour des frais qui semblent aussi élevés que 99 $/mois, inclut l’IA pour rédiger du contenu et une suite d’outils pour augmenter le nombre de followers.
• Un indicateur : X, l’usine Moonshot d’Alphabet, société mère de Google, a dévoilé cette semaine le projet Bellwether, sa dernière tentative visant à appliquer la technologie à certains des plus gros problèmes du monde. Ici, cela signifie utiliser des outils d’IA pour identifier le plus rapidement possible les catastrophes naturelles telles que les incendies de forêt et les inondations.
• Protéger les enfants avec l’IA : Ofcom, le régulateur chargé de faire appliquer la loi britannique sur la sécurité en ligne, prévoit de lancer une étude sur la manière dont l’IA et d’autres outils automatisés peuvent être utilisés pour détecter et supprimer de manière proactive les contenus illégaux en ligne, en particulier pour protéger les enfants des contenus préjudiciables.
• OpenAI débarque au Japon : OpenAI s’étend au Japon, avec l’ouverture d’un nouveau bureau à Tokyo et prévoit un modèle GPT-4 optimisé spécifiquement pour la langue japonaise.

Plus d’apprentissages automatiques

Un chatbot peut-il vous faire changer d’avis ? Des chercheurs suisses ont découvert que non seulement ils le peuvent, mais que s’ils sont pré-armés avec certaines informations personnelles vous concernant, ils peuvent en fait être plus plus convaincant dans un débat qu’un humain avec la même information.

«C’est Cambridge Analytica sous stéroïdes», a déclaré Robert West, responsable du projet à l’EPFL. Les chercheurs soupçonnent que le modèle – GPT-4 dans ce cas – s’est inspiré de ses vastes réserves d’arguments et de faits en ligne pour présenter un argumentaire plus convaincant et plus confiant. Mais le résultat parle de lui-même. Ne sous-estimez pas le pouvoir des LLM en matière de persuasion, a prévenu West : « Dans le contexte des prochaines élections américaines, les gens sont inquiets car c’est là que ce type de technologie est toujours testé pour la première fois. Une chose dont nous sommes sûrs, c’est que les gens utiliseront la puissance des grands modèles linguistiques pour tenter de faire basculer les élections.

Pourquoi ces modèles sont-ils si bons en langage, de toute façon ? C’est un domaine dans lequel il y a une longue histoire de recherche, qui remonte à ELIZA. Si vous êtes curieux de connaître l’une des personnes qui a été là pendant une grande partie (et qui en a réalisé une grande partie lui-même), consultez ce profil sur Christopher Manning de Stanford. Il vient de recevoir la médaille John von Neuman ; bravo!

Dans une interview au titre provocateur, un autre chercheur de longue date en IA (qui a également honoré la scène TechCrunch), Stuart Russell, et le postdoctorant Michael Cohen spéculent sur « Comment empêcher l’IA de nous tuer tous ». C’est probablement une bonne chose à découvrir le plus tôt possible ! Il ne s’agit cependant pas d’une discussion superficielle : ce sont des gens intelligents qui parlent de la manière dont nous pouvons réellement comprendre les motivations (si c’est le bon mot) des modèles d’IA et de la manière dont les réglementations devraient être construites autour d’eux.

L’interview concerne en fait un article dans Science publié plus tôt ce mois-ci, dans lequel ils suggèrent que les IA avancées capables d’agir stratégiquement pour atteindre leurs objectifs, qu’ils appellent « agents de planification à long terme », pourraient être impossibles à tester. Essentiellement, si un modèle apprend à « comprendre » les tests qu’il doit réussir pour réussir, il peut très bien apprendre des moyens créatifs pour annuler ou contourner ces tests. Nous l’avons vu à petite échelle, pourquoi pas à grande échelle ?

Russell propose de restreindre le matériel nécessaire à la fabrication de tels agents… mais bien sûr, Los Alamos et Sandia National Labs viennent de recevoir leurs livraisons. LANL vient de célébrer la cérémonie d’inauguration de Venado, un nouveau supercalculateur destiné à la recherche en IA, composé de 2 560 puces Grace Hopper Nvidia.

Les chercheurs se penchent sur le nouvel ordinateur neuromorphique.

Et Sandia vient de recevoir « un extraordinaire système informatique basé sur le cerveau appelé Hala Point », doté de 1,15 milliard de neurones artificiels, construit par Intel et considéré comme le plus grand système de ce type au monde. L’informatique neuromorphique, comme on l’appelle, n’est pas destinée à remplacer des systèmes comme Venado, mais à rechercher de nouvelles méthodes de calcul qui s’apparentent davantage au cerveau que l’approche plutôt axée sur les statistiques que nous voyons dans les modèles modernes.

« Avec ce système d’un milliard de neurones, nous aurons l’opportunité d’innover à grande échelle à la fois de nouveaux algorithmes d’IA qui pourraient être plus efficaces et plus intelligents que les algorithmes existants, et de nouvelles approches de type cérébral pour les algorithmes informatiques existants tels que l’optimisation et la modélisation », a déclaré Brad Aimone, chercheur chez Sandia. Ça a l’air génial… juste génial !