Cette semaine dans l’IA : la débâcle d’OpenAI montre les dangers de la commercialisation

Suivre le rythme d’un secteur aussi en évolution rapide que l’IA est un défi de taille. En attendant qu’une IA puisse le faire à votre place, voici un tour d’horizon pratique des histoires récentes dans le monde de l’apprentissage automatique, ainsi que des recherches et des expériences notables que nous n’avons pas couvertes seules.

Cette semaine, il était impossible d’ignorer – y compris ce journaliste, au grand désarroi de mon cerveau privé de sommeil – la controverse sur le leadership entourant la startup d’IA OpenAI. Le conseil d’administration a évincé Sam Altman, PDG et co-fondateur, prétendument en raison de ce qu’il considérait comme des priorités déplacées de sa part : commercialiser l’IA au détriment de la sécurité.

Altman a été — en grande partie grâce aux efforts de Microsoft, l’un des principaux bailleurs de fonds d’OpenAI — réintégré en tant que PDG et la plupart des membres du conseil d’administration d’origine ont été remplacés. Mais la saga illustre les périls des entreprises d’IA, même celles aussi grandes et influentes qu’OpenAI, comme la tentation d’exploiter… monétisationLes sources de financement orientées vers les différents pays se renforcent de plus en plus.

Ce n’est pas nécessairement les laboratoires d’IA vouloir se retrouver mêlé à des sociétés de capital-risque et à des géants de la technologie axés sur le commerce et avides de rendement. En effet, les coûts exorbitants de formation et de développement de modèles d’IA rendent presque impossible d’éviter ce sort.

Selon CNBC, le processus de formation d’un grand modèle de langage tel que GPT-3, le prédécesseur du modèle phare d’IA de génération de texte d’OpenAI, GPT-4, pourrait coûter plus de 4 millions de dollars. Cette estimation ne prend pas en compte le coût d’embauche de data scientists, d’experts en IA et d’ingénieurs logiciels, qui perçoivent tous des salaires élevés.

Ce n’est pas un hasard si de nombreux grands laboratoires d’IA ont conclu des accords stratégiques avec des fournisseurs de cloud public ; le calcul, en particulier à une époque où les puces permettant de former les modèles d’IA sont rares (au profit de fournisseurs comme Nvidia), est devenu plus précieux que l’or pour ces laboratoires. Le principal rival d’OpenAI, Anthropic, a pris en charge les investissements de Google et d’Amazon et Character.ai, quant à lui, bénéficie du soutien de Google Cloud, qui est également leur fournisseur exclusif d’infrastructure de calcul.

Mais comme l’a montré cette semaine, ces investissements comportent des risques. Les géants de la technologie ont leurs propres programmes – et le poids qu’ils doivent déployer pour que leurs enchères soient exécutées.

OpenAI a tenté de conserver une certaine indépendance avec une structure unique à « bénéfices plafonnés » qui limite les rendements totaux des investisseurs. Mais Microsoft a montré que le calcul peut être tout aussi précieux que le capital pour mettre une startup au pas ; une grande partie de l’investissement de Microsoft dans OpenAI se présente sous la forme de crédits cloud Azure, et la menace de retenir ces crédits suffirait à attirer l’attention de n’importe quel conseil d’administration.

À moins d’investissements massivement accrus dans les ressources publiques de calcul intensif ou dans les programmes de subventions à l’IA, le statu quo ne semble pas susceptible de changer de sitôt. Les startups d’IA d’une certaine taille – comme la plupart des startups – sont obligées de céder le contrôle de leur destin si elles souhaitent se développer. Espérons que, contrairement à OpenAI, ils concluent un accord avec le diable qu’ils connaissent.

Voici quelques autres histoires intéressantes sur l’IA de ces derniers jours :

• OpenAI ne va pas détruire l’humanité : OpenAI a-t-il inventé une technologie d’IA susceptible de « menacer l’humanité » ? D’après certains titres récents, vous pourriez être enclin à le penser. Mais il n’y a aucune raison de s’alarmer, disent les experts.
• La Californie envisage les règles de l’IA : L’Agence californienne de protection de la vie privée se prépare à sa prochaine astuce : mettre des garde-fous sur l’IA. Natasha écrit que le régulateur national de la vie privée a récemment publié un projet de réglementation sur la manière dont les données des personnes peuvent être utilisées pour l’IA, en s’inspirant des règles existantes dans l’Union européenne.
• Bard répond aux questions de YouTube : Google a annoncé que son chatbot Bard AI peut désormais répondre aux questions sur les vidéos YouTube. Bien que Bard ait déjà eu la possibilité d’analyser les vidéos YouTube avec le lancement de l’extension YouTube en septembre, le chatbot peut désormais vous donner des réponses spécifiques sur les requêtes liées au contenu d’une vidéo.
• X’s Grok est sur le point d’être lancé : Peu de temps après la publication de captures d’écran montrant le chatbot Grok de xAI apparaissant sur l’application Web de X, le propriétaire de X, Elon Musk, a confirmé que Grok serait disponible pour tous les abonnés Premium+ de la société cette semaine. Bien que les déclarations de Musk sur les délais de livraison des produits n’aient pas toujours tenu le coup, les développements de code dans la propre application de X révèlent que l’intégration de Grok est en bonne voie.
• Stability AI lance un générateur vidéo : La startup d’IA Stability AI a annoncé la semaine dernière Stable Video Diffusion, un modèle d’IA qui génère des vidéos en animant des images existantes. Basé sur le modèle texte-image Stable Diffusion existant de Stability, Stable Video Diffusion est l’un des rares modèles de génération vidéo disponibles en open source – ou dans le commerce, d’ailleurs.
• Anthropic publie Claude 2.1 : Anthropic a récemment publié Claude 2.1, une amélioration de son grand modèle de langage phare qui le maintient compétitif avec la série GPT d’OpenAI. Devin écrit que la nouvelle mise à jour de Claude présente trois améliorations majeures : la fenêtre contextuelle, la précision et l’extensibilité.
• OpenAI et IA ouverte : Paul écrit que la débâcle d’OpenAI a mis en lumière les forces qui contrôlent la révolution naissante de l’IA, ce qui amène beaucoup à se demander ce qui se passe si vous faites tapis sur un lecteur propriétaire centralisé – et ce qui se passe si les choses tournent mal.
• AI21 Labs lève des fonds : AI21 Labs, une société développant des produits d’IA générative sur le modèle de GPT-4 et ChatGPT d’OpenAI, a levé la semaine dernière 53 millions de dollars, ce qui porte le total à 336 millions de dollars. Startup basée à Tel Aviv créant une gamme d’outils d’IA de génération de texte, AI21 Labs a été fondée en 2017 par le co-fondateur de Mobileye, Amnon Shashua, Ori Goshen et Yoav Shoham, l’autre co-PDG de la startup.

Plus d’apprentissages automatiques

Rendre les modèles d’IA plus francs quant au moment où ils ont besoin de plus d’informations pour produire une réponse sûre est un problème difficile, car en réalité, le modèle ne connaît pas la différence entre le bien et le mal. Mais en faisant en sorte que le modèle expose un peu son fonctionnement interne, vous pouvez avoir une meilleure idée du moment où il est le plus susceptible de mentir.

Ce travail de Purdue crée une « carte Reeb » lisible par l’homme de la façon dont le réseau neuronal représente les concepts visuels dans son espace vectoriel. Les éléments qu’il juge similaires sont regroupés et des chevauchements avec d’autres domaines pourraient indiquer soit des similitudes entre ces groupes, soit une confusion de la part du modèle. « Ce que nous faisons, c’est prendre ces ensembles complexes d’informations provenant du réseau et donner aux gens un aperçu de la façon dont le réseau perçoit les données à un niveau macroscopique », a déclaré le chercheur principal David Gleich.

Crédits images : Laboratoire national de Los Alamos

Si votre ensemble de données est limité, il serait peut-être préférable de ne pas trop en extrapoler, mais si vous le devez… peut-être qu’un outil comme « Senseiver », du Los Alamos National Lab, est votre meilleur choix. Le modèle est basé sur le Perceiver de Google et est capable de prendre une poignée de mesures éparses et – apparemment – ​​de faire des prédictions étonnamment précises en comblant les lacunes.

Cela peut concerner des mesures telles que des mesures climatiques, d’autres lectures scientifiques ou même des données 3D telles que des cartes basse fidélité créées par des scanners à haute altitude. Le modèle peut fonctionner sur des ordinateurs de pointe, comme des drones, qui peuvent désormais effectuer des recherches de caractéristiques spécifiques (dans leur cas de test, des fuites de méthane) au lieu de simplement lire les données puis de les rapporter pour les analyser ultérieurement.

Pendant ce temps, les chercheurs travaillent à faire en sorte que le matériel qui gère ces réseaux neuronaux ressemble davantage à un réseau neuronal lui-même. Ils ont fabriqué un réseau de 16 électrodes, puis l’ont recouvert d’un lit de fibres conductrices formant un réseau aléatoire mais constamment dense. Là où elles se chevauchent, ces fibres peuvent soit former des connexions, soit les rompre, en fonction d’un certain nombre de facteurs. D’une certaine manière, cela ressemble beaucoup à la manière dont les neurones de notre cerveau établissent des connexions, puis renforcent ou abandonnent dynamiquement ces connexions.

L’équipe UCLA/Université de Sydney a déclaré que le réseau était capable d’identifier les nombres manuscrits avec une précision de 93,4 %, ce qui surpassait en réalité une approche plus conventionnelle à une échelle similaire. C’est certainement fascinant, mais on est loin d’une utilisation pratique, même si les réseaux auto-organisés finiront probablement par trouver leur place dans la boîte à outils.

Crédits images : UCLA/Université de Sydney

C’est agréable de voir des modèles d’apprentissage automatique aider les gens, et nous en avons quelques exemples cette semaine.

Un groupe de chercheurs de Stanford travaille sur un outil appelé GeoMatch destiné à aider les réfugiés et les immigrants à trouver l’emplacement adapté à leur situation et à leurs compétences. Il ne s’agit pas d’une procédure automatisée : à l’heure actuelle, ces décisions sont prises par des agents de placement et d’autres fonctionnaires qui, bien qu’expérimentés et informés, ne peuvent pas toujours être sûrs que leurs choix sont étayés par des données. Le modèle GeoMatch prend un certain nombre de caractéristiques et suggère un endroit où la personne est susceptible de trouver un emploi solide.

« Ce qui demandait autrefois plusieurs heures de recherche peut désormais être réalisé en quelques minutes », a déclaré le chef du projet, Michael Hotard. « GeoMatch peut être incroyablement utile en tant qu’outil qui simplifie le processus de collecte d’informations et d’établissement de liens. »

À l’Université de Washington, des chercheurs en robotique viennent de présenter leurs travaux sur la création d’un système d’alimentation automatisé pour les personnes qui ne peuvent pas manger seules. Le système a connu de nombreuses versions et a évolué avec les commentaires de la communauté, et « nous sommes arrivés au point où nous pouvons récupérer presque tout ce qu’un fork peut gérer. Nous ne pouvons donc pas aller chercher de la soupe, par exemple. Mais le robot peut tout gérer, de la purée de pommes de terre ou des nouilles à une salade de fruits en passant par une véritable salade de légumes, ainsi qu’une pizza prédécoupée, un sandwich ou des morceaux de viande », a déclaré le co-responsable Ethan K. Gordon dans une séance de questions-réponses publiée par l’Université.

Crédits images : Université de Washington

C’est une discussion intéressante, qui montre comment des projets comme ceux-ci ne sont jamais vraiment « terminés », mais à chaque étape, ils peuvent aider de plus en plus de personnes.

Il existe quelques projets pour aider les personnes aveugles à parcourir le monde, de Be My AI (optimisé par GPT-4V) à Seeing AI de Microsoft, une collection de modèles spécialement conçus pour les tâches quotidiennes. Google avait sa propre application d’orientation appelée Project Guideline, destinée à aider les gens à rester sur la bonne voie lorsqu’ils marchent ou font du jogging sur un chemin. Google vient de le rendre open source, ce qui signifie généralement qu’ils abandonnent quelque chose – mais leur perte est le gain d’autres chercheurs, car le travail effectué dans cette entreprise milliardaire peut désormais être utilisé dans un projet personnel.

Enfin, un peu de plaisir dans FathomVerse, un jeu/outil permettant d’identifier les créatures marines de la même manière que des applications comme iNaturalist, etc. identifient les feuilles et les plantes. Il a cependant besoin de votre aide, car les animaux comme les anémones et les poulpes sont spongieux et difficiles à identifier. Alors inscrivez-vous à la version bêta et voyez si vous pouvez aider à faire décoller cette chose !

Crédits images : FathomVerse