Il y a moins d’un an, Anthropic a été fondée par l’ancien vice-président de la recherche OpenAI, Dario Amodei, dans le but d’effectuer des recherches dans l’intérêt public pour rendre l’IA plus fiable et explicable. Son financement de 124 millions de dollars était alors surprenant, mais rien n’aurait pu nous préparer à ce que l’entreprise lève 580 millions de dollars moins d’un an plus tard.
« Avec cette collecte de fonds, nous allons explorer les propriétés de mise à l’échelle prévisibles des systèmes d’apprentissage automatique, tout en examinant de près les manières imprévisibles dont les capacités et les problèmes de sécurité peuvent émerger à grande échelle », a déclaré Amodei dans l’annonce.
Sa sœur Daniela, avec qui il a cofondé la société d’utilité publique, a déclaré qu’après avoir construit l’entreprise, «Nous nous concentrons sur la garantie qu’Anthropic dispose de la culture et de la gouvernance nécessaires pour continuer à explorer et à développer de manière responsable des systèmes d’IA sûrs à mesure que nous évoluons. ”
Il y a encore ce mot – échelle. Parce que c’est la catégorie de problèmes qu’Anthropic a été créée pour examiner : comment mieux comprendre les modèles d’IA de plus en plus utilisés dans toutes les industries à mesure qu’ils dépassent notre capacité à expliquer leur logique et leurs résultats.
La société a déjà publié plusieurs articles examinant, par exemple, l’ingénierie inverse du comportement des modèles de langage pour comprendre pourquoi et comment ils produisent les résultats qu’ils produisent. Quelque chose comme GPT-3, probablement le modèle de langage le plus connu, est indéniablement impressionnant, mais il y a quelque chose d’inquiétant dans le fait que ses opérations internes sont essentiellement un mystère même pour ses créateurs.
Comme l’explique la nouvelle annonce de financement :
Le but de cette recherche est de développer les composants techniques nécessaires pour construire des modèles à grande échelle qui ont de meilleures garanties implicites et nécessitent moins d’interventions après la formation, ainsi que de développer les outils nécessaires pour regarder plus en profondeur à l’intérieur de ces modèles pour être sûr que le les garanties fonctionnent réellement.
Si vous ne comprenez pas comment fonctionne un système d’IA, vous ne pouvez réagir que lorsqu’il fait quelque chose de mal – par exemple, montre un parti pris dans la reconnaissance des visages, ou a tendance à dessiner ou à décrire les hommes lorsqu’on lui pose des questions sur les médecins et les PDG. Ce comportement est intégré au modèle, et la solution consiste à filtrer ses sorties plutôt que de l’empêcher d’avoir ces « notions » incorrectes en premier lieu.
C’est en quelque sorte un changement fondamental dans la façon dont l’IA est construite et comprise, et en tant que telle, elle nécessite de gros cerveaux et de gros ordinateurs, dont aucun n’est particulièrement bon marché. Nul doute que 124 millions de dollars était un bon début, mais apparemment les premiers résultats étaient suffisamment prometteurs pour que Sam Bankman-Fried mène cet énorme nouveau cycle, rejoint par Caroline Ellison, Jim McClave, Nishad Singh, Jaan Tallinn et le Center for Emerging Risk Research. .
Il est intéressant de ne voir aucun des investisseurs habituels en technologie profonde dans ce groupe – mais bien sûr, Anthropic ne vise pas à réaliser un profit, ce qui est en quelque sorte un facteur décisif pour les VC.
Vous pouvez suivre les dernières recherches d’Anthropic ici.