Une nouvelle étude sur l’IA a révélé une limitation inhérente aux réseaux de la génération actuelle tels que ceux utilisés par ChatGPT et Midjourney. Il semble que les réseaux d’IA entraînés sur les sorties d’IA (comme le texte créé par ChatGPT ou la sortie d’image créée par un modèle de diffusion stable) ont tendance à devenir « MAD » après cinq cycles d’entraînement avec des données générées par l’IA. Comme vous pouvez le voir dans les images ci-dessus, le résultat est des sorties étrangement mutées qui ne reflètent pas la réalité.
MAD – abréviation de Model Autophagy Disorder – est l’acronyme utilisé par les chercheurs de l’Université Rice et Stanford impliqués dans l’étude pour décrire comment les modèles d’IA, et leur qualité de sortie, s’effondrent lorsqu’ils sont formés à plusieurs reprises sur des données générées par l’IA. Comme son nom l’indique, le modèle « se mange » essentiellement, un peu comme l’Ouroboros du mythe. Il perd des informations sur les queues (les extrêmes) de la distribution de données d’origine et commence à produire des résultats plus alignés sur la représentation moyenne des données, un peu comme le serpent dévorant sa propre queue.
Dans le travail dirigé par @iliaishacked, nous demandons ce qui se passe lorsque nous formons de nouveaux modèles génératifs sur des données qui sont en partie générées par des modèles précédents. .twitter.com/OFJDZ4QofZ1 juin 2023
Essentiellement, la formation d’un LLM sur ses propres sorties (ou celles d’un autre) crée un effet de convergence sur les données qui composent le LLM lui-même. Cela peut être facilement vu dans le graphique ci-dessus, partagé par les scientifiques et membre de l’équipe de recherche Nicolas Papernot sur Twitter, où des itérations de formation successives sur les données générées par le LLM conduisent le modèle à perdre progressivement (mais dramatiquement) l’accès aux données contenues aux extrémités de la courbe de Bell – les valeurs aberrantes, les éléments les moins communs.
Les données aux bords du spectre (celles qui ont moins de variations et qui sont moins représentées) disparaissent essentiellement. De ce fait, les données qui restent dans le modèle sont désormais moins variées et régressent vers la moyenne. Selon les résultats, il faut environ cinq de ces tours jusqu’à ce que les queues de la distribution d’origine disparaissent – c’est le moment où MAD s’installe.
Papier cool de mes amis de Rice. Ils regardent ce qui se passe lorsque vous entraînez des modèles génératifs sur leurs propres sorties… encore et encore. Les modèles d’image survivent à 5 itérations avant que des choses étranges ne se produisent.7 juillet 2023
Il n’est pas confirmé que le trouble de l’autophagie modèle affecte tous les modèles d’IA, mais les chercheurs l’ont vérifié par rapport aux auto-encodeurs, aux modèles de mélange gaussien et aux grands modèles de langage.
Il se trouve que tous ces types de modèles qui peuvent « devenir fous » sont répandus et fonctionnent depuis un certain temps maintenant : les encodeurs automatiques peuvent gérer des choses telles que la prédiction de popularité (dans des choses comme l’algorithme d’une application de médias sociaux), la compression d’image, débruitage d’image et génération d’image ; et les modèles de mélange gaussien sont utilisés à des fins d’estimation de densité, de regroupement et de segmentation d’images, ce qui les rend particulièrement utiles pour les sciences statistiques et des données.
En ce qui concerne les grands modèles de langage au cœur des applications de chatbot populaires d’aujourd’hui (dont ChatGPT d’OpenAI et AI Claude d’Anthropic ne sont que de simples exemples), ils sont également susceptibles de devenir MAD lorsqu’ils sont formés sur leurs propres sorties. Avec cela, il vaut peut-être la peine de souligner à quel point ces systèmes d’IA sont importants dans nos vies ; Les modèles algorithmiques d’IA sont utilisés à la fois dans les sphères d’entreprise et publiques.
Nous avons rencontré un problème similaire lors de l’amorçage des modèles génératifs pour la génération de niveaux Sokoban à l’aide de https://t.co/ONWUSMnBTQUne solution consistait à regrouper les niveaux en fonction de leurs caractéristiques et à modifier le processus d’échantillonnage par lots pour mettre l’accent sur les niveaux aux caractéristiques plus rares.6 juin 2023
Cette recherche fournit un moyen de scruter la boîte noire du développement de l’IA. Et cela anéantit tout espoir que nous ayons trouvé une fontaine de données sans fin en fabriquant une roue de hamster à partir de certains modèles d’IA : l’alimenter en données, puis y réinjecter ses propres données, afin de générer davantage de données qui sont ensuite réinjectées encore.
Cela pourrait être un problème pour les modèles existants et les applications de ces modèles : si un modèle qui a atteint une utilisation commerciale a, en fait, été formé sur ses propres sorties, alors ce modèle a probablement régressé vers sa moyenne (rappelez-vous qu’il faut environ cinq cycles d’entrée-sortie pour que cela se manifeste). Et si ce modèle a régressé vers sa moyenne, alors il a été biaisé d’une manière ou d’une autre, car il ne prend pas en compte les données qui seraient naturellement minoritaires. Bigoterie algorithmique, si vous voulez.
Un autre point important mis en avant par les résultats est le souci de la provenance des données : il devient désormais encore plus important de pouvoir séparer les données « originales » des données « artificielles ». Si vous ne pouvez pas identifier les données qui ont été créées par un LLM ou une application d’image générative, vous pouvez accidentellement les inclure dans les données de formation de votre produit de nouvelle génération.
Malheureusement, ce navire a probablement déjà navigué : il y a eu une quantité non nulle de données non étiquetées qui ont déjà été produites par ces types de réseaux et incorporées dans d’autres systèmes. Même si nous avions un instantané de l’ensemble d’Internet avant l’explosion de popularité de ChatGPT ou de Midjourney, il y a longtemps que des données produites par l’IA sont déversées quotidiennement sur le World Wide Web. Et cela ne veut rien dire des immenses quantités de données qu’ils ont entre-temps produites.
Mais même si ce navire a navigué, au moins maintenant nous le savons. Savoir signifie que la recherche d’un filigrane qui identifie le contenu généré par l’IA (et qui est infaillible) est maintenant devenue une entreprise beaucoup plus importante – et lucrative – et que la responsabilité d’étiqueter les données générées par l’IA est maintenant devenue une exigence beaucoup plus sérieuse .
En dehors de cela, cependant, il existe d’autres moyens de compenser ces biais. L’une des façons consiste simplement à modifier les pondérations du modèle : si vous augmentez la pertinence ou la fréquence des résultats aux extrémités de la distribution, ils se déplaceront naturellement le long de la courbe en cloche, plus près de la moyenne. Il s’ensuit qu’ils seraient alors beaucoup moins enclins à « l’élagage » de la formation auto-générative : le modèle perd toujours les données aux bords de la courbe, mais ces données ne sont plus seulement là.
Mais alors, comment la pondération est-elle décidée ? Dans quelle mesure faut-il déplacer les pondérations ? La fréquence a augmenté ? Il y a aussi une responsabilité ici pour comprendre les effets du réglage fin du modèle et comment ceux-ci ont également un impact sur la sortie.
Pour chaque question à laquelle on répond, il y en a un certain nombre d’autres qui sautent au premier plan : des questions relatives à la vérité derrière les réponses du modèle (où les déviations sont connues sous le nom d’hallucinations) ; si le modèle est biaisé ou non, et d’où vient ce biais (si des données de formation elles-mêmes ou du processus de pondération utilisé pour créer le réseau, et maintenant nous le savons également grâce au processus MAD) ; et bien sûr, que se passe-t-il lorsque les modèles sont formés sur leurs propres données. Et comme nous l’avons vu, les résultats ne sont pas vertueux.
Et ils ne pouvaient pas l’être : les personnes qui n’ont pas accès à de nouvelles expériences dépérissent aussi, alors elles deviennent des chambres d’écho de ce qui s’est passé avant. Et c’est exactement la même chose que de dire quelque chose comme « lorsque le modèle est entraîné sur ses propres sorties, il s’effondre ».