est l’un des problèmes les plus épineux sur Internet depuis des décennies. C’est un sujet difficile à aborder pour quiconque, compte tenu de la subjectivité qui va de pair avec la détermination du contenu qui devrait être autorisé sur une plate-forme donnée. maker pense que cela peut aider et il a mis à l’épreuve ses compétences en matière de modération de contenu. Il utilise le grand modèle multimodal « pour construire un système de modération de contenu évolutif, cohérent et personnalisable ».
L’entreprise que GPT-4 peut non seulement aider à prendre des décisions de modération de contenu, mais aussi à développer des politiques et à itérer rapidement sur les changements de politique, « réduisant le cycle de mois à heures ». Il affirme que le modèle peut analyser les diverses réglementations et nuances dans les politiques de contenu et s’adapter instantanément à toutes les mises à jour. Cela, selon OpenAI, se traduit par un étiquetage plus cohérent du contenu.
« Nous pensons que cela offre une vision plus positive de l’avenir des plateformes numériques, où l’IA peut aider à modérer le trafic en ligne conformément à la politique spécifique à la plateforme et à soulager le fardeau mental d’un grand nombre de modérateurs humains », ont déclaré Lilian Weng, Vik Goel et a écrit Andrea Vallone. « Toute personne disposant d’un accès à l’API OpenAI peut mettre en œuvre cette approche pour créer son propre système de modération assistée par l’IA. » OpenAI affirme que les outils de modération GPT-4 peuvent aider les entreprises à effectuer environ six mois de travail en une journée environ.
Il a été bien documenté que l’examen manuel du contenu traumatique peut avoir un impact significatif sur la santé mentale des modérateurs humains, en particulier en ce qui concerne le matériel graphique. En 2020, Meta versera à plus de 11 000 modérateurs au moins 1 000 $ chacun en compensation pour des problèmes de santé mentale pouvant découler de l’examen de documents publiés sur Facebook.
L’utilisation de l’IA pour alléger une partie du fardeau des examinateurs humains pourrait être très bénéfique. Meta, pour sa part, utilise l’IA depuis plusieurs années. Pourtant, OpenAI indique que, jusqu’à présent, les modérateurs humains ont reçu l’aide de « plus petits modèles d’apprentissage automatique spécifiques à la verticale. Le processus est intrinsèquement lent et peut entraîner un stress mental pour les modérateurs humains ».
Les modèles d’IA sont loin d’être parfaits. Les grandes entreprises utilisent depuis longtemps l’IA dans leurs processus de modération et, avec ou sans l’aide de la technologie, . Il reste à voir si le système d’OpenAI peut éviter bon nombre des principaux pièges de modération dans lesquels d’autres entreprises sont tombées au fil des ans.
Dans tous les cas, OpenAI convient que les humains doivent toujours être impliqués dans le processus. « Nous avons continué à avoir un examen humain pour vérifier certains des jugements du modèle », a déclaré Vallone, qui travaille dans l’équipe politique d’OpenAI. .
« Les jugements par les modèles de langage sont vulnérables aux biais indésirables qui auraient pu être introduits dans le modèle pendant la formation. Comme pour toute application d’IA, les résultats et les sorties devront être soigneusement surveillés, validés et affinés en maintenant les humains dans la boucle », le blog d’OpenAI poste lit. « En réduisant l’implication humaine dans certaines parties du processus de modération qui peuvent être gérées par des modèles linguistiques, les ressources humaines peuvent se concentrer davantage sur le traitement des cas extrêmes complexes les plus nécessaires pour affiner la politique. »