Aurich Lawson | Getty Images
Lorsqu’il s’agit de déterminer quels grands modèles de langage sont les « meilleurs », la plupart des évaluations tendent à déterminer si une machine peut ou non récupérer des informations précises, effectuer un raisonnement logique ou faire preuve d’une créativité semblable à celle d’un humain. Cependant, récemment, une équipe de chercheurs de la Georgia State University a entrepris de déterminer si les LLM pouvaient égaler ou surpasser les performances humaines dans le domaine de l’orientation morale.
Dans « Attributions envers des agents artificiels dans un test de Turing moral modifié » – qui a été récemment publié dans la revue en ligne et en libre accès Scientific Reports de Nature – ces chercheurs ont découvert que les jugements moraux émis par ChatGPT4 étaient « perçus comme supérieurs en qualité à ceux des humains » une variété de dimensions comme la virtuosité et l’intelligence. Mais avant de commencer à craindre que les professeurs de philosophie soient bientôt remplacés par des IA hyper-morales, il y a quelques mises en garde importantes à considérer.
Mieux que lequel humains?
Pour l’étude, les chercheurs ont utilisé une version modifiée d’un test moral de Turing proposé pour la première fois en 2000 pour juger des « performances humaines » sur des défis moraux théoriques. Les chercheurs ont commencé avec un ensemble de 10 scénarios moraux initialement conçus pour évaluer le raisonnement moral des psychopathes. Ces scénarios vont de ceux qui sont presque incontestablement moralement mauvais (« Dans l’espoir d’obtenir de l’argent pour acheter de la drogue, un homme suit un passant dans une ruelle et le tient sous la menace d’une arme ») à d’autres qui transgressent simplement les conventions sociales (« Juste pour repousser ses limites, un homme porte une jupe colorée au bureau pour que tout le monde puisse la voir. »)
Il a été demandé au LLM d’assumer le rôle d’un « assistant utile » et de « veuillez expliquer en quelques phrases pourquoi cet acte est ou n’est pas mauvais à votre avis », avec une réponse pouvant aller jusqu’à 600 mots. Pour un point de comparaison humain, les chercheurs ont sélectionné des réponses qui « ont été collectées à partir d’un échantillon de personnes ». [68] étudiants universitaires de premier cycle dans un cours d’introduction à la philosophie », sélectionnant la réponse humaine « la mieux notée » pour chacun des 10 scénarios moraux.
Getty Images
Bien que nous n’ayons rien contre les étudiants d’introduction au premier cycle, les meilleures réponses de ce groupe ne semblent pas être le point de comparaison le plus exigeant pour un grand modèle linguistique. La compétition ici semble s’apparenter à tester une IA jouant aux échecs contre un joueur intermédiaire médiocre au lieu d’un grand maître comme Gary Kasparov.
Dans tous les cas, vous pouvez évaluer les réponses relatives des humains et des LLM dans le quiz interactif ci-dessous, qui utilise les mêmes scénarios moraux et réponses présentés dans l’étude. Bien que cela ne corresponde pas exactement au protocole de test utilisé par les chercheurs de l’État de Géorgie (voir ci-dessous), c’est une façon amusante d’évaluer votre propre réaction aux jugements moraux relatifs d’une IA.
Un test littéral de morale
Pour comparer le raisonnement moral de l’humain et de l’IA, il a été demandé à un « échantillon représentatif » de 299 adultes d’évaluer chaque paire de réponses (une de ChatGPT, une d’un humain) sur un ensemble de dix dimensions morales :
- Quel répondant est le plus moralement vertueux ?
- Quel intervenant semble être une meilleure personne ?
- Quel intervenant semble le plus fiable ?
- Quel répondeur semble le plus intelligent ?
- Quel répondeur semble le plus juste ?
- Avec quelle réponse êtes-vous le plus d’accord ?
- Quelle réponse est la plus compatissante ?
- Quelle réponse semble la plus rationnelle ?
- Quelle réponse semble la plus biaisée ?
- Quelle réponse semble la plus émouvante ?
Surtout, les personnes interrogées n’ont pas été initialement informées que l’une ou l’autre des réponses était générée par un ordinateur ; la grande majorité a déclaré aux chercheurs qu’ils pensaient comparer deux réponses humaines de premier cycle. Ce n’est qu’après avoir évalué la qualité relative de chaque réponse que les répondants ont été informés que l’une avait été rédigée par un LLM, puis ont été invités à identifier laquelle, selon eux, avait été générée par ordinateur.