Les universitaires sont en désaccord sur un document de recherche qui suggère que ChatGPT présente un parti pris politique « important et considérable » penché vers le côté gauche du spectre politique.
Comme Cointelegraph l’a précédemment signalé, des chercheurs du Royaume-Uni et du Brésil ont publié une étude dans le Choix public journal du 17 août qui affirme que les grands modèles linguistiques (LLM) comme ChatGPT produisent un texte contenant des erreurs et des préjugés susceptibles d’induire les lecteurs en erreur et ont la capacité de promulguer les préjugés politiques présentés par les médias traditionnels.
Dans une correspondance antérieure avec Cointelegraph, le co-auteur Victor Rangel a expliqué les objectifs de l’article visant à mesurer le biais politique de ChatGPT. La méthodologie des chercheurs consiste à demander à ChatGPT de se faire passer pour quelqu’un d’un côté donné du spectre politique et à comparer ces réponses avec son mode par défaut.
Rangel a également noté que plusieurs tests de robustesse ont été effectués pour répondre aux facteurs de confusion potentiels et aux explications alternatives :
« Nous constatons que ChatGPT présente un parti pris politique important et systématique en faveur des démocrates aux États-Unis, de Lula au Brésil et du Parti travailliste au Royaume-Uni. »
Il convient de noter que les auteurs soulignent que l’article ne constitue pas un « dernier mot sur les préjugés politiques de ChatGPT », étant donné les défis et les complexités liés à la mesure et à l’interprétation des préjugés dans les LLM.
Rangel a déclaré que certains critiques soutiennent que leur méthode pourrait ne pas saisir les nuances de l’idéologie politique, que les questions de la méthode pourraient être biaisées ou suggestives, ou que les résultats pourraient être influencés par le caractère aléatoire des résultats de ChatGPT.
Related: ChatGPT et Claude «deviennent capables de s’attaquer à des missions du monde réel», déclarent les scientifiques
Il a ajouté que même si les LLM ont le potentiel d’« améliorer la communication humaine », ils présentent « des risques et des défis importants » pour la société.
Le document a apparemment tenu sa promesse de stimuler la recherche et le débat sur le sujet, les universitaires étant déjà confrontés à divers paramètres de sa méthodologie et de ses conclusions.
Parmi les critiques virulents qui se sont tournés vers les médias sociaux pour peser sur les résultats, il y avait le professeur d’informatique de Princeton, Arvind Narayanan, qui a publié un article approfondi sur Medium présentant une critique scientifique du rapport, de sa méthodologie et de ses conclusions.
Un nouveau journal affirme que ChatGPT exprime des opinions libérales, d’accord avec les démocrates la grande majorité du temps. Quand @sayashk et j’ai vu ça, nous savions qu’il fallait creuser. Les méthodes du journal sont mauvaises. La vraie réponse est compliquée. Voici ce que nous avons trouvé. https://t.co/xvZ0EwmO8o
-Arvind Narayanan (@random_walker) 18 août 2023
Narayanan et d’autres scientifiques ont souligné un certain nombre de problèmes perçus avec l’expérience, premièrement, le fait que les chercheurs n’ont pas réellement utilisé ChatGPT lui-même pour mener l’expérience :
« Ils n’ont pas testé ChatGPT ! Ils ont testé text-davinci-003, un modèle plus ancien qui n’est pas utilisé dans ChatGPT, que ce soit avec le paramètre GPT-3.5 ou GPT-4.
Narayanan suggère également que l’expérience n’a pas mesuré les préjugés, mais lui a demandé de jouer le rôle de membre d’un parti politique. En tant que tel, le chatbot IA afficherait des tendances politiques à gauche ou à droite lorsqu’il serait invité à jouer un rôle en tant que membres des deux côtés du spectre.
Le chatbot était également contraint de répondre uniquement à des questions à choix multiples, ce qui pouvait avoir limité sa capacité ou influencé le biais perçu.
ok, j’ai lu l’article « GPT a un parti pris libéral » maintenant https://t.co/fwwEaZ757E ainsi que le matériel supplémentaire https://t.co/F5g3kfFQFU et comme je m’y attendais, j’ai beaucoup de problèmes méthodologiques. J’ai essayé d’en reproduire une partie et j’ai trouvé des problèmes intéressants
…
-Colin Fraser | @colin-fraser.net sur bsky (@colin_fraser) 18 août 2023
Colin Fraser, data scientist chez Meta selon son Medium pagea également proposé une revue de l’article sur Xsoulignant l’ordre dans lequel les chercheurs ont posé des questions à choix multiples avec un jeu de rôle et sans avoir une influence significative sur les résultats générés par l’IA :
« Cela signifie qu’en modifiant l’ordre rapide de Dem first à Rep first, vous augmentez le taux d’accord global pour le personnage Dem sur toutes les questions de 30 % à 64 %, et diminuez de 70 % à 22 % pour la représentation. »
Comme Rangel l’avait noté précédemment, la nature des LLM et les résultats qu’ils produisent suscitent un grand intérêt, mais des questions subsistent quant à la façon dont les outils fonctionnent, quels sont leurs biais et comment ils peuvent potentiellement affecter les opinions et les comportements des utilisateurs.
Cointelegraph a contacté Narayanan pour obtenir de plus amples informations sur sa critique et le débat en cours sur les préjugés dans les grands modèles d’apprentissage des langues, mais n’a pas reçu de réponse.
Récupérez cet article en tant que NFT pour préserver ce moment de l’histoire et montrer votre soutien au journalisme indépendant dans l’espace crypto.
Magazine : « Responsabilité morale » : la blockchain peut-elle vraiment améliorer la confiance dans l’IA ?