OpenAI nous apporte GPT-4, la prochaine évolution du chatbot préféré de tous, ChatGPT. En plus d’un modèle de langage plus avancé qui « présente des performances de niveau humain sur divers tests professionnels et académiques », la nouvelle version accepte les entrées d’image et promet un comportement de refus plus strict pour l’empêcher de répondre à vos demandes fâcheuses.
Le rapport technique GPT-4 qui l’accompagne (s’ouvre dans un nouvel onglet) (PDF) avertit cependant que le nouveau modèle a encore une capacité relativement élevée pour ce que les chercheurs appellent des « hallucinations ». Ce qui semble totalement sûr.
Ce que les chercheurs veulent dire lorsqu’ils font référence aux hallucinations, c’est que le nouveau modèle ChatGPT, tout comme la version précédente, a tendance à « produire un contenu absurde ou mensonger par rapport à certaines sources ».
Bien que les chercheurs précisent que « GPT-4 a été formé pour réduire la tendance du modèle à halluciner en exploitant les données de modèles antérieurs tels que ChatGPT ». Non seulement ils l’entraînent sur ses propres échappés, mais ils l’ont également entraîné par le biais d’une évaluation humaine. (s’ouvre dans un nouvel onglet).
« Nous avons collecté des données du monde réel qui avaient été signalées comme n’étant pas factuelles, les avons examinées et avons créé un ensemble « factuel » là où il était possible de le faire. Nous l’avons utilisé pour évaluer les générations de modèles par rapport au « factuel ». définir, et faciliter les évaluations humaines. »
Le processus semble avoir considérablement aidé en ce qui concerne les sujets fermés, bien que le chatbot ait toujours des problèmes en ce qui concerne les traits plus larges. Comme le note l’article, GPT-4 est 29 % meilleur que GPT-3.5 en ce qui concerne les chats « en domaine fermé », mais seulement 19 % mieux pour éviter les hallucinations « en domaine ouvert ».
ITNEXT (s’ouvre dans un nouvel onglet) explique la différence entre le domaine ouvert et le domaine fermé, en ce que « l’AQ du domaine fermé est un type de système d’assurance qualité qui fournit des réponses basées sur un ensemble limité d’informations dans un domaine ou une base de connaissances spécifique ». Au lieu de cela, les systèmes d’assurance qualité à domaine ouvert « fournissent des réponses basées sur un vaste éventail d’informations disponibles sur Internet et sont mieux adaptés aux besoins d’informations spécifiques et limités ».
Alors oui, nous sommes toujours susceptibles de voir Chat GPT-4 nous mentir à propos de choses.
Bien sûr, les utilisateurs vont être mécontents que le chatbot leur fournisse de fausses informations, bien que ce ne soit pas le plus gros problème. L’un des principaux problèmes est la « dépendance excessive ». La tendance à halluciner « peut être particulièrement nocive à mesure que les modèles deviennent de plus en plus convaincants et crédibles, ce qui conduit à une dépendance excessive des utilisateurs », indique le document.
« De manière contre-intuitive, les hallucinations peuvent devenir plus dangereuses à mesure que les modèles deviennent plus véridiques, car les utilisateurs renforcent la confiance dans le modèle lorsqu’il fournit des informations véridiques dans des domaines où ils ont une certaine familiarité. » Il est naturel pour nous de faire confiance à une source si elle a été exacte auparavant, mais une horloge cassée fonctionne correctement deux fois par jour, comme on dit.
La dépendance excessive devient particulièrement problématique lorsque le chatbot est intégré dans des systèmes automatisés qui nous aident à prendre des décisions au sein de la société. Cela peut provoquer une boucle de rétroaction qui peut conduire à une « dégradation de la qualité globale de l’information ».
« Il est crucial de reconnaître que le modèle n’est pas toujours précis dans l’admission de ses limites, comme en témoigne sa tendance à halluciner. »
Mis à part les problèmes, les développeurs semblent assez optimistes quant au nouveau modèle, du moins selon la vue d’ensemble du GPT-4 (s’ouvre dans un nouvel onglet) sur le site OpenAI.
« Nous avons trouvé et corrigé quelques bugs et amélioré nos bases théoriques. En conséquence, notre parcours d’entraînement GPT-4 a été (pour nous du moins !) D’une stabilité sans précédent ».
On verra ça quand ça recommencera avec l’éclairage au gaz, bien que les effondrements (s’ouvre dans un nouvel onglet) dont nous avons entendu parler proviennent principalement de l’intégration ChatGPT de Bing.
ChatGPT-4 est disponible dès maintenant pour les utilisateurs de ChatGPT Pro, bien que même les clients payants doivent s’attendre à ce que le service soit « fortement limité en termes de capacité ».