Les chatbots utilisant l’IA générative font face à des erreurs surprenantes, appelées hallucinations, où ils inventent des informations. Un panel d’experts en IA exprime des doutes quant à la rapidité des avancées nécessaires pour atteindre une fiabilité comparable à l’intelligence humaine. Bien que des progrès aient été réalisés, les défis liés à l’exactitude des réponses demeurent. Les utilisateurs sont conseillés de vérifier systématiquement les informations fournies par ces modèles pour éviter de se fier à des réponses potentiellement incorrectes.
Les chatbots basés sur l’IA générative sont souvent confrontés à des erreurs surprenantes. Par exemple, il vaut mieux ignorer les recommandations de l’IA de Google suggérant d’incorporer de la colle dans votre recette de pizza ou de consommer de petits cailloux pour améliorer votre santé.
Ces erreurs, désignées sous le nom d’hallucinations, se réfèrent à des informations que le modèle invente. Alors, est-ce que cette technologie va s’améliorer ? Même les chercheurs spécialisés dans le domaine de l’IA expriment des doutes quant à la rapidité de ces avancées.
C’est l’une des conclusions tirées d’un panel réunissant une vingtaine d’experts en intelligence artificielle, publié récemment par l’Association pour l’avancement de l’intelligence artificielle. Ce groupe a également interrogé plus de 400 membres de l’association.
Contrairement à l’optimisme ambiant parmi certains développeurs qui pensent que des améliorations majeures sont à portée de main dans un avenir proche, ce panel d’académiciens et de professionnels de l’industrie se montre plus prudent. Pour atteindre ou dépasser l’intelligence humaine, souvent appelée intelligence générale artificielle, la fiabilité de ces outils d’IA devra croître de manière significative. Les chercheurs semblent donc convaincus que des avancées de cette ampleur ne se produiront pas rapidement.
« Nous avons tendance à être prudents et à ne pas croire quelque chose tant qu’il ne fonctionne pas réellement », a déclaré Vincent Conitzer, professeur d’informatique à l’Université Carnegie Mellon et membre du panel.
Une évolution rapide de l’intelligence artificielle
Selon Francesca Rossi, présidente de l’AAAI, le rapport vise à encourager la recherche en intelligence artificielle pour produire des technologies bénéfiques pour l’humanité. Les préoccupations relatives à la confiance et à la fiabilité sont fondamentales, non seulement pour fournir des informations précises, mais aussi pour éviter les biais et garantir que les futures IA n’entraînent pas de conséquences inattendues. « Nous devons collaborer pour faire avancer l’IA de manière responsable, afin que le progrès technologique soit en phase avec les valeurs humaines », a-t-elle écrit.
Conitzer a observé que l’accélération de l’IA, notamment depuis le lancement de ChatGPT par OpenAI en 2022, a été impressionnante. « D’une certaine manière, c’est incroyable, et beaucoup de ces techniques surpassent ce que nous pensions possible », a-t-il ajouté.
John Thickstun, professeur adjoint d’informatique à l’Université Cornell, a souligné que certains domaines de recherche en IA méritent cet engouement, en particulier les mathématiques et les sciences, où les résultats peuvent être vérifiés par les utilisateurs.
« Cette technologie est incroyable », a-t-il affirmé. « Après plus d’une décennie dans ce domaine, je suis stupéfait de ses progrès et de sa rapidité d’évolution. »
Malgré ces avancées, des défis importants demeurent et nécessitent une attention continue, selon les experts.
Les chatbots fourniront-ils des réponses fiables ?
Bien qu’il y ait eu des avancées dans la fiabilité des informations des modèles d’IA générative, de nombreuses améliorations restent à faire. Un rapport récent a révélé que les chatbots ont tendance à répondre à des questions sans pouvoir garantir l’exactitude de leurs réponses, fournissant souvent des informations erronées et inventant des sources fictives pour étayer ces erreurs.
Améliorer la fiabilité et l’exactitude est « sans aucun doute le plus grand domaine de recherche en IA aujourd’hui », selon le rapport de l’AAAI.
Les chercheurs ont identifié trois façons principales d’augmenter l’exactitude des systèmes d’IA : l’ajustement fin avec des retours humains, la génération augmentée par récupération, où le système utilise des documents spécifiques comme base, et la chaîne de pensée, qui décompose les questions en étapes plus petites que le modèle peut vérifier pour éviter les hallucinations.
Ces méthodes rendront-elles les réponses de vos chatbots plus précises dans un avenir proche ? La réponse semble peu probable : « La question de la factualité est encore loin d’être résolue », a averti le rapport. Environ 60 % des membres du panel ont exprimé des doutes sur la capacité à résoudre rapidement les problèmes de factualité ou de fiabilité.
Dans le secteur de l’IA générative, certains restent optimistes quant à la possibilité que l’amélioration des modèles existants conduise à une plus grande précision et à une réduction des hallucinations.
« Je pense que cet optimisme a toujours été un peu excessif », a affirmé Thickstun. « Au cours des deux dernières années, je n’ai pas observé de preuves montrant que des modèles linguistiques vraiment précis et hautement factuels sont à portée de main. »
Malgré les limites des grands modèles linguistiques comme Claude d’Anthropic ou Llama de Meta, les utilisateurs peuvent à tort croire qu’ils sont plus précis en raison de la présentation confiante de leurs réponses, a expliqué Conitzer.
« Lorsque nous voyons quelqu’un répondre avec assurance, nous avons tendance à conclure que cette personne sait de quoi elle parle. Un système d’IA, par contre, peut simplement feindre d’être sûr de quelque chose de complètement absurde », a-t-il précisé.
Conseils pour les utilisateurs d’IA
Reconnaître les limites de l’IA générative est crucial pour une utilisation efficace. John Thickstun conseille aux utilisateurs de modèles comme ChatGPT et Gemini de Google de vérifier systématiquement les résultats obtenus.
Il souligne que les modèles linguistiques généraux ne réussissent pas toujours à récupérer des informations factuelles de manière cohérente. Si vous posez une question, il est préférable de confirmer la réponse à l’aide d’un moteur de recherche, plutôt que de se fier uniquement au résumé généré par l’IA. À ce stade, vous pourriez aussi bien avoir effectué la recherche dès le départ.
Thickstun a également noté qu’il utilise ces modèles principalement pour…