ChatGPT a réussi certains des tests de l’examen de licence médicale des États-Unis (USMLE) dans le cadre d’une étude réalisée en 2022. Cette année, une équipe de professionnels de la santé canadiens a vérifié si l’application était efficace pour la pratique médicale. Et ce n’est pas le cas.
ChatGPT contre Medscape
« Nous avons utilisé la banque de questions Medscape pour répondre à nos questions médicales », explique Amrit Kirpalani, professeur de médecine à l’Université Western en Ontario, au Canada, qui a dirigé la nouvelle étude sur les performances de ChatGPT en tant qu’outil de diagnostic. L’USMLE contenait principalement des questions à choix multiples ; Medscape propose des cas médicaux complets basés sur des patients réels, avec les résultats d’examens physiques, les résultats de tests de laboratoire, etc.
L’idée est de rendre ces cas difficiles pour les médecins en raison de complications telles que des comorbidités multiples, lorsque deux ou plusieurs maladies sont présentes en même temps, et de divers dilemmes diagnostiques qui rendent les bonnes réponses moins évidentes. L’équipe de Kirpalani a transformé 150 de ces cas Medscape en invites que ChatGPT pourrait comprendre et traiter.
C’était un peu un défi car OpenAI, la société qui a créé ChatGPT, a une restriction concernant son utilisation pour des conseils médicaux, donc une invite pour diagnostiquer directement le cas n’a pas fonctionné. Cela a cependant été facilement contourné en disant à l’IA que des diagnostics étaient nécessaires pour un article de recherche universitaire que l’équipe était en train de rédiger. L’équipe lui a ensuite fourni différentes réponses possibles, a copié/collé toutes les informations sur le cas disponibles sur Medscape et a demandé à ChatGPT de fournir la justification des réponses choisies.
Il s’est avéré que dans 76 cas sur 150, ChatGPT avait tort. Mais le chatbot était censé être efficace pour établir des diagnostics, n’est-ce pas ?
Outils à usage spécifique
Début 2024, Google a publié une étude sur Articulate Medical Intelligence Explorer (AMIE), un grand modèle de langage spécialement conçu pour diagnostiquer des maladies à partir de conversations avec des patients. AMIE a surpassé les médecins humains en diagnostiquant 303 cas provenant du New England Journal of Medicine et des ClinicoPathologic Conferences. Et AMIE n’est pas une exception : au cours de l’année dernière, il ne s’est pas passé une semaine sans qu’une recherche ne soit publiée présentant une IA incroyablement performante dans le diagnostic du cancer et du diabète, et même dans la prédiction de l’infertilité masculine à partir des résultats d’analyses sanguines.
La différence entre les IA médicales spécialisées et ChatGPT réside dans les données sur lesquelles elles ont été formées. « Ces IA peuvent avoir été formées sur des tonnes de littérature médicale et peuvent même avoir été formées sur des cas complexes similaires », explique Kirpalani. « Elles peuvent être adaptées pour comprendre la terminologie médicale, interpréter les tests de diagnostic et reconnaître des modèles dans les données médicales qui sont pertinents pour des maladies ou des conditions spécifiques. En revanche, les LLM à usage général comme ChatGPT sont formés sur un large éventail de sujets et ne disposent pas de l’expertise approfondie du domaine requise pour le diagnostic médical. »