ChatGPT proche de réussir un examen de médecine américain

Publié le 09/02/2023 à 18:08

ChatGPT proche de réussir un examen de médecine américain

Publié le 09/02/2023 à 18:08

Par AFP

ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l’USMLE et qui faisaient partie de l’examen de juin 2022. (Photo: Getty Images)

Washington — Le logiciel à succès ChatGPT, qui génère des textes grâce à l’intelligence artificielle, a obtenu un score s’approchant de celui requis pour réussir un difficile examen de médecine aux États-Unis, selon une étude publiée jeudi.

La start-up californienne OpenAI a lancé en novembre dernier un robot conversationnel, qui fait sensation depuis. Facile à utiliser, il produit des textes — rédactions, articles ou même poèmes — sur simple requête.

Lire aussi: Mieux prévenir et guérir grâce à l’intelligence artificielle

Pour l’étude, publiée dans la revue PLOS Digital health, des chercheurs de l’entreprise AnsibleHealth ont testé les performances du logiciel sur un examen que doivent passer les étudiants en médecine aux États-Unis, et qui les interrogent sur divers domaines (connaissances scientifiques, raisonnement clinique, bioéthique…).

Dénommé USMLE (United States Medical Licensing Examination), cet examen est divisé en trois parties: la première passée après environ deux ans d’études, la deuxième au bout de quatre ans, et la troisième étant requise pour devenir médecin.

ChatGPT a été testé sur 350 des 376 questions publiées sur le site de l’USMLE et qui faisaient partie de l’examen de juin 2022. Les questions s’appuyant sur des images ont dû être retirées.

Elles étaient présentées sous trois formats: des questions ouvertes («que serait le diagnostic pour ce patient compte tenu des informations présentées?»), des questions à choix multiples sans justification («Quelle est la prochaine étape de suivi la plus appropriée parmi les suivantes?»), et des choix multiples avec justification (quelle est la raison la plus probable pour les symptômes nocturnes du patient? Expliquez votre raisonnement»).

Deux examinateurs ont noté le travail, et un troisième a tranché les écarts entre eux.

Le logiciel a obtenu un score situé entre 52,4% et 75% de bonnes réponses. Généralement, le score nécessaire pour réussir l’examen est de 60%.

«ChatGPT s’approche de la marge de réussite», conclut l’étude.

Certains experts extérieurs ont critiqué la méthode utilisée. Les chercheurs auraient pu introduire un certain degré d’anonymisation en mélangeant des réponses d’humains à celles du robot, a estimé Nello Cristianini, professeur en intelligence artificielle à l’université de Bath au Royaume-Uni.

Il a malgré tout qualifié ces travaux comme faisant «partie d’une série de nouveaux développements enthousiasmants dans le domaine de l’intelligence artificielle» (IA).

Selon Lucia Ortiz de Zarate, chercheuse à l’université autonome de Madrid, cette étude démontre «le potentiel de l’IA dans le domaine médical». Elle «peut se révéler d’une grande aide pour les médecins lorsqu’ils formulent des diagnostics et prescrivent des traitements», a-t-elle jugé.

Fin janvier, une autre étude avait montré que ChatGPT pouvait réussir les examens d’une université de droit américaine — quoiqu’en finissant dernier de la classe.

Sur le même sujet

Washington alerte sur l’écart entre grandes et petites banques face à l’IA

27/03/2024 | AFP

L’intelligence artificielle est déjà largement présente au quotidien, des smartphones aux aéroports.

Lightspeed explore l’IA générative afin d’aider les commerçants

L’IA pourrait être utile aux commerçants souhaitant rédiger des descriptions de produits.

À la une

Bourse: d'excellents rendements grâce aux «5 magnifiques»

BALADO. Microsoft, Nvidia, Amazon, Alphabet et Meta Platforms ont généré 40% des gains du S&P 500 au premier trimestre.

La Banque Royale du Canada confirme qu’elle a fait l’acquisition de HSBC

Il y a 17 minutes | La Presse Canadienne

En vertu de cette transaction, 4500 employés de HSBC Canada migreront vers RBC.

Bourse: nouveaux records pour le Dow Jones et le S&P 500 à Wall Street

Mis à jour le 28/03/2024 | lesaffaires.com, AFP et Presse canadienne

REVUE DES MARCHÉS. La Bourse de Toronto est en hausse et les marchés américains sont mitigés.