ChatGPT: comment ça marche?


Édition du 15 Février 2023

ChatGPT: comment ça marche?


Édition du 15 Février 2023

Par Maxime Johnson

Cette image a été générée grâce à un outil d'intelligence artificielle.

«Compose un courriel de bienvenue pour un nouvel employé», «rédige un article sur les taux d’intérêt pouvant être compris par un enfant de 10 ans», «donne-moi 20 idées de nom pour une start-up en technologies financières» : discuter avec le robot conversationnel ChatGPT donne parfois l’impression d’écrire à un humain, tellement on peut s’entretenir de tout et de rien avec lui.

Ce n’est évidemment pas le cas. ChatGPT est le dernier modèle de langage en liste de l’entreprise américaine OpenAI, à qui l’on doit aussi les modèles GPT-3.5 (2022), GPT-3 (2020) et GPT-2 (2019). Ces modèles GPT (pour «Generative Pre-trained Transformer») ont été entraînés grâce à des outils d’IA à partir de centaines de gigaoctets de textes amassés notamment dans les livres et sur le Web, des fables de La Fontaine aux recettes de Ricardo (il maîtrise d’ailleurs très bien le français).

ChatGPT est une version dérivée de GPT-3.5, un modèle qui est toujours accessible sur le Web ou pour les développeurs avec une interface de programmation d’application (API). GPT-3.5 permet d’écrire quelques mots, qui sont ensuite complétés par le logiciel, un peu comme la prédiction automatique de texte avec les claviers de téléphones intelligents.

Le modèle rédige du texte une syllabe à la fois, en fonction de la probabilité qu’un mot en suive un autre. «Il va écrire en fonction des mots précédents, il tient donc compte du contexte. Il va par exemple savoir que le prochain mot à venir est probablement un verbe ou un nom en fonction de ce qui est venu avant», illustre le PDG de Waverly, Philippe Beaudoin.

Une certaine dose de hasard est aussi insérée dans la génération de texte, ce qui permet d’éviter que les réponses soient toujours les mêmes, en plus de leur donner une voix un peu plus humaine.

Les modèles comme GPT-3.5 sont basés sur « Transformer » (le T de GPT), un modèle développé pour la traduction du langage et rendu public en 2017 par des chercheurs de Google. Les grands concepts de Transformer ont depuis été repris par la plupart des modèles du genre, comme LaMDA, de Google, et même les générateurs d’images DALL-E et Midjourney.

 

De GPT-3.5 à ChatGPT

ChatGPT fonctionne de la même façon que ses prédécesseurs, mais il a «été optimisé pour le dialogue en utilisant de l’apprentissage par renforcement avec rétroaction humaine (RLHF), une méthode qui utilise des exemples rédigés par des humains pour guider le modèle», explique un porte-parole d’OpenAI.

En d’autres mots, des exemples de questions et de réponses ont été fournis à GPT-3.5, qui a ainsi appris à converser, ce qui rend son utilisation assez simple pour le grand public, mais aussi plus puissante pour les utilisateurs. En plus de pouvoir répondre à des questions ou d’écrire dans un style qui lui est demandé, le robot conversationnel se souvient de ses interactions précédentes, et peut donc comprendre le contexte d’une discussion et raffiner ses réponses si on lui demande des précisions.

Sur le même sujet

Le patron d'OpenAI, Sam Altman, est milliardaire, selon Forbes

Mis à jour le 08/04/2024 | AFP

L'entrepreneur de 38 ans doit ses premiers millions à la revente, en 2012, du réseau social Loopt.

Washington alerte sur l’écart entre grandes et petites banques face à l’IA

27/03/2024 | AFP

L’intelligence artificielle est déjà largement présente au quotidien, des smartphones aux aéroports.

À la une

Il faut concentrer les investissements en R-D, dit le Conseil de l’innovation du Québec

24/04/2024 | Emmanuel Martinez

L’État devrait davantage concentrer les investissements en R-D dans certains secteurs, selon le Conseil de l’innovation.

Repreneuriat: des employés au rendez-vous

23/04/2024 | Emmanuel Martinez

REPRENEURIAT. Le taux de survie des coopératives est bien meilleur que celui des entreprises privées.

De nouvelles règles fiscales favorisent le repreneuriat familial

Édition du 10 Avril 2024 | Emmanuel Martinez

REPRENEURIAT. Elles devraient stimuler le transfert d'entreprise à des proches.