Glossaire
Token
Un petit morceau de texte (un mot, une partie de mot, un signe) : l'unité avec laquelle un Modèle de langage (LLM)Le moteur d'un chatbot comme ChatGPT : un programme entraîné sur d'immenses quantités de textes pour produire une suite plausible à ce qu'on lui écrit. Voir la définition lit et écrit, et avec laquelle on mesure la longueur des textes.
Une Intelligence artificielle (IA)Des programmes capables de réaliser des tâches qui demandaient jusqu'ici l'intelligence humaine : classer, prévoir, reconnaître une image, comprendre ou produire un texte. Voir la définition ne lit pas les mots comme nous : elle découpe le texte en petits morceaux appelés tokens (ou jetons). Un mot peut correspondre à un seul token ou à plusieurs : le découpage dépend du modèle, il n'y a pas d'équivalence fixe.
Vous croiserez ce mot surtout pour deux raisons : les limites de longueur (la quantité de texte qu'un outil peut prendre en compte à la fois se compte en tokens) et les tarifs de certains services, notamment les API (l'accès direct aux modèles pour les développeurs), souvent calculés au nombre de tokens. Ce n'est pas le cas de toutes les offres professionnelles. Ces capacités varient selon les outils et les offres.
Exemple concret
Un mot courant peut compter pour un seul token, un mot long ou rare pour plusieurs. Un long document occupe donc bien plus de place qu'une courte question.
Mots liés
Pour faire vos premiers essais, suivez le parcours Pas à pas.