Définition. Un token est l'unité de base que manipule un modèle de langage : un morceau de mot, un mot court ou un signe. Les textes sont découpés en tokens, et la facturation comme la taille de contexte se mesurent en tokens.
En français, un mot vaut souvent un à trois tokens. Comprendre cette notion aide à estimer les coûts et à respecter les limites de contexte d'un modèle.
Plus un échange est long, plus il consomme de tokens. C'est l'une des raisons pour lesquelles on optimise les prompts et on filtre les documents fournis au modèle.
Comment l'appliquer chez vous ?
Un audit IA identifie les cas d'usage où cette technologie crée de la valeur dans votre organisation.