CONCEPT
token
L'unité de base du traitement et du coût en IA générative — un court fragment de texte, image ou son qu'un modèle lit ou produit, environ une syllabe. Tarification, limites de contexte et dépenses se comptent en tokens : le token devient une unité économique émergente, et quand son coût baisse, ce qui vaut d'être généré change.
Origine
Issu du traitement du langage naturel, où le texte est découpé en tokens ; devenu unité économique et de tarification avec l'essor des grands modèles commerciaux.
- attribut
- Nouvelle unité de mesure des dépenses technologiques
- définition
- Unité économique de l'IA générative — chiffre entre 0 et ~65000 représentant quelques lettres, pixels ou son. 1 token ≈ une syllabe. 100 tokens ≈ une ligne de code