Saltar al contenido

CONCEPT

token

La unidad básica de procesamiento y coste en IA generativa — un breve fragmento de texto, imagen o sonido que un modelo lee o produce, aproximadamente una sílaba. Los precios, los límites de contexto y el gasto se cuentan en tokens: el token se convierte en una unidad económica emergente, y cuando su coste baja, cambia lo que vale la pena generar.

Origen

Surgido del procesamiento del lenguaje natural, donde el texto se divide en tokens; convertido en unidad económica y de tarificación con el auge de los grandes modelos comerciales.

atributo
Nueva unidad de medida del gasto tecnológico
definición
Unidad económica de la IA generativa — número entre 0 y ~65000 que representa algunas letras, píxeles o sonido. 1 token ≈ una sílaba. 100 tokens ≈ una línea de código

Fiches (2)