Token

Los modelos no leen letras ni palabras completas: leen tokens. Una palabra común como «casa» puede ser un solo token, mientras que una palabra larga o rara como «desoxirribonucleico» se divide en varios pedazos.

Como regla aproximada, en inglés un token equivale a unos ¾ de palabra; en español suele hacer falta algo más de tokens para el mismo texto. Los precios de las APIs y los límites de contexto se miden en tokens.

Los tokens se definen mediante un Tokenizer con un vocabulario fijo (típicamente decenas de miles a unos cientos de miles de entradas), construido con algoritmos de subpalabras como BPE. Cada token se asigna a un ID entero, que el modelo convierte en un embedding. En modelos multimodales, imágenes y audio también se convierten en tokens (por ejemplo, parches de imagen).

Todo en un LLM se mide en tokens: el costo, la velocidad y cuánta información cabe en la ventana de contexto.