Tokenization
Tokenización
En una frase
Tokenization: el proceso de dividir un texto en tokens para que un modelo pueda procesarlo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Antes de que un modelo pueda leer algo, el texto se corta en pedazos (tokens) y cada pedazo se reemplaza por un número. Es como convertir una frase en una secuencia de códigos de un diccionario.
Las palabras frecuentes suelen ser un solo token; las raras se dividen en partes más pequeñas que sí están en el diccionario.
Nivel técnico
Profundizando
El método más usado es Byte Pair Encoding (BPE): empieza con bytes o caracteres y fusiona repetidamente los pares más frecuentes del corpus hasta alcanzar el tamaño de vocabulario deseado. Alternativas: WordPiece (BERT) y Unigram (SentencePiece). Trabajar a nivel de bytes garantiza que cualquier texto sea representable.
La tokenización influye en el rendimiento multilingüe: idiomas poco representados en el corpus del tokenizer necesitan más tokens por palabra, lo que los hace más caros y consume más contexto.
¿Por qué importa?
Afecta el costo, la eficiencia y hasta la calidad del modelo en distintos idiomas.
¿Dónde se utiliza?
- Preprocesamiento de texto
- Diseño de vocabularios
- Estimación de costos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta Qué es realmente un LLM.