Tokenizer
Tokenizador
En una frase
Tokenizer: el componente que convierte texto en tokens (y tokens de vuelta en texto) usando un vocabulario fijo.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es el traductor entre el texto humano y los números que entiende el modelo. Cada modelo tiene su propio tokenizer; por eso el mismo texto puede costar distinto número de tokens en modelos diferentes.
Nivel técnico
Profundizando
Un tokenizer incluye el vocabulario, las reglas de fusión (en BPE), la normalización previa (espacios, Unicode) y tokens especiales que marcan inicio y fin de secuencia o los roles de un chat (sistema, usuario, asistente). Se entrena antes que el modelo y queda fijo: cambiarlo exige reentrenar o adaptar la capa de embeddings.
¿Por qué importa?
Usar el tokenizer correcto es indispensable para contar tokens, estimar costos y formatear conversaciones.
¿Dónde se utiliza?
- Contar tokens
- Formatear conversaciones
- Preprocesar datasets
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.