Encoder
Codificador
En una frase
Encoder: la parte de un modelo que convierte una entrada en una representación interna rica en contexto.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Un encoder lee toda la entrada —mirando hacia adelante y hacia atrás— y la resume en vectores que capturan su significado. No genera texto; lo comprende. Es ideal para clasificar, buscar o crear Embeddings.
Nivel técnico
Profundizando
En un Transformer encoder, la self-attention es bidireccional (sin máscara causal). BERT (Devlin et al., 2018) es el ejemplo clásico, preentrenado con enmascaramiento de palabras. Muchos modelos de embeddings y rerankers actuales son encoders.
¿Por qué importa?
Los encoders siguen siendo la opción eficiente para búsqueda, clasificación y embeddings.
¿Dónde se utiliza?
- Embeddings
- Clasificación de texto
- Reranking
- Reconocimiento de entidades
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.