Transformers

Mecanismo de atención

Un mecanismo que permite a un modelo decidir qué partes de la entrada son más relevantes para procesar cada elemento.

Decodificador

La parte de un modelo que genera una secuencia de salida, un elemento a la vez, a partir de lo anterior.

Espacio de embeddings

El espacio de muchas dimensiones donde viven los embeddings y donde la distancia entre puntos refleja similitud de significado.

Representaciones vectoriales

Una forma de convertir información como palabras, imágenes o documentos en listas de números que una computadora puede comparar matemáticamente.

Codificador

La parte de un modelo que convierte una entrada en una representación interna rica en contexto.

Codificador-decodificador

Una arquitectura en la que un encoder comprende la entrada y un decoder genera la salida a partir de esa comprensión.

Autoatención

Una forma de atención en la que cada elemento de una secuencia se relaciona con los demás elementos de la misma secuencia.

Una arquitectura de red neuronal que procesa secuencias usando mecanismos de atención para relacionar cada elemento con todos los demás.

Feedforward Network

Una red neuronal en la que la información fluye en una sola dirección; en un Transformer, procesa cada token por separado después de la atención.

Caché de keys y values

Una memoria que guarda las keys y values ya calculadas de los tokens anteriores para no recalcularlas en cada paso de generación.

Normalización de capa

Una técnica que reescala los valores dentro de cada capa para mantenerlos en un rango estable y hacer el entrenamiento más confiable.

Mixture of Experts

Una arquitectura que divide parte del modelo en varios «expertos» y activa solo algunos para cada token, logrando mucha capacidad con menor costo por consulta.

Atención multicabeza

Ejecutar varios mecanismos de atención en paralelo para que el modelo capture distintos tipos de relaciones a la vez.

Codificación posicional

Información que se añade a cada token para que el modelo sepa en qué posición de la secuencia se encuentra.

Query, Key y Value

Los tres vectores que cada token genera en el mecanismo de atención: lo que busca (query), cómo se le encuentra (key) y lo que aporta (value).

Conexión residual

Un atajo que suma la entrada de una capa a su salida, facilitando el entrenamiento de redes muy profundas.

Vision Transformer

Una adaptación del Transformer a imágenes que divide la imagen en parches y los trata como si fueran tokens.