Deep Learning

Sesgo como parámetro de una neurona

Un parámetro que se suma a la salida de una neurona y le permite desplazar su respuesta, independientemente de la entrada.

Aprendizaje profundo

Un tipo de machine learning que usa redes neuronales con muchas capas para aprender representaciones cada vez más abstractas de los datos.

Capa oculta

Cualquier capa entre la entrada y la salida, donde la red construye sus representaciones internas.

Capa de entrada

La primera capa de una red neuronal, que recibe los datos en forma numérica.

Capa

Un grupo de neuronas que procesa la información al mismo nivel dentro de una red neuronal.

La unidad básica de una red neuronal: combina varias entradas con pesos, suma un bias y aplica una función de activación.

Capa de salida

La última capa de una red neuronal, que produce la predicción final.

Aprendizaje autosupervisado

Aprender de datos sin etiquetas creando la tarea a partir de los propios datos, por ejemplo, adivinar la siguiente palabra.

Función de activación

Una función no lineal que se aplica a la salida de cada neurona y permite a la red aprender relaciones complejas.

Mecanismo de atención

Un mecanismo que permite a un modelo decidir qué partes de la entrada son más relevantes para procesar cada elemento.

Convolutional Neural Network

Un tipo de red neuronal diseñado para imágenes que aprende a detectar patrones locales —bordes, texturas, formas— usando filtros que recorren la imagen.

Un vector que indica, para cada parámetro, en qué dirección y con qué intensidad cambia una función; apunta hacia donde la función crece más rápido.

Espacio latente

El espacio de representaciones internas y comprimidas que un modelo aprende para describir sus datos.

Red neuronal

Un modelo formado por capas de unidades simples conectadas entre sí, que aprende ajustando la fuerza de esas conexiones.

Preentrenamiento

La primera y más costosa fase de entrenamiento de un modelo fundacional, en la que aprende de enormes cantidades de datos sin etiquetar.

Regularización

Técnicas que limitan la complejidad de un modelo para evitar que memorice los datos y mejorar su generalización.

Una función que convierte una lista de números cualesquiera en probabilidades positivas que suman 1.

Un arreglo de números con cualquier cantidad de dimensiones; generaliza escalares, vectores y matrices.

Una arquitectura de red neuronal que procesa secuencias usando mecanismos de atención para relacionar cada elemento con todos los demás.

Retropropagación

El algoritmo que calcula cuánto contribuyó cada parámetro de una red al error, propagando ese error desde la salida hacia atrás.

Modelo denso

Un modelo en el que todos los parámetros participan en el procesamiento de cada entrada.

Feedforward Network

Una red neuronal en la que la información fluye en una sola dirección; en un Transformer, procesa cada token por separado después de la atención.

Generative Adversarial Network

Un modelo generativo formado por dos redes que compiten: una genera datos falsos y otra intenta distinguirlos de los reales.

Descenso de gradiente

Un algoritmo de optimización que ajusta los parámetros de un modelo dando pequeños pasos en la dirección que más reduce el error.

Destilación de conocimiento

Entrenar un modelo pequeño (alumno) para imitar el comportamiento de un modelo grande (maestro), conservando buena parte de su calidad.

Normalización de capa

Una técnica que reescala los valores dentro de cada capa para mantenerlos en un rango estable y hacer el entrenamiento más confiable.

Mixture of Experts

Una arquitectura que divide parte del modelo en varios «expertos» y activa solo algunos para cada token, logrando mucha capacidad con menor costo por consulta.

Poda

Eliminar pesos, neuronas o capas poco importantes de un modelo para hacerlo más pequeño y rápido.

Conexión residual

Un atajo que suma la entrada de una capa a su salida, facilitando el entrenamiento de redes muy profundas.

Modelo disperso

Un modelo en el que solo una parte de sus parámetros se usa (o es distinta de cero) para procesar cada entrada.