Distribución de probabilidad
En una frase
Distribución de probabilidad: una descripción de todos los resultados posibles de algo incierto y de qué tan probable es cada uno.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Cuando lanzas un dado, cada número del 1 al 6 tiene probabilidad 1/6: esa es su distribución. Cuando un LLM va a escribir la siguiente palabra, calcula una distribución sobre todo su vocabulario: «París» 91%, «una» 3%, etc. Generar texto es elegir de esa distribución.
Nivel técnico
Profundizando
Puede ser discreta (sobre un conjunto finito, como el vocabulario) o continua (como la distribución normal o gaussiana, usada en el ruido de los modelos de difusión). Los modelos generativos aprenden a aproximar la distribución de los datos. Medidas para comparar distribuciones: entropía cruzada y divergencia KL.
¿Por qué importa?
Los modelos generativos son, en el fondo, aproximaciones de distribuciones de probabilidad.
¿Dónde se utiliza?
- Sampling
- Modelos generativos
- Detección de anomalías
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.