Top-P
Nucleus sampling
En una frase
Top-P: una técnica de muestreo que elige el siguiente token solo entre las opciones más probables cuya probabilidad acumulada alcanza un umbral p.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Con top-p = 0.9, el modelo ordena los posibles siguientes tokens de más a menos probable y se queda con los primeros hasta sumar 90% de probabilidad. Luego elige uno de ese grupo. Así evita opciones muy raras sin volverse completamente predecible.
Nivel técnico
Profundizando
Propuesto como nucleus sampling por Holtzman et al. (2019). A diferencia de top-k (que conserva siempre k tokens), top-p adapta el tamaño del conjunto: si el modelo está seguro, el núcleo es pequeño; si hay incertidumbre, se amplía. Tras truncar, las probabilidades se renormalizan. Suele recomendarse ajustar temperatura o top-p, no ambos a la vez de forma agresiva.
¿Por qué importa?
Reduce el texto incoherente que aparece al muestrear tokens muy improbables.
¿Dónde se utiliza?
- Generación de texto
- Chatbots
- Escritura creativa
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.