Parámetros
En una frase
Parámetros: los números internos de un modelo que se ajustan durante el entrenamiento y determinan su comportamiento.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Imagina una mesa de mezclas de audio con millones de perillas. Cada perilla es un parámetro. Entrenar consiste en girar todas esas perillas hasta que el sonido —las respuestas del modelo— sea el correcto.
Cuando se dice que un modelo tiene «70B», significa 70 mil millones de parámetros.
Nivel técnico
Profundizando
Los parámetros θ incluyen los pesos y los biases de cada capa. Son distintos de los hiperparámetros (como la Learning Rate o el tamaño de Batch), que se eligen antes de entrenar y no se aprenden.
El número de parámetros influye en la capacidad del modelo y en el costo: cada parámetro ocupa memoria (2 bytes en FP16/BF16, 0.5 bytes con cuantización a 4 bits). Un modelo de 70B en BF16 necesita unos 140 GB solo para los pesos. Más parámetros no garantiza mejor calidad: también importan los datos y el cómputo (Scaling Laws).
¿Por qué importa?
Ayuda a estimar cuánta memoria, hardware y dinero hace falta para usar un modelo.
¿Dónde se utiliza?
- Comparar tamaños de modelos
- Estimar requisitos de VRAM
- Planear costos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.