LoRA
Adaptación de bajo rango
En una frase
LoRA: una técnica de fine-tuning que congela los pesos originales y entrena pequeñas matrices adicionales de bajo rango que modifican su comportamiento.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
En vez de reescribir un libro entero para corregirlo, pegas notas adhesivas en algunas páginas. LoRA hace eso: deja el modelo intacto y añade «notas» pequeñas que ajustan su comportamiento. Esas notas ocupan una fracción mínima del tamaño del modelo.
Nivel técnico
Profundizando
Hu et al. (2021) observaron que la actualización de pesos durante el fine-tuning tiene bajo «rango intrínseco». LoRA representa el cambio ΔW como el producto de dos matrices delgadas: W′ = W + BA, con B ∈ ℝᵈˣʳ, A ∈ ℝʳˣᵏ y r ≪ min(d, k). Solo A y B se entrenan. Tras el entrenamiento, BA puede fusionarse con W sin costo extra en inferencia, o mantenerse separado para intercambiar adaptadores.
Ver explicación matemática
Qué significa cada símbolo
- W
- Matriz de pesos original (congelada)
- B, A
- Matrices pequeñas entrenables
- r
- Rango: típicamente entre 4 y 64
- α
- Factor de escala del ajuste
¿Por qué importa?
Es la técnica de fine-tuning más usada en la práctica por su equilibrio entre calidad, costo y simplicidad.
¿Dónde se utiliza?
- Especializar LLMs abiertos
- Estilos en modelos de imagen
- Varios adaptadores por cliente