Query, Key y Value (QKV)
En una frase
QKV: los tres vectores que cada token genera en el mecanismo de atención: lo que busca (query), cómo se le encuentra (key) y lo que aporta (value).
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Piensa en una biblioteca. Tu query es lo que buscas («libros sobre volcanes»). Cada libro tiene una key, como su ficha del catálogo. Comparas tu búsqueda con todas las fichas y, según qué tan bien coinciden, tomas más o menos del value: el contenido del libro.
En attention, cada token hace de lector y de libro al mismo tiempo.
Nivel técnico
Profundizando
Dado el vector de un token x, se calculan q = xW_Q, k = xW_K y v = xW_V con matrices de pesos aprendidas. La similitud q·k determina el peso de atención, y la salida es Σ pesos × v. Separar keys de values permite que la información con la que un token es «encontrado» sea distinta de la información que «entrega». Durante la generación, las keys y values de tokens anteriores se guardan en el KV Cache.
¿Por qué importa?
Entender QKV es entender cómo decide el modelo qué información combinar.
¿Dónde se utiliza?
- Attention en Transformers
- Diseño de optimizaciones de inferencia