Producto punto
En una frase
Producto punto: una operación entre dos vectores que multiplica sus componentes una a una y suma los resultados; mide qué tanto «apuntan en la misma dirección».
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Tomas dos listas de números, multiplicas el primero con el primero, el segundo con el segundo, y así sucesivamente, y sumas todo. El resultado es grande si los vectores se parecen y pequeño (o negativo) si son distintos.
Es la operación detrás de Attention, de las neuronas artificiales y de la búsqueda por similitud.
Ejemplo
a = [1, 2, 3]
b = [4, 5, 6]
a · b = 1×4 + 2×5 + 3×6 = 32Nivel técnico
Profundizando
a · b = Σᵢ aᵢbᵢ = ‖a‖‖b‖cos θ, donde θ es el ángulo entre los vectores. Si están normalizados (longitud 1), el producto punto es igual a la similitud coseno. En attention, QKᵀ calcula el producto punto entre todas las queries y keys a la vez.
Ver explicación matemática
Qué significa cada símbolo
- aᵢ, bᵢ
- Componentes i de cada vector
- ‖a‖
- Longitud del vector a
- θ
- Ángulo entre los dos vectores
¿Por qué importa?
Es probablemente la operación más repetida en toda la IA moderna.
¿Dónde se utiliza?
- Attention
- Neuronas artificiales
- Búsqueda vectorial
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.