Embeddings

Imagina un enorme mapa donde los conceptos parecidos aparecen cerca unos de otros. «Perro» estaría más cerca de «gato» que de «avión».

Un embedding es la coordenada de cada concepto dentro de ese mapa. La diferencia es que este mapa no tiene 2 dimensiones, sino cientos o miles. Gracias a eso, una computadora puede medir qué tan parecidos son dos textos aunque no compartan ni una palabra.

Un embedding es una representación vectorial densa x ∈ ℝᵈ, donde d suele estar entre unos cientos y algunos miles. Se aprende de forma que conceptos semánticamente similares tiendan a quedar cerca bajo métricas como la similitud coseno o el producto punto.

Hay dos usos distintos. Dentro de un LLM, la capa de embedding convierte cada ID de Token en un vector que el Transformer procesa. Para búsqueda, un modelo de embeddings (típicamente un Encoder) produce un vector por fragmento de texto completo, entrenado con aprendizaje contrastivo para que textos relacionados queden cerca. Word2Vec (Mikolov et al., 2013) popularizó la idea con el famoso ejemplo rey − hombre + mujer ≈ reina.

Son la forma en que las máquinas representan significado. Sin embeddings no existirían la búsqueda semántica, los sistemas RAG ni los recomendadores modernos.