Context Window

Es la memoria de trabajo del modelo. Todo lo que el modelo «tiene presente» en un momento dado —instrucciones, conversación, documentos que le pegaste y la respuesta que está escribiendo— debe caber en esta ventana.

Si la conversación la excede, algo tiene que quedar fuera: el sistema recorta o resume el historial, y el modelo simplemente deja de ver esa información.

La ventana se mide en tokens; los modelos comerciales actuales van desde decenas de miles hasta un millón de tokens o más. El costo de la Self-Attention estándar crece de forma cuadrática con la longitud, y la memoria del KV Cache crece linealmente, por lo que contextos largos son caros.

Que un modelo acepte un contexto largo no garantiza que use bien toda la información: estudios como «Lost in the Middle» mostraron que la información en medio de contextos largos puede aprovecharse peor. Técnicas de codificación posicional como RoPE y sus extensiones permiten ampliar la ventana.

Determina cuánta información puede considerar un modelo durante una interacción: cuántos documentos analizar, qué tan larga puede ser una conversación y cuánto contexto necesita un agente.