Chunking
Fragmentación de documentos
En una frase
Chunking: dividir documentos largos en fragmentos más pequeños (chunks) para indexarlos y recuperarlos en un sistema RAG.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
No tiene sentido recuperar un manual de 300 páginas para responder una pregunta concreta. Por eso los documentos se cortan en fragmentos —de unos cuantos párrafos— y se busca el fragmento exacto que responde.
Si los fragmentos son demasiado pequeños, pierden contexto; si son demasiado grandes, mezclan temas y diluyen la búsqueda.
Ejemplo
manual.pdf (120 páginas)
├─ chunk 1: «1. Introducción…» ~400 tokens
├─ chunk 2: «2. Instalación…» ~400 tokens
├─ chunk 3: «2.1 Requisitos…» ~400 tokens
└─ … (con ~50 tokens de solapamiento)Nivel técnico
Profundizando
Estrategias: tamaño fijo en tokens con solapamiento (overlap) para no cortar ideas; división recursiva por separadores (secciones, párrafos, oraciones); división por estructura (encabezados Markdown, funciones de código); y chunking semántico, que corta donde cambia el tema según embeddings. Es útil guardar metadatos (título, sección, página) y a veces añadir a cada chunk un resumen del documento para conservar contexto. El tamaño óptimo depende del modelo de embeddings y del tipo de preguntas, y conviene ajustarlo con evaluaciones.
¿Por qué importa?
Es una de las decisiones que más impactan la calidad de un sistema RAG, y una de las más subestimadas.
¿Dónde se utiliza?
- Indexación para RAG
- Procesamiento de PDFs
- Búsqueda en código
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Retrieval-Augmented GenerationUna técnica que conecta un LLM con fuentes de información externas: primero busca documentos relevantes y luego genera la respuesta basándose en ellos.
- TokenLa unidad básica de texto que procesa un modelo de lenguaje: puede ser una palabra, parte de una palabra o un signo.
Continúa aprendiendo
Conceptos relacionados
Aparece en la ruta Aprende RAG.