Paper #17 · RAG y agentes
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
Generación aumentada por recuperación para tareas de PLN intensivas en conocimiento
- Autores:
- Lewis, Perez, Piktus, Petroni, Karpukhin, Goyal y otros 6 autores
- Institución:
- Facebook AI Research · University College London · NYU
- Año:
- 2020 · arXiv:2005.11401
En pocas palabras
RAG combina un generador de texto con un buscador: antes de responder, el sistema recupera pasajes relevantes de Wikipedia y genera la respuesta condicionada a ellos. Así responde con más precisión, puede citar su fuente y actualizar su conocimiento sin reentrenar.
Por qué importa hoy: Origen conceptual del RAG moderno: separar el conocimiento guardado en los parámetros del conocimiento externo recuperable.
El problema
Los modelos preentrenados guardan conocimiento en sus pesos, pero no pueden consultarlo con precisión, inventan hechos, no dicen de dónde sale lo que afirman y quedan desactualizados. Reentrenar para cada cambio no es viable.
Ideas clave
Dos memorias
La memoria paramétrica es lo que el modelo aprendió en sus pesos. La memoria no paramétrica es un índice externo (21 millones de pasajes de Wikipedia) que se puede leer, auditar y reemplazar.
Recuperador denso
Un codificador (DPR) convierte la pregunta y los pasajes en vectores; se recuperan los más cercanos con búsqueda de vecinos aproximados. El codificador de preguntas se ajusta junto con el generador.
RAG-Sequence y RAG-Token
En la primera variante toda la respuesta se basa en los mismos documentos; en la segunda, cada token puede apoyarse en un documento distinto, lo que permite combinar información de varias fuentes.
Conocimiento intercambiable
Cambiar el índice de Wikipedia por uno más reciente actualiza lo que el modelo «sabe», sin tocar sus pesos.
Resultados
- Estado del arte en tres benchmarks de preguntas de dominio abierto (Natural Questions, WebQuestions, CuratedTrec).
- Respuestas más específicas, diversas y factuales que un modelo solo paramétrico del mismo tipo (BART).
Legado
El término y la idea se convirtieron en la arquitectura base de los productos empresariales con IA: buscadores conversacionales, asistentes sobre documentos internos y chatbots de soporte. Hoy suele implementarse con un LLM, una base de datos vectorial y búsqueda híbrida.
Conceptos para leerlo
Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.