Paper #18 · RAG y agentes
ReAct: Synergizing Reasoning and Acting in Language Models
ReAct: sinergia entre razonar y actuar en modelos de lenguaje
- Autores:
- Yao, Zhao, Yu, Du, Shafran, Narasimhan y Cao
- Institución:
- Princeton University · Google Research
- Año:
- 2022 · arXiv:2210.03629
En pocas palabras
ReAct hace que el modelo alterne pensamientos en lenguaje natural con acciones concretas (buscar en Wikipedia, hacer clic, comprar) y observaciones del resultado. Razonar ayuda a planear las acciones y actuar trae información real que corrige el razonamiento.
Por qué importa hoy: Probablemente el paper más importante para entender agentes: razonar → actuar → observar → razonar. Es prácticamente el loop de los agentes modernos.
El problema
La cadena de pensamiento razona, pero solo con lo que el modelo ya sabe, así que alucina y arrastra errores. Los modelos que generan acciones interactúan con el mundo, pero sin razonar sobre sus objetivos ni sobre lo que observan. Se estudiaban por separado.
Ideas clave
Pensar, actuar, observar
El modelo produce una traza intercalada: Pensamiento (qué necesito y por qué), Acción (una llamada a una herramienta) y Observación (lo que devuelve el entorno). El ciclo se repite hasta terminar.
El pensamiento guía la acción
Los pensamientos sirven para descomponer la meta, seguir el avance, extraer datos de lo observado y manejar excepciones cuando algo no sale como se esperaba.
La acción ancla el pensamiento
Consultar una fuente externa reemplaza la memoria del modelo por información verificable, lo que reduce alucinaciones y la propagación de errores.
Solo con prompts
Basta con uno o dos ejemplos de trayectorias en el prompt; no se necesita entrenamiento. Además, las trazas son legibles, así que una persona puede inspeccionarlas y corregirlas.
Resultados
- En HotpotQA y FEVER, con una simple API de Wikipedia, supera los problemas de alucinación de la cadena de pensamiento pura; combinado con ella, logra los mejores resultados.
- En ALFWorld y WebShop supera a métodos de imitación y de aprendizaje por refuerzo por 34 y 10 puntos absolutos de tasa de éxito.
Legado
El patrón ReAct es la base de LangChain, de los frameworks de agentes y del uso de herramientas (tool calling) en los asistentes actuales. Cuando un agente «piensa», llama a una herramienta y lee el resultado, está ejecutando este loop.
Conceptos para leerlo
Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.