Paper #16 · Razonamiento

DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

DeepSeek-R1: incentivar la capacidad de razonamiento en LLMs mediante aprendizaje por refuerzo

Autores:: DeepSeek-AI
Institución:: DeepSeek
Año:: 2025 · arXiv:2501.12948

En pocas palabras

Aplicando aprendizaje por refuerzo puro a DeepSeek-V3, recompensando solo que la respuesta final sea correcta y verificable, el modelo aprende por sí mismo a razonar largo, verificar y corregirse. El resultado, DeepSeek-R1, compite con los mejores modelos de razonamiento y se publicó con pesos abiertos.

Por qué importa hoy: Imprescindible de la era del razonamiento: aprendizaje por refuerzo con recompensas verificables produce razonamiento sin depender solo de ejemplos humanos.

El problema

Los modelos de razonamiento dependían de grandes cantidades de cadenas de pensamiento escritas o curadas por personas, caras de producir y limitadas por la forma de pensar humana. OpenAI había mostrado con o1 que era posible, pero no cómo.

Ideas clave

R1-Zero: refuerzo sin ejemplos
Se parte del modelo base y se aplica RL directamente, sin ajuste supervisado previo. La recompensa es simple y verificable: ¿la respuesta matemática es correcta?, ¿el código pasa las pruebas?, ¿se respetó el formato?
GRPO
Un algoritmo de refuerzo que, en lugar de un modelo crítico, compara varias respuestas al mismo prompt entre sí y usa su puntaje relativo como ventaja. Ahorra memoria y cómputo frente a PPO.
Comportamientos emergentes
Durante el entrenamiento las respuestas se alargan solas y aparecen la autoverificación, la reflexión («espera, revisemos esto») y el cambio de estrategia, sin que nadie los enseñe.
De R1-Zero a R1
R1-Zero razonaba bien pero mezclaba idiomas y era poco legible. R1 añade un pequeño arranque supervisado, varias rondas de RL y ajuste, y alineación general para ser un asistente utilizable.
Destilación
Las trazas de razonamiento de R1 se usan para ajustar modelos pequeños (Qwen y Llama de 1.5 a 70 mil millones de parámetros), que heredan buena parte de la capacidad.

Resultados

Rendimiento comparable a OpenAI o1 en matemáticas (AIME, MATH-500), programación competitiva y ciencias.
Los modelos destilados pequeños superan a modelos abiertos mucho más grandes en razonamiento.
Pesos abiertos bajo licencia MIT; versión revisada por pares publicada en Nature en 2025.

Legado

Abrió la receta del razonamiento con refuerzo y recompensas verificables, que desde entonces replican laboratorios y proyectos abiertos. Consolidó GRPO y la destilación de razonamiento como herramientas estándar.

Conceptos para leerlo

Explicación original en español elaborada por AI Atlas; no es una traducción del paper. El texto completo pertenece a sus autores.