Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Escalar los modelos mejoraba casi todo, pero no las tareas de varios pasos, como los problemas matemáticos con enunciado. Pedir la respuesta directa obligaba al modelo a «saltar» a la conclusión sin espacio para calcular.

1. 01

   Mostrar el razonamiento

   En lugar de ejemplos pregunta → respuesta, el prompt incluye pregunta → pasos intermedios → respuesta. Bastan unos ocho ejemplos escritos a mano.

2. 02

   Cómputo proporcional al problema

   Generar pasos intermedios le da al modelo más tokens (y por lo tanto más cómputo) para los problemas que lo necesitan, y descompone un problema difícil en varios fáciles.

3. 03

   Una capacidad emergente

   En modelos pequeños la cadena de pensamiento no ayuda o incluso empeora los resultados. La ganancia aparece a partir de unos 100 mil millones de parámetros.

4. 04

   Interpretable

   Los pasos permiten ver cómo llegó el modelo a su respuesta y en qué se equivocó, aunque no garantizan que ese texto refleje fielmente su cálculo interno.

• PaLM 540B con ocho ejemplos de cadena de pensamiento logró el estado del arte en GSM8K, superando a GPT-3 ajustado con un verificador.
• Mejoras en aritmética, sentido común (StrategyQA) y tareas simbólicas, incluida la generalización a problemas más largos que los ejemplos.

Dio origen a «pensemos paso a paso», a la autoconsistencia, a Tree of Thoughts y, sobre todo, a los modelos de razonamiento como o1 y DeepSeek-R1, que se entrenan para producir cadenas de pensamiento largas por sí solos.

• Chain-of-Thought
• Few-Shot Learning
• Prompt Engineering
• Reasoning Model
• Emergent Capabilities