Chain-of-Thought (CoT)

Si le pides a alguien que resuelva mentalmente 23 × 47, es fácil equivocarse. Si le dejas escribir los pasos, acierta más. Con los LLMs pasa algo parecido: pedirles que «piensen paso a paso» mejora su desempeño en problemas de lógica, matemáticas y planificación.

Wei et al. (2022) mostraron que incluir ejemplos con razonamiento explícito mejora el rendimiento en tareas de varios pasos, sobre todo en modelos grandes. Una razón plausible es que cada token generado añade cómputo: escribir pasos intermedios da al modelo más «espacio» para calcular. Variantes: self-consistency (muestrear varios razonamientos y votar) y árboles de pensamiento. Los modelos de razonamiento internalizan este comportamiento mediante entrenamiento.

Una pregunta abierta de investigación es la fidelidad: el razonamiento escrito no siempre refleja fielmente el proceso que realmente llevó a la respuesta.

Fue una de las primeras evidencias de que dar más cómputo al momento de responder mejora el razonamiento, idea central del Test-Time Compute.