Let's Verify Step by Step

Los modelos cometen errores lógicos a mitad de un razonamiento. Un verificador entrenado solo con el resultado final no sabe dónde está el error y puede premiar soluciones que aciertan por casualidad con pasos incorrectos.

1. 01

   Resultado contra proceso

   Un Outcome Reward Model aprende de si la respuesta final es correcta. Un Process Reward Model (PRM) aprende de etiquetas humanas en cada paso: positivo, negativo o neutral.

2. 02

   Buscar con el verificador

   El generador produce muchas soluciones y el PRM elige la mejor, puntuando la solución como la probabilidad de que todos sus pasos sean correctos.

3. 03

   Aprendizaje activo

   En lugar de etiquetar soluciones al azar, se priorizan las que engañan al verificador actual: respuestas convincentes pero incorrectas. Eso hace la anotación mucho más eficiente.

4. 04

   Alineación como beneficio

   Supervisar el proceso recompensa razonamientos que las personas pueden seguir y aprobar, no solo resultados. Los autores lo presentan como una rara ventaja de alineación sin costo de rendimiento.

• El modelo con supervisión de proceso resuelve 78 % de un subconjunto representativo del benchmark MATH.
• La ventaja sobre la supervisión de resultado crece conforme se consideran más soluciones candidatas.
• Publicación de PRM800K: 800 000 etiquetas humanas a nivel de paso.

Los Process Reward Models y la verificación por pasos se volvieron pieza central de la investigación sobre razonamiento y de las estrategias de cómputo en inferencia, como la que estudia Snell et al.

• Reward Model
• Chain-of-Thought
• Reasoning Model
• Human Evaluation
• Test-Time Compute