Emergent Capabilities
Capacidades emergentes
En una frase
Emergent Capabilities: capacidades que parecen aparecer de forma relativamente abrupta en modelos grandes y que no se observan en versiones más pequeñas.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Con modelos pequeños, cierta habilidad —como resolver aritmética de varios pasos— no aparece. Al aumentar la escala, de pronto el modelo la domina. Nadie la programó explícitamente: «emergió» del entrenamiento a gran escala.
Sin embargo, existe un debate: parte de esa aparente brusquedad podría deberse a cómo se mide.
Nivel técnico
Profundizando
Wei et al. (2022) documentaron capacidades con rendimiento cercano al azar por debajo de cierta escala y muy superior por encima. Schaeffer et al. (2023) argumentaron que muchas de estas discontinuidades desaparecen con métricas continuas (por ejemplo, probabilidad de la respuesta en lugar de acierto exacto), lo que sugiere mejoras graduales que parecen abruptas bajo métricas de todo o nada. El tema importa para predecir capacidades futuras y para la seguridad.
¿Por qué importa?
Afecta cuánto podemos anticipar lo que harán los próximos modelos antes de entrenarlos.
¿Dónde se utiliza?
- Predicción de capacidades
- Evaluaciones de seguridad
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
- Scaling LawsRelaciones empíricas que describen cómo mejora el rendimiento de un modelo al aumentar sus parámetros, sus datos y su cómputo.
- Large Language ModelUn modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra, lo que le permite conversar, escribir, resumir y razonar.