Self-Supervised Learning
Aprendizaje autosupervisado
En una frase
Self-Supervised Learning: aprender de datos sin etiquetas creando la tarea a partir de los propios datos, por ejemplo, adivinar la siguiente palabra.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es el truco que hizo posibles a los LLMs. En lugar de pagar a personas para etiquetar, se toma un texto, se oculta una parte y se le pide al modelo que la adivine. La respuesta correcta ya está en el texto.
Con miles de millones de frases, el modelo aprende gramática, hechos y hasta razonamiento, sin que nadie etiquete nada.
Nivel técnico
Profundizando
Las etiquetas se derivan automáticamente de la estructura de los datos. Ejemplos: predicción del siguiente token (GPT), enmascaramiento de palabras (BERT), aprendizaje contrastivo de imágenes y texto (CLIP) o reconstrucción de parches de imágenes. Técnicamente se optimiza como aprendizaje supervisado, pero sin anotación humana, lo que permite escalar a datasets gigantes.
¿Por qué importa?
Es la base del preentrenamiento de los modelos fundacionales.
¿Dónde se utiliza?
- Preentrenamiento de LLMs
- Modelos de visión
- Modelos de audio
- Embeddings