In-Context Learning (ICL)
Aprendizaje en contexto
En una frase
ICL: la capacidad de un LLM de aprender una tarea a partir de instrucciones o ejemplos incluidos en el prompt, sin cambiar sus pesos.
¿Demasiado técnico? Ver explicación sencilla¿Quieres profundizar? Ver explicación técnica
Explícamelo fácil
Es un «aprendizaje» temporal: durante la conversación el modelo se adapta a lo que le muestras, pero al terminar no conserva nada. Como un actor que lee el guion justo antes de entrar a escena.
Nivel técnico
Profundizando
ICL emerge del preentrenamiento a gran escala. Investigaciones sugieren que mecanismos internos como las induction heads (identificadas en trabajos de interpretabilidad mecanicista) contribuyen a esta capacidad de copiar y completar patrones. A diferencia del Fine-Tuning, su efecto se limita a la ventana de contexto actual.
¿Por qué importa?
Explica por qué los prompts, ejemplos y documentos en el contexto cambian tanto el comportamiento de un modelo.
¿Dónde se utiliza?
- Few-shot prompting
- RAG
- Adaptación rápida a formatos
Antes de aprender esto
Si alguno te resulta nuevo, empieza por ahí.
Continúa aprendiendo
- Fine-TuningContinuar el entrenamiento de un modelo ya entrenado con datos específicos para especializarlo en una tarea, estilo o dominio.
- Retrieval-Augmented GenerationUna técnica que conecta un LLM con fuentes de información externas: primero busca documentos relevantes y luego genera la respuesta basándose en ellos.