Language Models are Few-Shot Learners

El paradigma de GPT-1 y BERT seguía necesitando miles de ejemplos etiquetados por tarea. Las personas, en cambio, aprenden una tarea nueva con una instrucción y un par de ejemplos. ¿Puede un modelo de lenguaje hacer lo mismo si es suficientemente grande?

1. 01

   Aprendizaje en contexto

   La tarea se especifica solo con texto: una descripción y, opcionalmente, ejemplos. El modelo no actualiza sus pesos; «aprende» la tarea dentro de la ventana de contexto.

2. 02

   Zero-, one- y few-shot

   El paper evalúa sistemáticamente tres escenarios: sin ejemplos, con uno y con unos pocos (típicamente de 10 a 100). El rendimiento sube con los ejemplos y, sobre todo, con el tamaño del modelo.

3. 03

   La escala como variable

   Se entrenan ocho modelos, de 125 millones a 175 mil millones de parámetros. La brecha entre zero-shot y few-shot crece con el tamaño: los modelos grandes aprovechan mucho mejor el contexto.

4. 04

   Límites y riesgos

   Los autores documentan dónde falla (inferencia entre frases, algunos problemas de comprensión lectora), el riesgo de contaminación de datos de evaluación y el impacto social de textos difíciles de distinguir de los humanos.

• Resultados competitivos en preguntas y respuestas de dominio abierto (TriviaQA) sin ajuste fino.
• Aritmética de 2 y 3 dígitos, desordenar palabras y usar palabras inventadas en una frase, solo desde el prompt.
• Evaluadores humanos apenas distinguieron noticias generadas por GPT-3 de noticias reales.

Convirtió el prompt en la interfaz principal de la IA y dio origen al prompt engineering. Sobre GPT-3 se construyeron la API de OpenAI, InstructGPT y, finalmente, ChatGPT.

• In-Context Learning
• Few-Shot Learning
• Zero-Shot Learning
• Prompt
• Large Language Model
• Emergent Capabilities
• Data Contamination