Improving Language Understanding by Generative Pre-Training

Los datos etiquetados son escasos y caros, pero el texto sin etiquetar es abundante. La pregunta era cómo aprovechar ese texto para que un modelo aprenda conocimiento general del lenguaje que después sirva en tareas concretas como clasificación, preguntas y respuestas o inferencia.

1. 01

   Preentrenamiento generativo

   Primero el modelo aprende a predecir el siguiente token en un corpus grande (BooksCorpus). Esa tarea obliga a capturar gramática, hechos y relaciones de largo alcance sin que nadie etiquete nada.

2. 02

   Ajuste fino supervisado

   Después se añade una capa de salida pequeña y se ajusta todo el modelo con los datos etiquetados de cada tarea, conservando la predicción del siguiente token como objetivo auxiliar.

3. 03

   Entradas transformadas, arquitectura fija

   En vez de diseñar una red por tarea, se convierten las entradas estructuradas (pares de frases, preguntas con opciones) en una sola secuencia con separadores. Así la misma arquitectura sirve para todo.

• Mejoró el estado del arte en 9 de 12 benchmarks de comprensión del lenguaje.
• Se observó que el modelo preentrenado ya resolvía algunas tareas sin ajuste (zero-shot), una pista de lo que vendría con GPT-2 y GPT-3.

Fijó la receta que siguieron GPT-2, GPT-3 y los LLMs actuales: un Transformer decodificador entrenado con predicción del siguiente token sobre texto masivo, que después se adapta. BERT, publicado meses después, llevó la misma idea a un codificador bidireccional.

• Pretraining
• Next-Token Prediction
• Fine-Tuning
• Decoder
• Self-Supervised Learning
• Foundation Model