¿Qué es realmente un LLM?
Qué es realmente un LLM
Tokens, predicción del siguiente token, contexto y por qué a veces se equivocan.
10 conceptos~12 min en totalNivel 2 · Intermedio
Empezar con Token - 1TokenLa unidad básica de texto que procesa un modelo de lenguaje: puede ser una palabra, parte de una palabra o un signo.
- 2TokenizationEl proceso de dividir un texto en tokens para que un modelo pueda procesarlo.
- 3Next-Token PredictionLa tarea con la que se entrenan los LLMs: dado un texto, predecir cuál es el token que sigue.
- 4PretrainingLa primera y más costosa fase de entrenamiento de un modelo fundacional, en la que aprende de enormes cantidades de datos sin etiquetar.
- 5Large Language ModelUn modelo de IA entrenado con enormes cantidades de texto para predecir la siguiente palabra, lo que le permite conversar, escribir, resumir y razonar.
- 6Context WindowLa cantidad máxima de tokens que un modelo puede considerar a la vez, incluyendo tu mensaje, el historial y su propia respuesta.
- 7SamplingEl método con el que un modelo generativo elige el siguiente token a partir de su distribución de probabilidades.
- 8TemperatureUn parámetro que controla qué tan aleatorias o predecibles son las respuestas de un modelo generativo.
- 9HallucinationCuando un modelo genera información falsa o inventada presentándola con seguridad como si fuera cierta.
- 10Reasoning ModelUn LLM entrenado para generar un proceso de razonamiento extenso antes de responder, lo que mejora su desempeño en problemas complejos.