Large Language Model (LLM)

Un LLM es el cerebro detrás de asistentes como ChatGPT, Claude o Gemini. Aprendió leyendo una cantidad gigantesca de texto —libros, sitios web, código— con una tarea aparentemente simple: adivinar qué palabra sigue.

Para hacerlo bien a esa escala, el modelo tuvo que aprender gramática, hechos del mundo, estilos de escritura e incluso formas de razonar. Después se le entrena adicionalmente para seguir instrucciones y ser útil en conversaciones.

La mayoría de los LLMs actuales son Transformers de tipo Decoder entrenados con predicción del siguiente token sobre billones de tokens. El entrenamiento tiene dos grandes fases: preentrenamiento (aprender el lenguaje y el conocimiento general) y post-entrenamiento (SFT, RLHF u otras técnicas de preferencias) para convertirlo en un asistente útil y seguro.

En inferencia, genera de forma autoregresiva: calcula una distribución sobre el vocabulario con Softmax, elige un token mediante Sampling y repite. Sus capacidades dependen de la escala (Scaling Laws), de la calidad de los datos y del post-entrenamiento. Sus límites incluyen la ventana de contexto, las alucinaciones y un conocimiento congelado en la fecha de corte de sus datos.

Los LLMs son la tecnología central de la ola actual de IA: asistentes, agentes, programación asistida y buscadores conversacionales dependen de ellos.