Recursos · Papers
Los 20 papers que construyeron la IA moderna.
Del Transformer a los modelos de razonamiento: qué problema resolvió cada paper, sus ideas clave y qué cambió después, explicado en español y con enlace al original.
20 papers2017–2025Datos verificados en arXiv el 28 de septiembre de 2026
Los cimientos
La arquitectura Transformer y el salto de «preentrenar y adaptar» a «pedirlo en el prompt».
- #01Google Brain · 2017Attention Is All You NeedLa atención es todo lo que necesitasEl nacimiento del Transformer: self-attention, multi-head attention y positional encoding. Casi todo lo demás parte de aquí.Leer explicación
- #02OpenAI · 2018Improving Language Understanding by Generative Pre-TrainingMejorar la comprensión del lenguaje mediante preentrenamiento generativoGPT-1. Establece el paradigma «preentrenar y luego ajustar» con Transformers autorregresivos.Leer explicación
- #03OpenAI · 2020Language Models are Few-Shot LearnersLos modelos de lenguaje aprenden con pocos ejemplosDemuestra que escalar un modelo produce in-context learning: resolver tareas nuevas desde el prompt sin reentrenar. Es el puente directo hacia ChatGPT.Leer explicación
Leyes de escala
Cómo se relacionan tamaño, datos y cómputo, y cómo repartir el presupuesto.
- #04OpenAI · 2020Scaling Laws for Neural Language ModelsLeyes de escala para modelos neuronales de lenguajeQuizá el paper económico más importante de la era LLM: el rendimiento sigue leyes de potencia en parámetros, datos y cómputo.Leer explicación
- #05DeepMind · 2022Training Compute-Optimal Large Language ModelsEntrenar modelos de lenguaje grandes con cómputo óptimoCorrige cómo repartir el presupuesto de cómputo: muchos modelos estaban sobredimensionados y subentrenados.Leer explicación
Eficiencia e ingeniería
Más capacidad sin multiplicar el costo: expertos, memoria de la GPU y ajuste ligero.
- #06Google Research · 2021Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient SparsitySwitch Transformers: escalar a billones de parámetros con dispersión simple y eficienteUna de las rutas fundamentales hacia Mixture-of-Experts: muchísimos parámetros sin activarlos todos en cada token.Leer explicación
- #07DeepSeek · 2024DeepSeek-V3 Technical ReportReporte técnico de DeepSeek-V3Manual moderno de ingeniería de frontera: MoE, MLA, routing, predicción multi-token, FP8 y entrenamiento distribuido eficiente.Leer explicación
- #08Stanford University · 2022FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessFlashAttention: atención exacta, rápida y eficiente en memoria, consciente de la E/SEnseña que el cuello de botella no son solo los FLOPs: importan la HBM, la SRAM y el ancho de banda de memoria.Leer explicación
- #09Microsoft · 2021LoRA: Low-Rank Adaptation of Large Language ModelsLoRA: adaptación de bajo rango de modelos de lenguaje grandesBase del ajuste fino eficiente en parámetros: adaptar modelos gigantes entrenando una fracción minúscula de parámetros.Leer explicación
Alineación
De un modelo que completa texto a un asistente útil, honesto e inofensivo.
- #10OpenAI · 2022Training Language Models to Follow Instructions with Human FeedbackEntrenar modelos de lenguaje para seguir instrucciones con retroalimentación humanaEl paper para entender SFT, modelos de recompensa y RLHF con PPO, y por qué un LLM preentrenado se transforma en un asistente.Leer explicación
- #11Anthropic · 2022Constitutional AI: Harmlessness from AI FeedbackIA constitucional: inocuidad a partir de retroalimentación de IAIntroduce RLAIF: principios escritos (una «constitución») y modelos supervisando modelos. Clave para entender Claude y la alineación escalable.Leer explicación
- #12Stanford University · 2023Direct Preference Optimization: Your Language Model is Secretly a Reward ModelOptimización directa de preferencias: tu modelo de lenguaje es, en secreto, un modelo de recompensaReplantea la alineación con preferencias evitando buena parte de la complejidad de PPO y RLHF, con una función objetivo muy elegante.Leer explicación
Razonamiento
Pasos intermedios, verificación y cómputo en el momento de responder.
- #13Google Research · 2022Chain-of-Thought Prompting Elicits Reasoning in Large Language ModelsLa cadena de pensamiento en el prompt provoca razonamiento en modelos de lenguaje grandesDemuestra que generar pasos intermedios mejora mucho el razonamiento. Es el precursor intelectual de los modelos de razonamiento actuales.Leer explicación
- #14OpenAI · 2023Let's Verify Step by StepVerifiquemos paso a pasoCompara supervisar solo el resultado contra supervisar cada paso, y muestra el valor de los Process Reward Models.Leer explicación
- #15UC Berkeley · 2024Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model ParametersEscalar de forma óptima el cómputo en inferencia puede ser más efectivo que escalar los parámetrosUn cambio conceptual enorme: la inteligencia no solo escala en el entrenamiento; también puedes gastar más cómputo al responder.Leer explicación
- #16DeepSeek · 2025DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement LearningDeepSeek-R1: incentivar la capacidad de razonamiento en LLMs mediante aprendizaje por refuerzoImprescindible de la era del razonamiento: aprendizaje por refuerzo con recompensas verificables produce razonamiento sin depender solo de ejemplos humanos.Leer explicación
RAG y agentes
Conectar el modelo con conocimiento externo y con herramientas.
- #17Facebook AI Research · 2020Retrieval-Augmented Generation for Knowledge-Intensive NLP TasksGeneración aumentada por recuperación para tareas de PLN intensivas en conocimientoOrigen conceptual del RAG moderno: separar el conocimiento guardado en los parámetros del conocimiento externo recuperable.Leer explicación
- #18Princeton University · 2022ReAct: Synergizing Reasoning and Acting in Language ModelsReAct: sinergia entre razonar y actuar en modelos de lenguajeProbablemente el paper más importante para entender agentes: razonar → actuar → observar → razonar. Es prácticamente el loop de los agentes modernos.Leer explicación
Imagen y multimodalidad
Unir texto e imagen, y generar imágenes a partir de texto.
- #19OpenAI · 2021Learning Transferable Visual Models From Natural Language SupervisionAprender modelos visuales transferibles a partir de supervisión en lenguaje naturalExplica cómo conectar representaciones de imagen y texto mediante aprendizaje contrastivo. Piedra angular de la multimodalidad moderna.Leer explicación
- #20LMU Múnich · 2022High-Resolution Image Synthesis with Latent Diffusion ModelsSíntesis de imágenes de alta resolución con modelos de difusión latenteFundamento de Stable Diffusion y de gran parte de la revolución texto-a-imagen: hacer la difusión en un espacio latente en lugar de en píxeles.Leer explicación