AI Engineering

Interfaz de programación de aplicaciones

Una interfaz que permite que un programa use los servicios de otro; en IA, la forma habitual de enviar solicitudes a un modelo alojado por un proveedor.

Inferencia

El momento en que un modelo ya entrenado se usa para producir una respuesta a partir de una entrada nueva.

Flujo de trabajo

Una secuencia predefinida de pasos para completar una tarea; en IA, un proceso cuyo orden está fijado en código aunque use modelos en algunos pasos.

Ingeniería de IA

La disciplina de construir productos y sistemas confiables sobre modelos de IA existentes, especialmente LLMs.

Evaluación de modelos

El proceso sistemático de medir qué tan bien funciona un modelo o sistema de IA en las tareas que importan.

Barreras de protección

Controles alrededor de un modelo que filtran, validan o bloquean entradas y salidas para mantener su comportamiento dentro de límites seguros.

Latencia

El tiempo que tarda un sistema en responder a una solicitud.

Modelo de pesos abiertos

Un modelo cuyos pesos entrenados se publican para que cualquiera pueda descargarlo, ejecutarlo y adaptarlo.

Orquestación

La coordinación de modelos, herramientas, datos y agentes para que trabajen juntos en un flujo coherente.

Retrieval-Augmented Generation

Una técnica que conecta un LLM con fuentes de información externas: primero busca documentos relevantes y luego genera la respuesta basándose en ellos.

Salida estructurada

Hacer que un modelo responda en un formato predecible y procesable por máquinas, como JSON que cumple un esquema.

Rendimiento de procesamiento

La cantidad de trabajo que un sistema procesa por unidad de tiempo, por ejemplo, tokens o solicitudes por segundo.

Base de datos vectorial

Una base de datos diseñada para almacenar embeddings y encontrar rápidamente los más parecidos a una consulta.

Procesamiento por lotes

Agrupar varias solicitudes para procesarlas juntas en el hardware y aprovecharlo mejor.

La plataforma de programación de NVIDIA que permite usar sus GPUs para cálculo general, incluida la IA.

Llamada a funciones

Hacer que un modelo genere, en formato estructurado, el nombre y los argumentos de una función que la aplicación debe ejecutar.

Optimización de inferencia

El conjunto de técnicas para ejecutar modelos más rápido, con menos memoria y a menor costo sin perder calidad.

Servidor de inferencia

El software que carga un modelo en el hardware y atiende solicitudes de muchos usuarios de forma eficiente.

Destilación de conocimiento

Entrenar un modelo pequeño (alumno) para imitar el comportamiento de un modelo grande (maestro), conservando buena parte de su calidad.

Caché de keys y values

Una memoria que guarda las keys y values ya calculadas de los tokens anteriores para no recalcularlas en cada paso de generación.

LLM como juez

Usar un modelo de lenguaje para evaluar automáticamente las respuestas de otro modelo (o del mismo) según criterios definidos.

Adaptación de bajo rango

Una técnica de fine-tuning que congela los pesos originales y entrena pequeñas matrices adicionales de bajo rango que modifican su comportamiento.

Compresión de modelos

El conjunto de técnicas para reducir el tamaño y el costo computacional de un modelo manteniendo su calidad.

Model Context Protocol

Un protocolo abierto para conectar aplicaciones de IA con herramientas y fuentes de datos de forma estandarizada.

Parameter-Efficient Fine-Tuning

Técnicas de fine-tuning que entrenan solo una pequeña fracción de parámetros adicionales en lugar de todo el modelo.

Inyección de prompts

Un ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.

Poda

Eliminar pesos, neuronas o capas poco importantes de un modelo para hacerlo más pequeño y rápido.

Una variante de LoRA que carga el modelo base cuantizado a 4 bits para poder hacer fine-tuning con mucha menos memoria.

Cuantización

Reducir la precisión numérica de los pesos (y a veces activaciones) de un modelo para que ocupe menos memoria y se ejecute más rápido.

Decodificación especulativa

Acelerar la generación haciendo que un modelo pequeño proponga varios tokens y que el modelo grande los verifique de una sola vez.

Uso de herramientas

La capacidad de un modelo de solicitar el uso de herramientas externas —buscar, calcular, consultar APIs— y usar sus resultados para responder.