AI Safety & Alignment

Sesgo algorítmico

Cuando un sistema de IA produce resultados sistemáticamente injustos o distorsionados para ciertos grupos de personas.

Prueba de referencia

Un conjunto estandarizado de pruebas que permite comparar el desempeño de distintos modelos en las mismas tareas.

Alucinación

Cuando un modelo genera información falsa o inventada presentándola con seguridad como si fuera cierta.

Human-in-the-Loop

Diseñar un sistema de IA para que una persona revise, apruebe o corrija sus decisiones en puntos clave.

Seguridad de la IA

El campo que busca que los sistemas de IA funcionen de forma confiable, sin causar daños, incluso a medida que se vuelven más capaces.

Evaluación de modelos

El proceso sistemático de medir qué tan bien funciona un modelo o sistema de IA en las tareas que importan.

Explainability

La capacidad de explicar, en términos comprensibles para personas, por qué un modelo tomó una decisión concreta.

Anclaje en fuentes

Hacer que las respuestas de un modelo se basen en fuentes concretas y verificables en lugar de solo en su memoria.

Barreras de protección

Controles alrededor de un modelo que filtran, validan o bloquean entradas y salidas para mantener su comportamiento dentro de límites seguros.

Un intento de manipular a un modelo con prompts diseñados para que ignore sus reglas de seguridad y produzca contenido que normalmente rechazaría.

Equipo rojo

Atacar deliberadamente un sistema de IA para descubrir sus fallos y comportamientos dañinos antes de que lo hagan usuarios malintencionados.

Ataque adversario

Modificar una entrada de forma sutil —a menudo imperceptible para humanos— para que un modelo cometa un error.

Interpretabilidad

El estudio de cómo y por qué un modelo produce sus resultados, para poder entenderlo, verificarlo y corregirlo.

Inyección de prompts

Un ataque en el que instrucciones maliciosas escondidas en datos (una página web, un correo, un documento) hacen que un modelo actúe contra los intereses de su usuario.

Función de recompensa

La regla que asigna un valor numérico a lo que hace un agente, indicándole qué tan bien lo está haciendo.

Aprendizaje por refuerzo con retroalimentación de IA

Una variante de RLHF en la que las preferencias las genera un modelo de IA, guiado por principios o instrucciones, en lugar de personas.

Aprendizaje por refuerzo con retroalimentación humana

Una técnica para ajustar un modelo usando preferencias humanas: personas comparan respuestas y el modelo aprende a producir las preferidas.

Alineación de la IA

El problema de lograr que los sistemas de IA persigan los objetivos y valores que realmente pretendemos, no una versión distorsionada de ellos.

IA constitucional

Un método de alineación en el que un modelo se entrena para seguir un conjunto explícito de principios, usando retroalimentación generada por IA.

Direct Preference Optimization

Un método para ajustar un modelo con datos de preferencia directamente, sin entrenar un modelo de recompensa ni usar aprendizaje por refuerzo.

Interpretabilidad mecanicista

Un enfoque de investigación que intenta descifrar los algoritmos internos de una red neuronal a nivel de neuronas, características y circuitos.

Colapso de modelos

La degradación que sufren los modelos generativos cuando se entrenan repetidamente con datos generados por otros modelos, perdiendo diversidad y calidad.

Representation Engineering

Técnicas para leer y modificar directamente las representaciones internas de un modelo con el fin de detectar o controlar conceptos como la honestidad o el tono.

Sparse Autoencoders

Redes auxiliares que descomponen las activaciones internas de un modelo en muchas «características» interpretables, de las cuales solo unas pocas se activan a la vez.

Superalineación

El problema de alinear sistemas de IA que podrían superar a los humanos, cuando ya no podemos evaluar directamente si su comportamiento es correcto.