Post-training y muestreo

Por qué existe el post-training

El preentrenamiento produce un modelo que completa texto: sabe predecir el siguiente token, pero no sabe conversar, seguir instrucciones ni seguir convenciones de un producto. La transición de “completa texto” a “es un asistente útil” ocurre en la fase de post-training.

El post-training tiene tres grandes objetivos:

1. Alineación con instrucciones: que el modelo entienda y responda a lo que se le pide.
2. Alineación con valores: que el modelo rechace solicitudes peligrosas o inadecuadas.
3. Alineación con el formato: que el modelo genere cómo y cuándo queremos (JSON, Markdown, longitud, estilo, herramientas).

Supervised finetuning (SFT)

SFT es la técnica más antigua y más simple: se toma un modelo preentrenado y se sigue entrenando con pares (input, output) donde el output es la respuesta ideal. Es aprendizaje supervisado clásico.

Datos de SFT

Los datos de SFT son típicamente:

• Conversaciones humanas: miles o decenas de miles de diálogos donde alguien ha escrito lo que sería una respuesta “buena”.
• Sintéticas: generadas por otro modelo (a menudo un modelo más potente) y curadas después.
• Anotaciones humanas específicas: ejemplos de tareas concretas de tu producto.

Limitaciones de SFT

SFT tiene tres problemas conocidos:

1. Solo enseña imitación: el modelo aprende a parecerse a los ejemplos, no a preferir respuestas mejores.
2. Sesgo hacia el estilo: si los ejemplos son todos largos y formales, el modelo no sabrá ser breve.
3. Caro de producir: anotar ejemplos buenos manualmente cuesta tiempo humano.

Preference finetuning

Para atacar las limitaciones de SFT, se introdujo una segunda fase: entrenar al modelo con preferencias, no con respuestas fijas. La idea: en lugar de decirle “esta es la respuesta correcta”, le dices “de estas dos respuestas, los humanos prefieren la A”.

RLHF: Reinforcement Learning from Human Feedback

El flujo clásico de RLHF (popularizado por InstructGPT y luego ChatGPT):

1. Generar pares de respuestas: para un prompt, el modelo genera dos o más respuestas distintas.
2. Anotar la preferencia: un humano (o un modelo) elige cuál es mejor.
3. Entrenar un modelo de recompensa: un modelo que predice la puntuación que un humano daría a una respuesta.
4. Optimizar el modelo con RL: ajustar el modelo para maximizar la recompensa esperada, típicamente con PPO.

DPO: Direct Preference Optimization

DPO (2023) eliminó la fase de RL por completo. En lugar de entrenar un modelo de recompensa y luego optimizar, ajusta directamente el modelo a partir de las preferencias, usando una pérdida sencilla inspirada en la diferencia de log-probabilidades.

Otros algoritmos de preference learning

El libro menciona variantes que han aparecido después:

• IPO: alternativa a DPO más robusta frente a overfitting en las preferencias.
• KTO: Kahneman-Tversky Optimization, modela las preferencias como asimetrías de ganancia/pérdida.
• ORPO: combina SFT y preference optimization en una sola fase.
• GRPO (Group Relative Policy Optimization): usado en DeepSeek-Math, entre otros.

Lo que el post-training NO arregla

El libro insiste en una idea clave para evitar expectativas disparatadas:

• El post-training no añade conocimiento. El modelo sabe lo que el preentrenamiento le dio.
• El post-training no arregla alucinaciones estructurales. Si el modelo no tiene datos sobre un tema, seguirá alucinando, solo que con más confianza.
• El post-training no convierte un modelo pequeño en uno grande. Las capacidades emergentes siguen dependiendo de la escala.

Muestreo: cómo decide el modelo qué token emitir

Una vez entrenado, cuando el modelo genera texto, no elige el siguiente token al azar. Hay un proceso de muestreo que convierte la distribución de probabilidad del modelo en una elección concreta.

El proceso básico

En cada paso:

1. El modelo produce una distribución de probabilidad sobre todos los tokens del vocabulario.
2. Un algoritmo de muestreo elige un token.
3. Se añade a la secuencia y se repite.

Este paso se llama decoding y la elección del algoritmo afecta dramáticamente la calidad de la salida.

Parámetros clave

Temperatura

La temperatura escala la distribución antes de muestrear:

• Temperatura 0: greedy decoding. Siempre se elige el token más probable. Rápido, pero repetitivo y plano.
• Temperatura 1: la distribución original del modelo.
• Temperatura > 1: distribución más uniforme. Más creatividad, más riesgo de incoherencia.
• Temperatura < 1: distribución más picuda. Más determinista, más “segura”.

Top-k

En lugar de muestrear sobre todo el vocabulario, se eligen los k tokens más probables y se renormaliza la distribución entre ellos. Sirve para evitar tokens muy improbables que ensucian la salida.

Top-p (nucleus sampling)

Top-p elige el conjunto mínimo de tokens cuya probabilidad acumulada supere p. Más flexible que top-k: si la distribución es muy picuda, top-p coge pocos tokens; si es plana, coge más.

• Top-p 0.9 es un valor por defecto popular.
• Top-p 0.95 permite más diversidad.
• Top-p 1.0 equivale a no usar top-p.

Min-p

Una alternativa más reciente que corta los tokens cuya probabilidad es menor que min_p veces la del token más probable. Resulta en un comportamiento más estable entre pasos con distribuciones picudas y planas.

Test-time compute

Una de las ideas más importantes de este apartado: pensar más rato cuesta más caro, pero mejora la calidad. La técnica se conoce como test-time compute scaling o inference-time compute.

¿Por qué funciona?

Los modelos pequeños a menudo “se equivocan” en la primera predicción porque no “piensan” antes de responder. Si se les da tiempo (más tokens generados antes de la respuesta final), pueden:

• Razonar paso a paso (chain-of-thought).
• Explorar múltiples respuestas y elegir la mejor (best-of-N).
• Verificar su propia respuesta (self-verification).
• Reformular la pregunta (reformulation).

Técnicas concretas

• Chain-of-thought (CoT): añadir al prompt “piensa paso a paso” mejora mucho en tareas de razonamiento.
• Self-consistency: muestrear N respuestas y elegir la respuesta mayoritaria. Barato y sorprendentemente efectivo.
• Best-of-N (Rejection sampling): muestrear N respuestas y puntuar con un modelo de recompensa, devolviendo la mejor.
• Tree of Thoughts (ToT): explorar un árbol de razonamiento, podando ramas malas.
• Verifier + search: usar un modelo verificador para guiar la búsqueda (esto es la base de o1/o3 de OpenAI).

Structured outputs

Muchos productos necesitan que el modelo devuelva JSON válido, XML, SQL o algún formato concreto. Hay varias técnicas para garantizarlo:

JSON mode / function calling

Las APIs modernas (OpenAI, Anthropic, Google) ofrecen modos nativos:

• JSON mode: el modelo se compromete a generar JSON válido. La API valida la sintaxis.
• Function calling / tool use: describes un esquema y el modelo responde ajustándose a él.

Constrained decoding

Técnicas como outlines, guidance, instructor o lm-format-enforcer que limitan el vocabulario en cada paso del decoding para garantizar que la salida cumple un esquema (regex, JSON Schema, gramática).

# Ejemplo conceptual con outlines
import outlines

generator = outlines.generate.json(model, schema=MiEsquema)
result = generator("Extrae los datos del cliente: Juan, 35 años, Madrid")
# result es un objeto pydantic validado, no un string

Ventajas y trade-offs

• Ventaja: outputs fiables, fácil de procesar downstream.
• Riesgo: si el esquema es muy rígido, el modelo puede “forzar” contenido incorrecto para encajar.
• Latencia: incrementa ligeramente, sobre todo con esquemas grandes.

La naturaleza probabilística de los modelos

El libro cierra la discusión técnica con un punto filosófico-operativo fundamental: los foundation models son máquinas probabilísticas, no deterministas. Esto tiene implicaciones profundas.

Implicaciones operativas

• La misma pregunta puede dar respuestas distintas entre llamadas. Esto rompe la intuición de “software = input → output”.
• Variabilidad ≠ alucinación. Variabilidad es esperada; alucinación es un error factual.
• No hay ground truth único. Muchos problemas tienen múltiples respuestas correctas igualmente válidas.
• La reproducibilidad requiere fijar la semilla (seed) y la temperatura. Sin eso, dos ejecuciones del mismo prompt pueden divergir.

Por qué esto importa al diseñar productos

El libro extrae tres consecuencias para el diseño de productos:

1. Diseña para la variabilidad: nunca asumas que una respuesta concreta es “la” respuesta. Si tu UI muestra “el modelo dijo X”, expón la opción de regenerar.
2. No conviertas respuestas en verdad: el modelo no sabe qué es verdad. Cualquier cosa que se muestre al usuario como factual debe pasar por una validación propia.
3. Mide la distribución, no la salida: en evaluación, importa más la distribución de calidad de respuestas que el caso particular.

Cuándo la estocasticidad es buena y cuándo mala

• Buena: generación creativa, brainstorming, diálogo natural.
• Mala: extracción de datos, clasificación, tareas que requieren el mismo resultado siempre.

Resumen en tres frases

• El post-training convierte un modelo que “completa texto” en un modelo que “sigue instrucciones” — y sus dos familias principales son SFT y preference finetuning.
• El muestreo determina la calidad (y la creatividad) de cada respuesta: temperatura, top-k, top-p y test-time compute son las palancas principales.
• Los foundation models son probabilísticos por naturaleza; los productos que se construyen sobre ellos deben diseñarse teniendo esta propiedad siempre presente.

Próximos pasos

• Métricas de evaluación de lenguaje: cómo se mide la calidad de un modelo. Empezamos por las métricas intrínsecas (entropía, cross-entropy, perplexity) para después pasar a las evaluaciones de sistema.