Temperature y sampling: ¿cuán aleatoria es la respuesta de un modelo?

Temperature y top-p controlan cuán arriesgado o previsible es un modelo al elegir la siguiente palabra; las herramientas de código suelen ponerlos bajos.

Cómo elige un modelo la siguiente palabra

Un modelo de lenguaje calcula una probabilidad para cada posible palabra siguiente (más exactamente: token). En "El gato está sentado en la..." es más probable "alfombra" que "nube". De esta distribución no se elige a rajatabla la palabra más probable: el azar también interviene, controlado por dos reguladores.

Temperature

Temperature cambia cuánto se diferencian las palabras probables de las improbables. Una temperature baja (cerca de 0) hace que la elección sea casi determinista: casi siempre la palabra más probable. Una temperature alta suaviza las diferencias y deja pasar con más frecuencia palabras menos probables y más sorprendentes.

Top-p (nucleus sampling)

Top-p limita la selección al grupo más pequeño de palabras cuya probabilidad sumada alcanza un umbral p (por ejemplo, 0,9); todo lo que quede fuera de ese grupo se descarta por completo antes de siquiera sortear nada.

Por qué las herramientas de código lo ponen bajo

Al programar, la corrección importa más que la creatividad: una función debe ser sintácticamente correcta y consistente, no "original". Por eso los agentes de código suelen usar una temperature baja: menos dispersión aleatoria, resultados más previsibles y limpios. Para brainstorming o variantes de texto, en cambio, una temperature más alta suele encajar mejor.

EJEMPLO

Llamada a la API con temperature baja para un agente de código: { "model": "claude-sonnet-5", "temperature": 0.2, "messages": [{"role": "user", "content": "Escribe una función que ordene una lista."}] }

🛠️ EJERCICIO — PRUÉBALO TÚ

Prueba el mismo prompt con distintas temperature y compara los resultados.

A través de la API (o de una herramienta que permita ajustar la temperature), haz la misma pregunta creativa tres veces con una temperature de 0,0 a 0,2.
Haz la misma pregunta tres veces con una temperature cercana a 1,0.
Compara: ¿cuánto se parecen entre sí las tres respuestas con temperature baja frente a las tres con temperature alta?
Repite la prueba con una tarea de programación en lugar de una pregunta creativa: comprueba si ahí la temperature baja da resultados más consistentes.

✅ AUTOEVALUACIÓN

☐ ¿Pudiste observar una diferencia visible entre temperature baja y alta?
☐ ¿Entiendes por qué normalmente no se deberían cambiar top-p y temperature a la vez?
☐ ¿Puedes explicar por qué los agentes de código suelen usar una temperature baja?

QUIZ RÁPIDO

¿Qué ocurre con una temperature muy baja (cerca de 0)?