Reducir el tiempo de respuesta: las palancas más eficaces para la latencia

No todos los frenos de latencia cuestan lo mismo en velocidad: la elección del modelo, el caching y el streaming actúan con distinta intensidad y en distintos puntos.

Latencia no es coste

Este capítulo trata sobre el tiempo de respuesta percibido y medido, no sobre el precio por consulta. Ambos están relacionados, pero no son lo mismo: un cambio de modelo puede resultar a la vez más barato y más rápido, mientras que el streaming solo cambia la sensación de tiempo, no el coste.

La palanca más importante: la elección del modelo

Un modelo más pequeño y rápido como claude-haiku-4.5 responde de forma notablemente más ágil que un modelo más grande como claude-sonnet-5 en muchas tareas cotidianas; a menudo la diferencia es mayor que todas las demás optimizaciones juntas.

Limitar el presupuesto de razonamiento (thinking budget)

En los modelos de razonamiento, un proceso de pensamiento interno sin límite consume tiempo que no es necesario para tareas sencillas. Un thinking budget ajustado para tareas rutinarias ahorra tiempo de forma notable sin empeorar perceptiblemente la calidad de la respuesta en esos casos.

Prompt caching y streaming

El prompt caching evita volver a procesar las partes de contexto que se repiten y reduce la latencia hasta un 85 % en prompts largos y repetidos. El streaming no cambia el tiempo total real, pero hace que la espera se sienta considerablemente más corta para las personas, porque el texto va apareciendo visiblemente.

Contexto corto y paralelización

Menos tokens de entrada y salida significan menos tiempo de cálculo. Donde se producen varias consultas independientes, la paralelización ahorra tiempo de espera frente al procesamiento secuencial.

EJEMPLO

Cuatro palancas comparadas en una tarea típica de respuesta de soporte (valores orientativos): Cambio de modelo (claude-sonnet-5 → claude-haiku-4.5): tiempo de respuesta aprox. 60-70 % más corto Prompt caching con un system prompt repetido de 8.000 tokens: hasta un 85 % menos de latencia para la parte cacheada Thinking budget de 'ilimitado' a 'bajo' para consultas sencillas: varios segundos ahorrados por consulta Activar streaming: tiempo total sin cambios, pero el primer texto visible aparece de inmediato en lugar de solo al final

🎬 EN VÍDEO CORTO

Reducir el tiempo de respuesta: las palancas más eficaces para la latencia

🛠️ EJERCICIO — PRUÉBALO TÚ

Mide el tiempo de respuesta de la misma tarea bajo dos configuraciones de latencia distintas.

Elige una tarea fija de dificultad media (por ejemplo, un breve resumen de un fragmento de texto).
Plantéala una vez con el modelo más grande disponible y otra vez con un modelo más pequeño y rápido, cronometrando en cada caso el tiempo hasta la respuesta completa.
Repite la tarea con el modelo más grande, pero con streaming activado, y mide el tiempo hasta el primer texto visible.
Anota los tres valores medidos uno junto a otro.

✅ AUTOEVALUACIÓN

☐ ¿Qué palanca individual redujo más el tiempo total?
☐ ¿Cambió el streaming la sensación de espera aunque el tiempo total se mantuvo igual?

QUIZ RÁPIDO

¿Qué cambia realmente el streaming en una respuesta?