Streaming: por qué las respuestas aparecen palabra por palabra

Claude Code, ChatGPT y otros suelen mostrar su respuesta poco a poco en vez de completa de una vez — el streaming no cambia nada en cuanto a calidad o costo.

Qué es el streaming

Sin streaming, esperas hasta que el modelo haya generado la respuesta completa, y entonces la ves toda de golpe. Con streaming, la API envía cada fragmento de palabra generado (token) de inmediato, en cuanto está listo — ves la respuesta surgir en vivo, de forma similar a ver a alguien escribir.

Por qué las herramientas hacen esto

El streaming no cambia en nada la rapidez con la que el modelo termina en total — pero el tiempo de espera percibido baja notablemente, porque ves las primeras palabras de inmediato en vez de una pantalla vacía. Además, una respuesta se puede interrumpir a tiempo si ya el comienzo va claramente en la dirección equivocada, en vez de esperar a que termine toda la generación.

La técnica detrás

El mecanismo habitual para esto se llama Server-Sent Events (SSE) — una técnica web sencilla y establecida, en la que el servidor usa una conexión abierta para enviar continuamente pequeños fragmentos de datos al cliente. Tanto la API de Claude como la de OpenAI ofrecen streaming mediante SSE, activado con un simple parámetro (stream: true) en la solicitud.

Qué NO cambia el streaming

El streaming no influye ni en la calidad de la respuesta ni en su costo total — se sigue facturando según el número de tokens, independientemente de si llegan de forma individual o agrupada. Es pura técnica de presentación para una mejor experiencia percibida, no un cambio de contenido.

EJEMPLO

curl -N https://api.anthropic.com/v1/messages \ -H "anthropic-version: 2023-06-01" \ -d '{"model":"claude-sonnet-5","stream":true,"max_tokens":100,"messages":[{"role":"user","content":"Cuenta hasta 5"}]}' # La salida llega como una secuencia de eventos SSE (event: content_block_delta, ...) en vez de como una única respuesta completa.

🛠️ EJERCICIO — PRUÉBALO TÚ

Llama a la API de Claude una vez con y otra vez sin streaming y observa la diferencia directamente en la terminal.

Envía una solicitud con stream: false y espera la respuesta completa.
Envía la misma solicitud con stream: true (p. ej. mediante curl -N) y observa cómo llega la respuesta en fragmentos.
Compara la duración total hasta el último carácter en ambas variantes.

✅ AUTOEVALUACIÓN

☐ ¿El tiempo de espera percibido en el streaming fue más corto, aunque la duración total fuera similar?
☐ ¿Pudiste reconocer eventos SSE individuales (event: ...) en el formato bruto transmitido?

QUIZ RÁPIDO

¿Qué cambia el streaming en una respuesta de la API?