Réduire le temps de réponse : les leviers les plus efficaces contre la latence

Tous les freins à la latence ne coûtent pas la même vitesse — le choix du modèle, le caching et le streaming agissent avec une intensité différente et à des endroits différents.

La latence n'est pas le coût

Ce chapitre porte sur le temps de réponse ressenti et mesuré — pas sur le prix par requête. Les deux sont liés, mais ce n'est pas la même chose : changer de modèle peut rendre à la fois moins cher et plus rapide, tandis que le streaming ne change que la perception du temps, pas les coûts.

Le levier le plus important : le choix du modèle

Un modèle plus petit et plus rapide comme claude-haiku-4.5 répond sensiblement plus vite qu'un modèle plus grand comme claude-sonnet-5 pour de nombreuses tâches courantes — souvent la différence est plus grande que toutes les autres optimisations réunies.

Limiter le budget de réflexion (thinking budget)

Avec les modèles de raisonnement, un processus de réflexion interne illimité consomme du temps qui n'est pas nécessaire pour des tâches simples. Un budget de réflexion restreint pour les tâches routinières fait gagner un temps sensible, sans dégrader la qualité de réponse de façon perceptible dans ce cas.

Prompt caching et streaming

Le prompt caching évite de retraiter les parties de contexte récurrentes et réduit la latence jusqu'à 85 % pour des prompts longs et répétés. Le streaming ne change pas le temps total réel, mais rend l'attente perçue par les humains nettement plus courte, car le texte apparaît visiblement au fur et à mesure.

Contexte court et parallélisation

Moins de tokens en entrée et en sortie signifient moins de temps de calcul. Là où plusieurs requêtes indépendantes se présentent, la parallélisation fait gagner du temps d'attente par rapport à un traitement séquentiel.

EXEMPLE

Quatre leviers comparés sur une tâche typique de réponse au support (valeurs indicatives) : Changement de modèle (claude-sonnet-5 → claude-haiku-4.5) : temps de réponse env. 60-70 % plus court Prompt caching pour un prompt système répété de 8 000 tokens : jusqu'à 85 % de latence en moins pour la partie mise en cache Budget de réflexion passé de « illimité » à « bas » pour les requêtes simples : plusieurs secondes économisées par requête Activation du streaming : temps total inchangé, mais le premier texte visible apparaît immédiatement au lieu d'apparaître seulement à la fin

🎬 EN VIDÉO COURTE

Réduire le temps de réponse : les leviers les plus efficaces contre la latence

🛠️ EXERCICE — À TOI DE JOUER

Mesure le temps de réponse de la même tâche sous deux configurations de latence différentes.

Choisis une tâche fixe, de difficulté moyenne (par ex. un court résumé d'un passage de texte).
Pose-la une fois avec le plus grand modèle disponible et une fois avec un modèle plus petit et plus rapide, en chronométrant à chaque fois le temps jusqu'à la réponse complète.
Répète la tâche avec le plus grand modèle, mais avec le streaming activé, et mesure le temps jusqu'au premier texte visible.
Note les trois mesures côte à côte.

✅ AUTO-VÉRIFICATION

☐ Quel levier, à lui seul, a le plus réduit le temps total ?
☐ Le streaming a-t-il changé l'attente perçue, alors que le temps total est resté identique ?

QUIZ RAPIDE

Qu'est-ce que le streaming change réellement dans une réponse ?