Rate limits et quotas : pourquoi les outils IA te ralentissent parfois

Les rate limits limitent le nombre de requêtes que tu peux envoyer par minute. Connaître les règles permet de mieux gérer une erreur 429.

Ce qu'est un rate limit

Un rate limit est un plafond : le nombre de requêtes (ou de tokens) que tu as le droit d'envoyer à une API IA pendant une période donnée. Un quota est similaire, mais souvent sur une période plus longue – par exemple un contingent mensuel pour un abonnement, ou une limite de dépense mensuelle pour une API.

Pourquoi ça existe

Sans limites, une seule application – par bug ou intentionnellement – pourrait envoyer tellement de requêtes que la capacité des serveurs en pâtirait pour tout le monde. Les rate limits protègent l'infrastructure et assurent une répartition équitable, tout en limitant les coûts imprévus.

Le code d'erreur 429

Si tu dépasses une limite, l'API répond avec le statut HTTP 429 (« Too Many Requests ») au lieu d'un résultat. La réponse contient généralement une indication Retry-After précisant combien de secondes attendre avant de réessayer.

Comment gérer ça

Attendre et réessayer : en cas de 429, faire une courte pause, puis réessayer – idéalement avec un délai croissant (exponential backoff), plutôt que de renvoyer immédiatement.
Batching : regrouper plusieurs petites requêtes en une seule plus grande, plutôt que de multiplier les appels individuels.
Modèles plus petits : pour des sous-tâches simples, utiliser un modèle moins cher avec son propre contingent, et réserver le modèle principal, plus coûteux, aux étapes complexes.

EXEMPLE

Pseudocode pour un retry avec backoff : pour tentative in 1..5: reponse = appel_api() si reponse.status == 429: attendre(reponse.header['retry-after'] secondes) continuer sinon: return reponse

🛠️ EXERCICE — À TOI DE JOUER

Construis une logique de retry simple avec backoff pour des appels API, ou trouve-la dans un SDK existant.

Cherche dans la documentation de ton SDK IA préféré si un comportement de retry intégré existe pour les erreurs 429.
Si ce n'est pas le cas : écris une petite boucle qui réessaie en cas de statut 429, avec un délai croissant (3 à 5 tentatives maximum).
Vérifie que ton code respecte l'en-tête Retry-After de la réponse, au lieu d'utiliser un délai fixe.
Optionnel et avec prudence : teste avec quelques requêtes rapides si un 429 se déclenche – garde à l'esprit que les requêtes réussies avant ça consomment aussi des tokens. N'utilise pas pour cela un compte de production ou avec des limites serrées.

✅ AUTO-VÉRIFICATION

☐ Ton code attend-il plus longtemps après une erreur 429, au lieu de réessayer immédiatement ?
☐ Ton code a-t-il une limite fixe pour le nombre de tentatives ?
☐ Ton code utilise-t-il l'en-tête Retry-After au lieu de supposer un délai fixe ?

QUIZ RAPIDE

Que signifie le code de statut HTTP 429 pour une API IA ?