Speculative decoding : répondre plus vite sans perte de qualité

Un petit modèle brouillon devine plusieurs tokens à l'avance, le grand modèle les vérifie en bloc — la même réponse apparaît sensiblement plus vite.

Le problème de base

Un modèle de langage produit normalement un token après l'autre, et chacun coûte un passage de calcul complet à travers le modèle. Pour un grand modèle, ce passage est coûteux — le temps de réponse croît directement avec le nombre de tokens.

L'idée sous-jacente

Le speculative decoding utilise un petit modèle rapide, un « modèle brouillon » (draft model), qui propose plusieurs tokens d'un coup. Le grand modèle cible vérifie ensuite ces tokens proposés ensemble, en un seul passage, au lieu de générer chaque token individuellement.

Pourquoi c'est plus rapide sans changer la qualité

Si le brouillon et le modèle cible concordent, plusieurs tokens sont acceptés d'un coup — un seul passage de calcul du grand modèle fournit alors plusieurs tokens au lieu d'un seul. Si le brouillon diverge, le modèle cible rejette les tokens erronés et génère lui-même son propre token correct à cet endroit. Le résultat correspond mathématiquement exactement à ce que le grand modèle aurait généré seul — seul le chemin pour y parvenir est parallélisé.

Ce qui change vraiment

Seul le temps de réponse diminue, typiquement d'un facteur deux à trois. La sortie elle-même reste identique à celle d'une exécution sans modèle brouillon — le speculative decoding est une pure technique d'accélération côté serveur, ni une technique de prompt ni un compromis de qualité.

EXEMPLE

Sans speculative decoding : un grand modèle génère token par token, chacun vérifié et généré individuellement — 20 tokens nécessitent 20 passages de calcul complets. Avec speculative decoding : un petit modèle brouillon propose 5 tokens d'un coup (« La », « capitale », « de », « la France », « est »). Le grand modèle cible vérifie les 5 en un seul passage, les accepte tous les 5, et génère lui-même directement le 6e token (« Paris ») en plus — 6 tokens en un seul passage complet du grand modèle au lieu de six passages individuels.

🛠️ EXERCICE — À TOI DE JOUER

Détermine si la configuration de modèle que tu utilises met en œuvre le speculative decoding, et observe son effet sur le temps de réponse.

Vérifie dans la documentation de ton fournisseur ou de ton serveur d'inférence (par ex. vLLM, TensorRT-LLM) si et comment le speculative decoding peut être configuré.
Pose la même requête assez longue une fois avec et une fois sans speculative decoding activé, si cela peut être basculé.
Compare le temps de réponse mesuré des deux exécutions.
Compare le contenu des deux réponses caractère par caractère.

✅ AUTO-VÉRIFICATION

☐ Le temps de réponse avec speculative decoding était-il sensiblement plus court ?
☐ Le contenu des deux réponses était-il effectivement identique, comme le prédit la théorie ?
☐ Peux-tu expliquer pourquoi un modèle brouillon mal adapté réduit le gain de vitesse ?

QUIZ RAPIDE

Pourquoi le speculative decoding produit-il exactement la même sortie que le grand modèle seul, mais plus vite ?