Distillation des connaissances : un petit modèle apprend d'un grand
Un immense modèle enseignant transmet son savoir à un modèle élève bien plus petit — c'est pourquoi les modèles compacts actuels sont souvent étonnamment performants.
Le principe de base
Dans la distillation des connaissances (knowledge distillation), un grand modèle « enseignant » déjà entraîné forme un modèle « élève » plus petit. L'élève n'apprend pas seulement à partir des bonnes réponses, mais à partir des distributions de probabilité complètes de l'enseignant sur toutes les réponses possibles — celles-ci contiennent plus d'information qu'une simple étiquette « correct/incorrect ».
Pourquoi cela fonctionne
Un grand modèle exprime dans ses probabilités à quel point il est sûr ou incertain de différentes réponses, et quelles alternatives il juge plausibles. Ces signaux plus fins donnent au petit modèle davantage à apprendre que de simples faits bruts.
Pourquoi les petits modèles sont si performants aujourd'hui
De nombreux modèles rapides et économiques sont des distillats de modèles frères plus grands : ils reprennent une part considérable des capacités pour une fraction du coût de calcul et du temps de réponse. Cela explique pourquoi un modèle compact comme claude-fable-5 paraît presque aussi bon qu'un modèle nettement plus grand sur de nombreuses tâches courantes.
Ce qui se perd dans le processus
La distillation compresse — et la compression a un prix. Les cas limites rares et la robustesse face à des entrées inhabituelles en pâtissent généralement en premier. Un modèle élève paraît souvent équivalent au quotidien, mais échoue plus souvent précisément là où l'enseignant aurait encore tenu bon.
EXEMPLE
Exemple pratique : gpt-5.6 comme enseignant, un modèle élève compact de 3 milliards de paramètres comme cible. Objectif d'entraînement pour l'élève sur la question « Cette phrase est-elle grammaticalement correcte ? » : Étiquette stricte : « Oui » (1.0) / « Non » (0.0) Signal souple de l'enseignant (exemple) : Oui : 0.82, Non : 0.15, « Presque correct » : 0.03 L'élève apprend à partir de la distribution souple que la phrase est probablement correcte, mais pas de façon univoque — une nuance qui serait totalement perdue dans l'étiquette stricte.
🛠️ EXERCICE — À TOI DE JOUER
Compare un grand et un petit modèle sur une tâche limite (cas rare) pour observer la différence de robustesse typique après distillation.
- Formule une tâche inhabituelle et ambiguë, rare dans les données d'entraînement (par ex. traduire un jeu de mots avec double négation).
- Pose la même tâche à un grand modèle (par ex. gpt-5.6 ou claude-sonnet-5) et à un petit modèle rapide (par ex. claude-fable-5).
- Compare l'exactitude des deux réponses sur ce cas limite.
- Pose ensuite une tâche courante et fréquente, et compare à nouveau.
✅ AUTO-VÉRIFICATION
- ☐ La différence entre le grand et le petit modèle était-elle plus marquée sur le cas limite que sur la tâche courante ?
- ☐ Peux-tu expliquer pourquoi les cas rares sont précisément plus difficiles pour un modèle distillé ?
QUIZ RAPIDE
Qu'apprend en plus le modèle élève lors de la distillation des connaissances classique, au-delà des bonnes réponses ?
SOURCES