Temperature et sampling : à quel point un modèle répond-il au hasard ?

Temperature et top-p déterminent si un modèle choisit le mot suivant de façon audacieuse ou prévisible – les outils de codage les réglent en général bas.

Comment un modèle choisit le mot suivant

Un modèle de langage calcule une probabilité pour chaque mot suivant possible (plus précisément : token). Dans « Le chat est assis sur le ... », « paillasson » est plus probable que « nuage ». Ce n'est pas forcément le mot le plus probable de cette distribution qui est choisi – le hasard entre en jeu, contrôlé par deux réglages.

Temperature

La temperature modifie l'écart entre les mots probables et improbables. Une temperature basse (proche de 0) rend le choix presque déterministe : presque toujours le mot le plus probable. Une temperature élevée lisse les écarts et laisse passer plus souvent des mots moins probables, plus surprenants.

Top-p (nucleus sampling)

Top-p restreint la sélection au plus petit groupe de mots dont la probabilité cumulée atteint un seuil p (par ex. 0,9) – tout ce qui est en dehors de ce groupe disparaît complètement, avant même le tirage au sort.

Pourquoi les outils de codage règlent ça bas

En programmation, la justesse compte plus que la créativité : une fonction doit être syntaxiquement correcte et cohérente, pas « originale ». C'est pourquoi les agents de codage utilisent en général une temperature basse – moins de dispersion aléatoire, des résultats plus prévisibles et propres. Pour le brainstorming ou des variantes de texte, une temperature plus élevée est en revanche souvent plus adaptée.

EXEMPLE

Appel API avec une temperature basse pour un agent de codage : { "model": "claude-sonnet-5", "temperature": 0.2, "messages": [{"role": "user", "content": "Écris une fonction qui trie une liste."}] }

🛠️ EXERCICE — À TOI DE JOUER

Essaie le même prompt avec différentes temperatures et compare les résultats.

Pose, via l'API (ou un outil permettant de régler la temperature), la même question créative trois fois avec une temperature de 0,0 à 0,2.
Pose la même question trois fois avec une temperature proche de 1,0.
Compare : à quel point les trois réponses à basse temperature se ressemblent-elles, comparées aux trois à haute temperature ?
Répète le test avec une tâche de codage au lieu d'une question créative – vérifie si une temperature basse donne là des résultats plus cohérents.

✅ AUTO-VÉRIFICATION

☐ As-tu pu observer une différence visible entre basse et haute temperature ?
☐ Comprends-tu pourquoi top-p et temperature ne devraient généralement pas être modifiés en même temps ?
☐ Peux-tu expliquer pourquoi les agents de codage utilisent en général une temperature basse ?

QUIZ RAPIDE

Que se passe-t-il avec une temperature très basse (proche de 0) ?