Mixture of Experts : pourquoi les grands modèles n'activent pas tout en même temps

Kimi K3 compte environ 2,8 billions de paramètres – mais pour chaque réponse, seule une fraction est réellement active. Mixture of Experts explique comment cela fonctionne.

Le principe de base

Un modèle de langage classique, « dense », utilise l'ensemble de ses paramètres pour chaque prédiction. Un modèle Mixture of Experts (MoE) se compose en revanche de nombreux réseaux partiels plus petits, les « experts », plus un routeur qui n'en active qu'une petite sélection par token – souvent seulement une poignée parmi des centaines d'experts possibles. Le reste demeure inutilisé pour ce token.

Paramètres totaux vs. actifs

Cette architecture donne lieu à deux indicateurs : le nombre total de tous les paramètres (important pour le besoin en mémoire) et le nombre de paramètres réellement actifs par token (important pour la charge de calcul et la vitesse). Mixtral 8x7B de Mistral AI compte environ 47 milliards de paramètres au total, mais seuls environ 13 milliards d'entre eux sont actifs par token.

Pourquoi c'est un bon compromis

Un modèle MoE peut stocker autant de savoir qu'un très grand modèle dense, mais ne calcule par requête qu'avec la charge d'un modèle bien plus petit. Mixtral atteint ainsi, selon Mistral AI, la qualité d'un modèle nettement plus grand, avec une charge de calcul plus faible par requête.

Exemples actuels

DeepSeek-V3 utilise 671 milliards de paramètres au total, dont 37 milliards actifs par token. Kimi K3 de Moonshot AI, publié en juillet 2026, va nettement plus loin avec environ 2,8 billions de paramètres au total – selon le fabricant, le plus grand modèle ouvertement disponible à ce jour.

EXEMPLE

Mixtral 8x7B, une couche, un token : 1. Le routeur évalue les 8 experts pour ce token 2. Le routeur sélectionne les 2 meilleurs selon la pondération 3. Seuls ces 2 experts sur 8 calculent réellement, leurs résultats sont combinés de façon pondérée → Résultat : 13 milliards de paramètres actifs sur 47 milliards au total par token.

🎬 EN VIDÉO COURTE

Mixture of Experts : pourquoi les grands modèles n'activent pas tout en même temps

🛠️ EXERCICE — À TOI DE JOUER

Recherche, pour deux modèles MoE actuels, les indicateurs paramètres totaux et paramètres actifs, et mets-les en perspective.

Cherche les données officielles sur les paramètres totaux et actifs pour deux modèles de ton choix, par ex. DeepSeek-V3 et Kimi K3.
Calcule pour les deux le rapport entre paramètres actifs et paramètres totaux.
Réfléchis à celui des deux modèles qui a vraisemblablement besoin de plus de mémoire vive pour être chargé, et celui qui répond vraisemblablement plus vite par requête.

✅ AUTO-VÉRIFICATION

☐ As-tu réussi à trouver, pour les deux modèles, aussi bien le nombre total que le nombre actif de paramètres ?
☐ Comprends-tu pourquoi un modèle avec un nombre total de paramètres gigantesque peut malgré tout répondre rapidement ?

QUIZ RAPIDE

Que signifie le fait que Kimi K3 ait environ 2,8 billions de paramètres au total, mais, comme d'autres modèles MoE, n'en active qu'une fraction par token ?