Mixture of Experts: por qué los modelos grandes no activan todo a la vez

Kimi K3 tiene alrededor de 2,8 billones de parámetros — pero por cada respuesta solo una fracción de ellos está realmente activa. Mixture of Experts explica cómo es posible.

El principio básico

Un modelo de lenguaje clásico, «denso», usa todos sus parámetros para cada predicción. Un modelo Mixture of Experts (MoE), en cambio, se compone de muchas subredes más pequeñas, los «expertos», más un enrutador (router) que por cada token activa solo una pequeña selección de ellos — a menudo solo un puñado de entre cientos de expertos posibles. El resto queda sin usar para ese token.

Parámetros totales frente a parámetros activos

Esta arquitectura da lugar a dos cifras clave: el número total de todos los parámetros (importante para la necesidad de memoria) y el número de parámetros realmente activos por token (importante para el esfuerzo de cómputo y la velocidad). Mixtral 8x7B, de Mistral AI, tiene alrededor de 47.000 millones de parámetros en total, pero solo unos 13.000 millones de ellos están activos por token.

Por qué esto es un buen compromiso

Un modelo MoE puede almacenar tanto conocimiento como un modelo denso muy grande, pero calcula por solicitud solo con el esfuerzo de un modelo mucho más pequeño. Según Mistral AI, Mixtral alcanza así la calidad de un modelo notablemente mayor con un esfuerzo de cómputo menor por solicitud.

Ejemplos actuales

DeepSeek-V3 usa 671.000 millones de parámetros totales con 37.000 millones activos por token. Kimi K3, de Moonshot AI, publicado en julio de 2026, va notablemente más lejos con alrededor de 2,8 billones de parámetros totales — según el fabricante, el modelo abierto disponible más grande hasta la fecha.

EJEMPLO

Mixtral 8x7B, una capa, un token: 1. El enrutador evalúa los 8 expertos para este token 2. El enrutador elige los 2 mejores según ponderación 3. Solo estos 2 de 8 expertos calculan realmente, sus resultados se combinan de forma ponderada → Resultado: 13.000 millones de parámetros activos de 47.000 millones totales por token.

🎬 EN VÍDEO CORTO

Mixture of Experts: por qué los modelos grandes no activan todo a la vez

🛠️ EJERCICIO — PRUÉBALO TÚ

Investiga para dos modelos MoE actuales las cifras clave de parámetros totales y parámetros activos, y sitúalas en contexto.

Busca los datos oficiales de parámetros totales y activos para dos modelos de tu elección, p. ej. DeepSeek-V3 y Kimi K3.
Calcula para ambos la proporción de parámetros activos frente a totales.
Reflexiona sobre cuál de los dos modelos probablemente necesita más memoria de trabajo para cargarse y cuál probablemente responde más rápido por solicitud.

✅ AUTOEVALUACIÓN

☐ ¿Pudiste encontrar para ambos modelos tanto el número total como el número de parámetros activos?
☐ ¿Tienes claro por qué un modelo con un número total de parámetros enorme puede seguir respondiendo rápido?

QUIZ RÁPIDO

¿Qué significa que Kimi K3 tenga alrededor de 2,8 billones de parámetros totales, pero, como otros modelos MoE, active solo una fracción por token?