专家混合（Mixture of Experts，MoE）：为什么大模型不会一次性激活全部参数

Kimi K3拥有约2.8万亿个参数——但每次回答实际激活的只是其中一小部分。专家混合（MoE）解释了这是如何做到的。

基本原理

传统的“稠密”（Dense）语言模型在每次预测时会使用全部参数。而专家混合模型（Mixture of Experts，MoE）则由许多较小的子网络（“专家”，Experts）组成，外加一个路由器（Router），路由器针对每个Token只激活其中一小部分——常常只是数百个专家中的寥寥几个。其余专家对这个Token而言完全不参与运算。

总参数 vs. 激活参数

这种架构带来两个关键指标：全部参数的总数（决定显存/内存需求）和每个Token实际激活的参数数量（决定计算开销和速度）。Mistral AI的Mixtral 8x7B总共约有470亿参数，但每个Token实际激活的只有约130亿。

为什么这是一个不错的折中方案

MoE模型能像一个非常庞大的稠密模型一样存储大量知识，但每次请求的计算开销却只相当于一个小得多的模型。据Mistral AI介绍，Mixtral因此能以远小得多的单次请求计算开销，达到规模大得多的模型的水准。

当前的例子

DeepSeek-V3的总参数为6710亿，每个Token激活370亿。Moonshot AI于2026年7月发布的Kimi K3则走得更远，总参数约达2.8万亿——据厂商介绍，是目前为止最大的开放可用模型。

示例

Mixtral 8x7B，一层，一个Token： 1. 路由器为这个Token对全部8个专家打分 2. 路由器按权重选出排名前2的专家 3. 只有这2个（共8个中）专家实际参与计算，它们的结果被加权组合 → 结果：每个Token激活130亿参数，总参数为470亿。

🎬 短视频版

专家混合（Mixture of Experts，MoE）：为什么大模型不会一次性激活全部参数

🛠️ 练习——自己动手试试

查询两个当前的MoE模型的总参数量和激活参数量，并对它们进行归纳分析。

查找你选择的两个模型（例如DeepSeek-V3和Kimi K3）官方公布的总参数量和激活参数量。
分别计算这两个模型激活参数与总参数的比例。
思考哪个模型加载时可能需要更多内存，哪个模型每次请求的响应可能更快。

✅ 自查清单

☐ 你是否找到了两个模型各自的总参数量和激活参数量？
☐ 你是否理解了为什么一个总参数量巨大的模型仍然可以快速响应？

小测验

Kimi K3拥有约2.8万亿总参数，但和其他MoE模型一样，每个Token只激活其中一小部分，这意味着什么？