知识蒸馏：小模型向大模型学习

一个庞大的“教师”模型将知识传授给一个小得多的“学生”模型——这就是为什么如今的紧凑型模型往往出人意料地出色。

基本原理

在知识蒸馏（Knowledge Distillation）中，一个已经训练完成的大型“教师”模型协助训练一个较小的“学生”模型。学生模型学习的不仅是正确答案本身，还包括教师模型针对所有可能答案给出的完整概率分布——这比单一的“对/错”标签包含更多信息。

为什么这种方法有效

大模型通过其概率分布表达出它对不同答案有多确定或不确定，以及它认为哪些其他选项也合理。这些更细腻的信号，比单纯的事实本身给小模型提供了更多可学习的内容。

为什么如今的小模型如此出色

许多速度快、成本低的模型都是由更大的“同系列”模型蒸馏而来：它们以极小的计算成本和响应时间，继承了相当一部分能力。这也解释了为什么像 claude-fable-5 这样的紧凑型模型，在许多日常任务上表现几乎和明显更大的模型一样出色。

蒸馏会失去什么

蒸馏是一种压缩——而压缩是有代价的。首先受影响的通常是罕见的边缘情况以及对异常输入的鲁棒性。学生模型在日常使用中往往表现得和教师模型不相上下，但恰恰在教师模型仍能应付的地方，学生模型失败的频率更高。

示例

实践示例：以 gpt-5.6 作为教师模型，目标是一个 30 亿参数的紧凑型学生模型。针对问题“这句话语法正确吗？”的学生模型训练目标：硬标签：“是”（1.0）/“否”（0.0）教师模型的软信号（示例）：是：0.82，否：0.15，“接近正确”：0.03 学生模型从这个软分布中学到：这句话很可能是正确的，但并非毫无疑问——这种细微差别在硬标签中会完全丢失。

🛠️ 练习——自己动手试试

在一个边缘案例任务上比较大模型和小模型，观察蒸馏后典型的鲁棒性差异。

设计一个不寻常、有歧义、训练中很少出现的任务（例如翻译一个包含双重否定的文字游戏）。
把同一个任务分别交给一个大模型（例如 gpt-5.6 或 claude-sonnet-5）和一个小型快速模型（例如 claude-fable-5）。
比较两者在这个边缘案例上的回答正确性。
然后再提出一个常见的日常任务，再次进行比较。

✅ 自查清单

☐ 大模型和小模型在边缘案例上的差异是否比在日常任务上更大？
☐ 你能解释为什么恰恰是罕见情况对经过蒸馏的模型来说更困难吗？

小测验

在经典的知识蒸馏中，学生模型除了正确答案之外还学到了什么？