Destilación de conocimiento: un modelo pequeño aprende de uno grande
Un enorme modelo maestro transmite su conocimiento a un modelo alumno mucho más pequeño; por eso los modelos compactos actuales suelen ser sorprendentemente buenos.
El principio básico
En la destilación de conocimiento (knowledge distillation), un modelo "maestro" grande y ya entrenado entrena a su vez a un modelo "alumno" más pequeño. El alumno no aprende solo de las respuestas correctas, sino de las distribuciones de probabilidad completas del maestro sobre todas las respuestas posibles: estas contienen más información que una única etiqueta de "correcto/incorrecto".
Por qué funciona
Un modelo grande expresa en sus probabilidades cuán seguro o inseguro está respecto a distintas respuestas y qué alternativas considera plausibles. Estas señales más finas le dan al modelo pequeño más de qué aprender que los meros hechos por sí solos.
Por qué los modelos pequeños son hoy tan buenos
Muchos modelos rápidos y económicos son destilados de modelos hermanos más grandes: heredan una parte considerable de las capacidades a una fracción del coste computacional y del tiempo de respuesta. Esto explica por qué un modelo compacto como claude-fable-5 parece casi tan bueno como un modelo bastante más grande en muchas tareas cotidianas.
Qué se pierde en el proceso
La destilación comprime, y la compresión tiene un precio. Los casos límite poco frecuentes y la robustez ante entradas inusuales suelen ser lo primero que se resiente. Un modelo alumno suele parecer equivalente en el día a día, pero falla con más frecuencia justo donde el maestro todavía habría respondido bien.
EJEMPLO
Ejemplo práctico: gpt-5.6 como maestro, un modelo alumno compacto de 3.000 millones de parámetros como objetivo. Objetivo de entrenamiento para el alumno ante la pregunta '¿Es esta frase gramaticalmente correcta?': Etiqueta dura: 'Sí' (1.0) / 'No' (0.0) Señal blanda del maestro (ejemplo): Sí: 0.82, No: 0.15, 'Casi correcta': 0.03 El alumno aprende de la distribución blanda que la frase probablemente es correcta, pero no de forma inequívoca: un matiz que se perdería por completo con la etiqueta dura.
🛠️ EJERCICIO — PRUÉBALO TÚ
Compara un modelo grande y uno pequeño en una tarea de caso límite para observar la diferencia típica de robustez tras la destilación.
- Formula una tarea inusual y ambigua que rara vez aparezca en el entrenamiento (por ejemplo, traducir un juego de palabras con doble negación).
- Plantea la misma tarea a un modelo grande (por ejemplo, gpt-5.6 o claude-sonnet-5) y a un modelo pequeño y rápido (por ejemplo, claude-fable-5).
- Compara ambas respuestas en cuanto a corrección en este caso límite.
- Plantea después una tarea cotidiana y frecuente y compara de nuevo.
✅ AUTOEVALUACIÓN
- ☐ ¿Fue la diferencia entre el modelo grande y el pequeño mayor en el caso límite que en la tarea cotidiana?
- ☐ ¿Puedes explicar por qué los casos poco frecuentes son precisamente más difíciles para un modelo destilado?
QUIZ RÁPIDO
¿Qué aprende el modelo alumno en la destilación de conocimiento clásica, además de las respuestas correctas?
FUENTES