Cuantización: cómo los modelos grandes caben en tu propio ordenador

Guardar un modelo con menor precisión numérica ahorra muchísimo espacio de almacenamiento — el precio es una pequeña pérdida de calidad, a menudo apenas perceptible.

El principio básico

Los pesos del modelo suelen guardarse durante el entrenamiento con alta precisión, a menudo como número en coma flotante de 16 bits (FP16). La cuantización reduce después esta precisión, por ejemplo a 8 bits (INT8) o 4 bits (INT4) — cada número individual necesita entonces mucho menos espacio de almacenamiento, y el modelo completo se reduce en consecuencia.

Por qué esto es decisivo para modelos locales

Un modelo de 7.000 millones de parámetros necesita en FP16 unos 14 GB de memoria de trabajo — demasiado para muchos portátiles. Con una cuantización habitual de 4 bits (Q4_K_M), esa misma necesidad baja a unos 4,5 GB, con lo que el modelo se vuelve práctico recién en hardware de consumo normal. Precisamente por eso, los modelos cuantizados son la base de herramientas como Ollama.

El formato GGUF

GGUF es el formato de archivo habitual para modelos cuantizados, como los que usan Ollama o llama.cpp — agrupa pesos y metadatos (tokenizer, configuración) en un único archivo, y se reconoce en el nombre por siglas como Q4_K_M o Q8_0.

El precio: pérdida de calidad

Cuanto más agresiva es la cuantización, mayor es la pérdida de precisión. En Q4_K_M, la pérdida de calidad medida en benchmarks estándar suele ser de solo entre uno y tres por ciento — apenas perceptible para la mayoría de las tareas cotidianas. Con una compresión aún mayor, la pérdida se vuelve en cambio notablemente más perceptible.

EJEMPLO

ollama create --quantize q4_K_M mimodelo # Convierte un modelo FP16 en una versión de 4 bits — la necesidad de memoria baja a aproximadamente un tercio, la pérdida de calidad suele quedar por debajo del 3 %.

🛠️ EJERCICIO — PRUÉBALO TÚ

Descarga un modelo abierto con Ollama y compara el tamaño y el comportamiento con distintas cuantizaciones.

Instala Ollama y descarga un modelo con la cuantización estándar, p. ej. ollama run gemma4.
Comprueba el tamaño del archivo del modelo descargado (p. ej. mediante ollama list).
Descarga para comparar, si está disponible, otro nivel de cuantización del mismo modelo (p. ej. una etiqueta con q8_0) y compara tamaño y comportamiento de respuesta ante la misma pregunta.

✅ AUTOEVALUACIÓN

☐ ¿Cuánto se diferenció el tamaño del archivo entre los dos niveles de cuantización?
☐ ¿Notaste realmente alguna diferencia de calidad en preguntas normales?

QUIZ RÁPIDO

¿Qué ocurre al cuantizar un modelo de FP16 a 4 bits (p. ej. Q4_K_M)?