量化（Quantisierung/Quantization）：大模型如何塞进你自己的电脑

基本原理

模型权重在训练时通常以高精度存储，常见的是16位浮点数（FP16）。量化会在训练之后降低这种精度，比如降到8位（INT8）或4位（INT4）——每个数值占用的存储空间明显减少，整个模型的体积也随之缩小。

为什么这对本地运行的模型至关重要

一个70亿参数的模型以FP16存储大约需要14GB内存——对许多笔记本电脑来说太多了。使用常见的4位量化（Q4_K_M），同样的模型只需要约4.5GB，这才使得模型能在普通消费级硬件上实际运行。正因如此，量化后的模型是Ollama等工具的基础。

GGUF格式

GGUF是Ollama或llama.cpp等工具使用的量化模型的常见文件格式——它把权重和元数据（分词器、配置信息）打包进一个单独的文件，文件名中可以看到Q4_K_M或Q8_0之类的标识后缀。

代价：质量损失

量化越激进，精度损失就越大。在Q4_K_M量化下，标准基准测试中测得的质量损失通常只有百分之一到三——对大多数日常任务几乎察觉不到。而在压缩强度进一步增加时，损失就会明显变得更大。