在本地运行开放模型(Ollama 等)

Ollama 是做什么的

Ollama 是一个开源程序,可以把 Gemma、Qwen、DeepSeek 或 gpt-oss 这类开放语言模型下载并在你自己的电脑上本地运行。像 ollama run gemma4 这样的命令,第一次执行会下载模型,之后就直接在终端里开始聊天——不需要云端,不需要 API 密钥,也没有按请求计费的持续费用。

实际能做到什么程度

小型模型(参数量为几十亿级别)即使只用 CPU,在普通笔记本电脑上也能运行,只是比在云端慢一些。对于更大的模型,只要有 GPU,Ollama 就会自动使用它——支持 NVIDIA 显卡、通过 ROCm 支持 AMD Radeon、通过 Metal 支持 Apple Silicon,此外还通过 Vulkan 支持 Intel 显卡和其他 AMD 显卡。如果一个模型无法完全放进显存,Ollama 会自动把它拆分到 GPU 和 CPU 之间运行。

相比云端模型的局限

本地开放模型比最大的云端模型要小,在复杂推理、长上下文或专业知识方面通常表现较弱。内存需求会随模型大小和上下文长度增长;一个太大的模型要么根本加载不了,要么在 CPU 上运行得慢得让人难以忍受。

什么时候值得用

本地模型适合对隐私敏感的任务、离线工作、零成本的实验,以及简单、重复性的任务。对于复杂的编程或需要深度推理的工作,Claude 这类云端模型通常仍然更有优势。