Fine-Tuning——继续训练模型

Fine-Tuning 使用自己的示例数据继续训练一个已经完成的模型，使其专精于某项任务或某种语气。

什么是 fine-tuning？

Fine-tuning 是指用一个较小的、自有的数据集，对一个已经预训练好的语言模型进行继续训练。与 prompting 不同，这实际上会改变模型的权重——模型的行为会永久性地适应这些示例，完全不需要你在每次请求时都附上指令。

Fine-tuning 适合做什么

稳定保持某种特定的语气或风格（例如品牌传播语气）
可靠地遵循固定的输出格式
学习专业术语或任务模式，这些内容如果写进 prompt 会过于繁琐

Fine-tuning 不适合做什么

Fine-tuning 不擅长可靠地嵌入新的事实性知识——模型"学到"的更多是模式和风格，而不是精确的、可检索的事实。对于时效性强或经常变化的知识，RAG 通常是更好、更经济的选择，因为它不需要重新训练。

实际应用框架

OpenAI 为部分模型提供了 fine-tuning API。Claude 模型则面向企业客户，通过 Amazon Bedrock 的 Model Customization 功能进行定制，而不是通过面向普通消费者的公开 API。此外，fine-tuning 还需要精心整理的示例数据——质量差或数量过少的示例只会让模型变差，而不是变好。