Evals——系统化测试 prompt 与模型

为什么需要 evals

当你修改了一个 prompt，而下一次的回答"感觉"更好了，这并不能说明它真的更好——也可能只是恰好在这一个例子上表现更好。没有系统化的测试，改进 prompt 就只是靠猜。Evals（"evaluations"的简称）通过在大量示例上同时客观地检验一次改动，解决了这个问题。

基本结构

一个 eval 由一个测试集（多个输入示例，通常带有预期答案或评分标准）和一种评估输出的方法组成——精确匹配、规则检查，或用第二个模型作为"评判者"（LLM-as-judge）。每次修改 prompt 或模型后，重新跑一遍测试集，并对比改动前后的结果。

与公开 benchmark 的区别

MMLU 或 SWE-bench 这类 benchmark 是通用的第三方测试。而自建的 evals 是针对你具体任务量身定制的——即便规模更小、知名度更低，对你的产品往往也更有参考价值。

实践入门

哪怕只有20到30个精心挑选的、贴近实际情况的示例，来自你自己的 use case，也能提供有用的信号。重要的是测试用例要覆盖真实的边界情况和典型错误，而不只是简单的标准情况。