降低智能体使用成本:实践清单

为什么成本很容易失控

智能体不会只调用模型一次,而是常常每个任务要调用几十次——用于规划、工具调用、中间步骤。如果不加以有意识的控制,你经常会为根本不需要的任务支付最高的价格。

杠杆一:模型路由

不是每个子任务都需要最强的模型。机械性的工作——分类、格式化、简单摘要——交给便宜、快速的模型处理。复杂的规划和困难的决策则保留给强模型。

杠杆二:缓存

如果智能体反复发送相同的长前缀(系统提示词、工具定义),得益于提示词缓存(Prompt Caching),这部分内容不需要每次都重新计算——只要请求是在一个较短的时间窗口内连续发生的。

杠杆三:保持上下文精简

关闭没有用到的工具,在独立任务之间清空上下文,把冗长的日志或测试输出先过滤一遍再传递,而不是原样全部传入,并把详细知识放到 skills 中,而不是一直堆在 CLAUDE.md 里。

杠杆四:批量处理

对于大量不紧急的请求(批量分类、评估分析),使用批量 API 而不是逐个调用会更划算——明显更便宜,代价是没有即时响应。

这四个杠杆可以组合使用:用刚好够用的最便宜模型,配合缓存的提示词前缀、精简的上下文,以批量方式处理。