promptgarten 🌱
🌍 DE
概念●●○4 分钟 · +40 XP

模型路由(Model Routing):为任务选对模型

不是每个任务都需要最强(也最贵)的模型——模型路由(model routing)能在不牺牲质量的前提下省钱。

问题所在

像 Claude Opus 这样强大的模型很擅长复杂推理,但价格昂贵,速度往往也更慢。像 Claude Haiku 这样便宜、快速的模型,对于简单、机械性的任务效果往往同样好——而价格却低了好几倍。如果什么任务都用最贵的模型,就是在烧钱,却换不来质量上的提升。

什么是模型路由

模型路由(model routing)指的是把不同的任务分配给不同能力等级的模型:一个强大的模型承担 orchestrator(协调者)的角色——负责规划、拆解复杂任务、做出困难的决策。更便宜的模型则处理机械性的子任务:分类、格式化、简单摘要、常规代码。

Anthropic 自己的建议

Anthropic 把路由(routing)描述为一种独立的 agent 模式:把简单或常见的请求交给 Claude Haiku 这样更小、更省钱的模型,把困难或不常见的请求交给 Claude Sonnet 这样能力更强的模型。当任务能被清楚地分成不同类别、而且这种分类能够被可靠地自动完成时,这种做法效果很好。

具体的成本杠杆

不同模型之间的价格差异相当大:一个便宜的模型每百万 token 的价格可能只是最强模型的几分之一。在一天几千次请求的规模下,这很快就会累积成账单上一笔巨大的差异——而简单任务的完成质量并不会因此明显变差。

示例

一个编码 agent 接到任务:“清理项目里所有的 console.log 调用,并写一份总结,说明哪些文件复杂到需要人工检查”。一个便宜的模型机械地清除几百个文件里的 console.log 那一行。一个强大的模型(orchestrator)之后只需要评估少数几个真正含糊不清的情况,并写出总结。

🛠️ 练习——自己动手试试

分析一个你自己的(或假设的)多步骤工作流,判断哪些子任务可以交给一个便宜的模型处理。

  1. 列出你工作流中的所有子步骤(比如调研、分类、格式化、最终决策)。
  2. 为每一步标注:它需要真正的推理/创造力,还是机械性、明确无误的?
  3. 粗略估算一下,如果把机械性的步骤交给更便宜的模型,能省下多少成本(可以用来源里的价格表)。

自查清单

  • 有没有至少一个步骤明显是机械性的,但目前却不必要地用了昂贵的模型?
  • “简单 vs. 困难”这个分类本身是否足够可靠,可以自动完成?
  • 如果便宜的模型在一个困难案例上失败了,会发生什么——有没有备用方案(fallback)?

小测验

根据 Anthropic 自己的描述,模型路由在什么情况下特别划算?

来源

相关主题

AI agent 的成本控制 ●●○选哪个模型,选哪个套餐? ●○○模型生命周期:模型会发布、更新,也会被淘汰 ●●○Multi-Agent Patterns(多智能体协作模式) ●●●