降低响应时间：优化延迟最有效的着力点

延迟不等于成本

本章讨论的是感知到的和实际测得的响应时间——而不是每次请求的价格。两者相关，但并不相同：更换模型可以同时既更便宜又更快，而流式传输只会改变时间上的感受，不会改变成本。

最大的着力点：模型选择

对于许多日常任务而言，像 claude-haiku-4.5 这样更小、更快的模型，响应速度明显快于像 claude-sonnet-5 这样更大的模型——这种差异往往比其他所有优化手段加起来还要大。

限制思考预算（Thinking-Budget）

对于推理模型（Reasoning-Modelle）而言，不受限制的内部思考过程会耗费大量时间，而这些时间对于简单任务来说其实并不需要。为常规任务设置一个较低的思考预算，可以明显节省时间，同时不会明显降低这类任务的回答质量。

提示缓存（Prompt-Caching）与流式传输

提示缓存（Prompt-Caching）可以跳过对重复出现的上下文部分的重新处理，对于较长且重复的提示词，最多可将延迟降低 85%。流式传输不会改变实际的总耗时，但由于文字是逐步可见地生成的，会让人感觉等待时间明显缩短。

精简上下文与并行化

更少的输入和输出 token 意味着更少的计算时间。当存在多个相互独立的请求时，并行处理比按顺序依次处理更能节省等待时间。