推理预算控制：按任务路由与超时降级

预算不是模型能力标签

产品层的快速、均衡和深入模式，应映射到可验证的服务配置。供应商未公开或接口不支持的参数不能随意发送；增加输出上限也不等于启用了更多内部推理。

工程预算至少包含最大输入、最大输出、单次超时、用户频率和全站消费上限。对于有成本的工具调用，还需要限制调用次数与并发。把所有请求都交给最昂贵的配置，并不是自适应路由。

可运行的有限预算调度

下面根据明确任务属性选择资源上限。规则只是产品策略示例，不使用某个供应商专有的 thinking 参数。

import assert from "node:assert/strict";
function budget(task) {
  if (!Number.isInteger(task.inputChars) || task.inputChars < 0)
    throw new Error("invalid input size");
  if (task.inputChars > 16000) return {accepted:false};
  return {
    accepted:true,
    maxOutputTokens:task.requiresVerification?2048:512,
    timeoutMs:task.requiresVerification?60000:15000
  };
}
assert.equal(budget({inputChars:20000}).accepted,false);
assert.equal(budget({inputChars:100,requiresVerification:true}).timeoutMs,60000);

评价路由是否有效

冻结一组有标准答案的任务，比较正确率、延迟和实际账单。自动路由必须把超时、拒绝和重试的成本也算进去；只统计成功请求会产生幸存者偏差。输出较长并不意味着任务更成功。

超时后展示明确的中断状态，允许用户重试或停止。不要把部分输出当成完整答案，也不要在用户离开页面后继续进行不必要的付费请求。

原始资料

Building Effective Agents：工作流复杂度与任务适配的工程讨论。本文没有比较特定 Claude 或 Gemini 版本的性能，旧 URL 仅作为稳定链接保留。

感谢阅读本文

如果你觉得内容有帮助，欢迎点赞支持或分享给同行开发者。

941 次阅读32 人赞过