Model Routing Operations — 实现与运维细节
路由的实现模式、provider 运维、额度治理与可观测性。本页是 Model Routing 的子页;决策框架见 Model Routing Strategies,经济数据见 Model Routing Economics。
What it is
路由的实现远不止"选一个模型名":包括角色分工(planner/executor/reviewer)、provider 路径与强制路由、额度池与执行面、缓存与 TTL、硬边界,以及让每次路由可回读的账本字段。
Why it matters
一次代理请求可能经过代理服务、中转站和上游供应商的多层路由;若看不到最终 provider、route、effort 和 fallback,就会把路由变化误判为 prompt 或 harness 变化(2026-09-17 Evening, AI Briefing 2026-09-17 Evening)。没有可观察的路由事件,就无法把有效成本归因到接受结果(2026-09-25, Magpie 实时路由视图)。
Evidence across sources
实现模式与案例
- 33-Agent 知识库审计(PawelHuryn, 2026-06-03, AI 简报 2026-06-03 Afternoon):33 个 reader agent 全跑 Sonnet + 1 个 synthesizer 跑 Opus;980k tokens、约 4.5 分钟;发现 38 个问题。与 Anthropic 单 agent 内部升级形成对比:显式角色分工——reader 广度扫描(便宜模型),synthesizer 深度整合(强力模型)。两种模式都验证 "Put Opus where the thinking happens"。
- Productized routing 与 loop routing(2026-08-28 Morning, AI 简报 2026-08-28 Morning):Replit Intelligent Model Routing 把模型选择包装成产品级能力;OctoLoop 让强模型 Fable 5 指挥 k3/glm 5.3 执行编码,并由强模型审查、指导和验收——planner、executor、reviewer、acceptance 分成不同角色的 loop routing。路由不只是选择 API provider,还包括产品默认策略、角色分工、验收权分配和循环成本控制。
- Planner-executor 路由(2026-09-04 Afternoon, AI Briefing 2026-09-04 Afternoon;Evening, AI Briefing 2026-09-04 Evening):dotey 和 wquguru 把 Fable 5.1 定位为规划、编排和验收模型,调研、实现和批量修改交给 Opus subagent。这不是简单的强弱切换,而是按角色分工。适合上下文昂贵且可拆分的任务;小任务可能承担不必要的交接成本,且需要独立验收,否则主模型只是把错误分散到更多 Agent。
- 代理树(2026-09-10, AI Briefing 2026-09-10 Morning/Evening):Voxyz_ai 的 Astra 编排 + Luna/Sol 执行的成本优化代理树,按 DeepSWE 通过率、单任务平均成本和代理步数选择 effort。仅在聊天中写"让 Luna 探索、让 Sol 实现"不是可验证的路由切换——需要通过子代理会话日志确认配置已生效。
Provider 路径与访问连续性
- Access-continuity routing(2026-08-29 Afternoon, AI Briefing 2026-08-29 Afternoon):Cursor 表示 OpenAI 模型约占其流量 5%,成熟 coding agent 需要能在供应商关系变化时继续运行;Amjad Masad 把 Replit 定位为 independent multi-model alternative。路由表应同时包含 provider fallback(接入受限/断供/条款变化时切换)和 cost fallback(有清晰验收标准时低成本模型批量尝试,失败或高风险部分升级)。低成本推理供应商可以快速切换,但每次切换的可逆性、任务风险和返工证据要一起纳入决策(2026-10-11 Morning, AI Briefing 2026-10-11 Morning)。
- 模型可选性作为韧性(2026-08-31 Afternoon, AI Briefing 2026-08-31 Afternoon):Greg Isenberg——即使当前最佳模型是闭源,严肃使用 AI 的公司也应准备开放模型、本地模型和切换路径;这不是开源意识形态,而是供应商风险管理。模型可选性不是"每个模型都接一次 API",而是保留可验证的 fallback:语言质量、任务类型、成本、访问连续性和人工验收都进入路由表。Yuchen Jin 同日观察:Claude Opus 5 在中文中 verbose,GPT-5.6 Sol、GLM-5.3、Kimi K3 在不同成本和任务上都有可用性。
- 强制路由与 provider path(2026-09-09 Afternoon, AI Briefing 2026-09-09 Afternoon):DeepSeek V4 Pro 请求在 V4.1 Pro 上线前被路由到 V4.1 Flash 并按 Flash 价格计费,说明产品方可在模型代际间强制路由;Teknium 描述 Codex 经 OpenAI API Hermes 再到任意 provider 或自托管后端。路由表还要记录请求被实际路由到哪里、是否存在自托管路径、任务是否依赖世界知识(Gorden Sun:模型大小影响世界知识丰富度,Flash 未必能替代 Pro 的非代码场景)。
- 区域驻留(2026-09-09 Evening, AI Briefing 2026-09-09 Evening):OpenRouter 把区域驻留、供应商路径、工作区和 API key 级约束纳入路由配置。对于有数据驻留要求的任务,区域路径本身就是结果的一部分。
- Provenance 与披露(2026-09-11 Afternoon, AI Briefing 2026-09-11 Afternoon):一条 Anthropic 相关时间线称部分请求可能在用户不知情下经 Claude 路由——无论是否成立,它扩展了路由记录:provider path、用户可见披露、data-retention mode、是否跨司法辖区或供应商边界。Thorsten Ball 的 optional model choice 展示了一种产品模式:router 选择默认值,同时暴露覆盖控制,而不把模型选择变成强制认知负担。
额度池与执行面
- 额度池治理(2026-09-03 Afternoon, AI Briefing 2026-09-03 Afternoon; 2026-09-04 Morning, AI Briefing 2026-09-04 Morning):runes_leo 把 Chat、Work/Codex 和 Chat + MCPX 区分为不同执行面,把 Work 与 Codex 看作共享 Agent 执行池;Astra 分阶段开放,等待期间 banked reset 会改变用户实际可用的执行量。路由表应同时记录模型、effort、额度池、执行面、单位 accepted outcome 成本。
- 稀缺周额度(2026-09-06 Afternoon, AI Briefing 2026-09-06 Afternoon):runes_leo 的 GPT-6 Pro 体验显示,重度用户瓶颈可能不是 $200 订阅费而是高端模型周消息额度;路由表要区分高不确定综合、最终验收、常规展开和低风险批处理。kunchenguid 补充:低价强模型可能改变 ROI,但高强度工作仍需按月度总成本、返工和表达风格评估。Yuchen Jin 的开源三足鼎立判断说明多模型策略不是开源立场,而是供应链和部署韧性。
- 用量可见性(2026-09-08 Morning, AI Briefing 2026-09-08 Morning):Astra 显示剩余用量和重置时间,适合长任务预算管理;技能自动触发和指令遵循稳定性也属于模型与 harness 的匹配问题。另有个人观察称 Astra Low effort 在某些任务上可能优于 5.6 Sol High effort,但没有固定任务集,不能形成模型排名。
- 执行面与提交边界(2026-09-13 Evening, AI Briefing 2026-09-13 Evening; 2026-09-17 Morning, AI Briefing 2026-09-17 Morning):可把"本地/云端""规划/执行""草稿/提交"作为独立路由维度;Claude 把 Chat、Cowork、Design 和文档产物放入同一入口,说明路由不仅选择模型,也选择执行表面和工作长度。safety reviewer 分析每条命令的案例说明路由还可以选择生成者、审查者和动作边界。
- 异步路由(2026-09-13 Morning, AI Briefing 2026-09-13 Morning):Astra 规划 + 跨线程派发 + 完成通知的异步模式;多模型项目不能只为最强模型压缩 AGENTS.md 和 Skills——删除的测试命令、验收标准或确认要求可能仍是其他模型的必要约束。等待完成事件会隐藏中间失败,需要保留状态、超时和取消记录。
硬边界、缓存与 TTL
- 硬边界(2026-09-06 Evening, AI Briefing 2026-09-06 Evening; 2026-09-08 Afternoon, AI Briefing 2026-09-08 Afternoon):Spotify Portal 转述:辅助模型负责文件读取、重复代码和样板工作,昂贵模型只处理新颖推理,超过 350 行的文件直接被阻止进入昂贵模型。路由不应只停留在提示词建议,而要在控制层设置可观察的硬边界——必须允许明确的升级和回退,否则省下的 token 可能转化为错误成本。
- Provider 缓存差异(2026-09-12 Evening, AI Briefing 2026-09-12 Evening):Qwen3.8-Flash vs DeepSeek V4.1 Flash 的 105 bug 比较;Qwen3.8-Max probe 显示原生 Alibaba endpoint 与 OpenRouter 的 token 缓存构成可能不同。实践规则:供应商有原生 endpoint 时,不要默认聚合器等价。路由记录除模型、effort、单价外,还应记录 provider path、缓存命中、任务结果、耗时、重试和是否被接受。
- 缓存率可观察性(2026-09-20 Afternoon, AI Briefing 2026-09-20 Afternoon):供应商可宣传极高缓存率,但实际命中率取决于 upstream provider、effective model、前缀稳定性、工作负载和测量窗口;套壳服务还可能更换上游而保留旧宣传。缓存率不能脱离 route trace 单独比较——路由账本应同时记录 effective provider、model、effort、cache accounting、fallback、端到端延迟与总成本。
- TTL 进入账本(2026-10-12 Evening, AI Briefing 2026-10-12 Evening):不同模型的缓存 TTL 会改变续接会话能否命中缓存;模型路由不能只记录模型名和单价,还要记录缓存窗口、命中率和断点续用行为。
路由账本字段收敛
2026-09-03 ~ 09-16 的连续 briefing 把路由记录从"模型名 + 单价"逐步扩展为完整账本。可复用字段集:
- 模型、effort 档位、角色(编排/实现/审查/验证)、运行位置(本地/云端)、子代理模型
- provider path、区域驻留、强制路由标记、data-retention mode、披露状态
- 额度池与重置窗口、缓存读写价格与命中率、TTL
- 任务类型、验收标准、accepted result、通过率、返工、单位任务成本、端到端延迟、fallback 结果
依据:2026-09-07 Evening(角色:编排、实现、审查、恢复)、2026-09-09 Morning(Fable 编排 + Astra 实现;可复用记录单位是角色、任务类型、验收结果、返工、成本和延迟)、2026-09-14(判断深度、辅助工作、运行位置;Fable 主判断 + Opus subagents 读代码查文档,限制并发与嵌套深度)、2026-09-14 Afternoon(karminski:峰值能力 vs 稳定性分离——Fable-5.1 峰值高但波动大,GPT6-Astra 更稳定,DeepSeek-V4.1-Flash 在简单代码任务上更具性价比;峰值模型适合有强提示词和人工验收的复杂任务,稳定模型适合低方差批量执行)、2026-09-15(reasoning_effort 是显式变量,high/max 不应混同记录;subagent 模型可不同于主任务模型)、2026-09-16 Evening(工具表面和权限边界进入路由决策;路由目标不是隐藏所有选择,而是保留可解释的选择和可验证的结果)。
- 可观测性(2026-09-25 Afternoon, AI Briefing 2026-09-25 Afternoon):Magpie 的实时路由动画/事件视图让用户看见当下真实发生的选择逻辑,帮助定位模型切换、成本变化和异常 fallback。可视化可能增加认知负担,应优先暴露会改变决策的事件。
Open questions
- Portal 的 90% token 降幅、350 行阈值和失败回退机制尚未由原始材料或本地复现确认。
- DeepSeek/OpenRouter 路由行为来自产品方帖子,没有本地调用日志或合同级 SLA;同一模型在不同 provider、区域和限流条件下可能有不同延迟与失败率。
- 多层路由的 trace schema 取决于供应商,当前没有统一标准。
- Chat + MCPX 能继续执行任务不等于与 Codex 等价,需单独记录权限、工具能力和审计路径。
Related
- harness-engineering/model-routing — 父页 hub
- harness-engineering/model-routing-strategies — 决策框架
- harness-engineering/model-routing-economics — 成本与任务经济学
- harness-engineering/model-harness-fit — 工具面与模型的匹配
- harness-engineering/prompt-caching — 缓存机制
Pending Jean review
- harness-engineering/model-routing-operations —
ai_draft;建议先在一个真实任务上记录完整路由账本字段,再决定哪些字段保留为默认。