Skip to content
Back/Harness Engineering

Model Routing Strategies — 路由策略与决策框架

View in Graph
Updated 2026-11-12
4 min read
843 words

Model Routing Strategies — 路由策略与决策框架

路由策略与决策框架:在不同模型间分配任务的判断依据。本页是 Model Routing 的子页;成本数据见 Model Routing Economics,实现与运维见 Model Routing Operations。

What it is

Model Routing 让合适的模型处理合适的任务。核心机制是 Sonnet 调用 Opus 模式:默认由轻量模型处理大部分任务,遇到复杂任务时升级给强模型,同时提升整体性能并降低总成本。实现上通过 tool use 动态判断任务复杂度,或由模型基于任务描述、中间结果复杂度和历史经验自行决定升级时机。

策略 性能 成本 适用场景
全用强力模型 最高 最高 不计成本的关键任务
全用轻量模型 较低 最低 简单批量任务
智能路由 高 中等 混合任务场景

Model Routing 是 multi-agent 架构的一种形式:不同模型扮演不同角色,轻量模型可作 router,强力模型作 specialist。实践上应先分析任务复杂度分布、建立简单/复杂判断标准、监控路由决策准确性并持续优化。

Why it matters

最昂贵的模型不是 Opus 或 GPT-5.5,而是人的判断力(Every 2026-04-27):稳定、重复、低判断需求的步骤应下沉到小模型、脚本或固定模板;强模型与人类审查保留给叙事、策略、复杂判断和最终验收。这把 model routing 与 skills into loops 连接起来:先用 skill 描述任务,再用 eval 判断质量,最后把不同步骤路由到不同智能等级。OpenRouter 一类统一接口适合做模型候选集与 provider fallback,但路由策略仍要由任务分解和 eval 结果驱动。

Sam Altman(2026-05-14, AI 简报 2026-05-14 Afternoon)指出行业过度追求"最智能可用模型",真正的优化空间在 price/speed tradeoff:不同子任务应路由到不同模型,而非全程使用最昂贵的前沿模型。

Evidence across sources

决策框架

  • Price-Speed-Vibe 三轴(Ben Tossell, 2026-06-11, Ben's Bites 2026-06-12):模型选择是价格、速度、氛围(vibe)三轴的博弈;速度足够快时,用户可以「快速咀嚼大量工作」,工作流结构根本改变。
  • 双轨策略(Every, 2026-06-11, Every 2026-06-12):Rocket Launcher(大型、可离线,Fable 5,4 小时以上)vs Daily Driver(小规模、高频交互)。分工依据是任务性质而非能力高低。
  • 能力饱和(2026-09-08 Afternoon, AI Briefing 2026-09-08 Afternoon):nicbstme 认为普通用户任务(邮件、日历、图片识别)已接近饱和,能力差异优先出现在前沿编码、数学和科学任务——路由不是"强模型是否更强"的单点判断,而是任务是否仍有能力瓶颈。
  • 双轴路由(2026-09-08 Evening, AI Briefing 2026-09-08 Evening):ctatedev 估计约 95% 普通工作可交给 Luna,5% 的设计/性能/细节打磨需要 Astra。核心问题:任务是否存在能力瓶颈,额外质量是否值得额外成本。
  • 任务适配(2026-09-04 Morning, AI Briefing 2026-09-04 Morning):Astra 更适合写作、长时间电脑操作和复杂知识工作,Fable 在前端和更大构建任务上体验更好;某比较称 Fable 原始分数领先,但 Astra 在某编程任务上 Token 更少、成本更低。

角色与风格路由

  • Per-Model Tool Surface Routing(Model-Harness-Fit, 详见 Model-Harness-Fit):Copilot CLI 不给所有模型相同工具面,而给每个模型它训练时使用的工具方言——apply_patch 仅暴露给 Codex 家族;Anthropic 模型获得 Edit/Write;ToolSearch 仅给 Claude(延迟加载训练);critic 用不同模型。这是唯一在开放或半开放集合中实际交付此策略的 harness。
  • Specialist 格局与 personality-aware 路由(2026-08-26, AI 简报 2026-08-26 Morning/Afternoon):Yuchen Jin 认为前沿模型呈 specialist 格局(Opus 5 擅长 HTML 教学但 verbose;GPT-5.6 Sol 后端强前端弱;Kimi K3/GLM-5.2 覆盖日常 90% 编码),Databricks smart router 初步结果显示保持 frontier 质量同时降本 30%+(公开 benchmark 节省 50%+)。yetone 补充"推进风格":GPT-5.6 心思缜密但患得患失,开放目标交给谨慎模型可能过度防御——能力差距缩小时,风格匹配成为路由第四维。
  • 验证角色分离(2026-09-16 Morning, AI Briefing 2026-09-16 Morning;2026-09-17 Evening, AI Briefing 2026-09-17 Evening):主模型生成,便宜快速的概率模型评分/裁判;只输出 boolean/enum/number 的模型在可结构化决策点减少自由文本生成。Dan Shipper 团队报告概率评审模型比 Fable 级模型快 25 倍、便宜 600 倍——评审正从通用 chat 生成中分离为独立路由层。
  • 多供应商策略:nicbstme 认为前沿市场可容纳多个供应商,路由不必押注单一赢家(2026-09-07 Evening, AI Briefing 2026-09-07 Evening;2026-09-09 Morning, AI Briefing 2026-09-09 Morning)。

窄决策路由(Jev)

  • 三层分工(2026-09-18 Afternoon, AI Briefing 2026-09-18 Afternoon):确定性规则留在代码,窄语义判断交给可校准决策模型(返回 choice/score/category/confidence 等类型化结果),低置信度与开放式推理升级给前沿模型或人。适合邮件筛选、浏览器元素选择、任务升级判断、代码审查风险筛选。
  • 适用与边界(2026-09-18 Evening, AI Briefing 2026-09-18 Evening; 2026-09-19 Morning, AI Briefing 2026-09-19 Morning):Jev 适合 yes/no、选项、评分等边界清晰的判断;任务目标、策略变化、复杂上下文和不可逆动作仍需更强模型或人类控制。类型稳定不等于语义正确,false negative 需单独评估。
  • 官方化的闭集决策端点(Google, 2026-11-12):Gemini Decisions API 将 yes/no、多选与 rubric 评分做成独立 endpoint,可对同一份多模态输入一次评估最多 1,000 个问题,并返回选项概率与 0–1 置信度。Google 声称端到端延迟为 150–250 毫秒、输入价格为每百万 token 0.10 美元且不收输出 token 费;性能、校准与价格数据均为厂商材料,未独立核验。它提供了窄决策路由的具体产品实现,但不能据此证明质量适用于任意任务。采用前应在本地工作负载上比较准确率、校准、误报/漏报、延迟与总成本。来源:AI Briefing 2026-11-12 Afternoon · Google 官方公告。
  • 关键失败模式(2026-09-19 Afternoon, AI Briefing 2026-09-19 Afternoon):Pawel Huryn 的 invoice benchmark 显示分类器能对已表达的 Schema 给出高置信度,但无法发现规则集中没有写出的业务约束。分工:确定性代码执行已知约束,窄模型处理边界清楚的语义判断,独立规则覆盖检查或人工领域审查负责寻找 omissions。
  • 阶段化路由(Every/Ben's Bites 2026-09-18, Every 2026-09-18、Ben's Bites 2026-09-18):便宜模型适合高并行探索,目标具体化、需要判断或低置信度时交给更强模型或人;路由记录应区分探索、判断、实现、验证阶段。Cowork 将长时委派并入 Claude 入口,说明执行表面本身也是路由变量。

评测作为路由输入

  • Work-Embedded Evaluation(Every, 2026-08-27, Every 2026-08-27):router 应接受来自组织实际工作的 per-task eval 分数。CentaurBench:独立表现最好的模型在 7 个任务中 5 个不是最佳助手;Thinkingbox:最强模型 pass@1 65.36% 但 pass^20 仅 25.25%;KateBench 85–90% 接受率掩盖了方差与返工。
  • 真实 repo eval 方法论(2026-09-13 Afternoon, AI Briefing 2026-09-13 Afternoon):Pawel Huryn 的 105 planted bugs 测试(答案私有、盲评 judge 来自不同模型家族)比公开 leaderboard 更适合路由 coding agent。OpenAI Developers 也提示 skills、AGENTS.md 和 task prompts 质量影响模型表现——路由表需同时记录 model、harness、prompt contract 与验收标准。
  • Model Retention Rate(thdxr, 2026-08-26 Evening, AI 简报 2026-08-26 Evening):OpenRouter 发布按模型计算的周留存率(本周 80% 请求指向单一模型的用户,下周是否保持)。Leaderboard 可以被优化,用户用脚投票不会说谎——留存率可作为路由的长期质量信号。
  • 个人基准(Every 2026-09-21, Every 2026-09-21, 详见 personal-ai-benchmark):owned evals 的操作层。Luna vs Fable 在 10 任务咨询基准上得分略低、成本相差数百倍(前提是任务位于"辨识地平线"之下);Anthropic 官方观察 Opus 与 Fable 的差距只在实质性、开放式任务上明显。评测约束:LLM 百分制分数系统性聚集在 70/100 附近,路由 eval 应使用二元 pass/fail 检查项。
  • 组织评估能力(2026-08-30 Morning, AI Briefing 2026-08-30 Morning):Madhu Guru 给出企业侧路径——先建立覆盖真实用例和业务结果的 eval suite,再建设模型无关的路由层;router 需要内部任务样本、语言维度、成本边界、供应商 fallback 和人工验收记录,不能只读公开 leaderboard。
  • Benchmark 时效性(2026-09-07 Afternoon, AI Briefing 2026-09-07 Afternoon):Pratham 认为 Fable 5.1 与 Astra 几天内互相反超,公开 benchmark 更易变成短期营销指标;Paweł Huryn 的 AI writing slop 盲测提醒评测方法本身需披露任务、样本、评委和一致性过滤。

战略层

  • Stripe 收购 OpenRouter(2026-08-18, [[raw/newsletters/AINews/2026-08-18 [AINews] Stripe buys OpenRouter for $7B.md|AINews 2026-08-18]]):约 $7B、~50x 收入倍数。模型接入/聚合层的战略价值可比肩顶级 SaaS 基础设施;路由、fallback 和开发者信任可能比任何单一模型更持久。反方:若 markup 压缩至零,5% take 可能被云厂商或开源路由栈削弱,长期防御依赖工作流嵌入、品牌信任和差异化服务。
  • Enterprise Reliability Debate(2026-06-03, [[raw/newsletters/AINews/2026-06-03 [AINews] Microsoft Build MAI-Thinking-1 and MAI Family models.md|AINews 2026-06-03]]):@glennko 指出企业生产可靠性使通用路由比爱好者认为的更难——路由决策本身需要高可靠性,失败可能导致级联故障;支持方(@ClementDelangue、@garrytan、@matanSF)视模型路由为未来关键抽象层。概念验证到生产部署的鸿沟:爱好者场景路由失败只是体验下降,企业场景可能是合规、财务或安全事件。
  • 路由应隐藏在工作流结果之后(2026-09-03 Evening, AI Briefing 2026-09-03 Evening):realmadhuguru(Lovable 经验)把模型路由的产品目标概括为用户不必承担模型选择。"模型可选"只是下拉菜单,"模型可路由"需要把模型选择连接到任务结果、成本、速度和失败恢复。风险:自动隐藏可能降低透明度,高风险任务仍需保留可见的模型和证据路径。
  • Vals Router Index(2026-10-22, AINews 2026-10-22):跨 5 个路由器、约 1,250 个任务,每个路由器在分数与成本上都至少被一个单一模型击败;oracle 事后最优可提升 8–27 分。含义不是"路由无用",而是当前路由器的实际选择离预算内最优还有明显距离。窄域对照:ClaimBench 上 Decider V1.2 自处理 99.7% claims、其余升级 Haiku 5.5,准确率 99.9%、成本 $0.11/千条(纯 Haiku $1.19)——窄域级联可以成立,与"广义 Agent 路由较弱"不矛盾。
  • 商品智能审计(Every 2026-10-01, Every 2026-10-01):路由表需要候选池,候选池来自对日常工作的"商品智能审计":让最了解你工作的 AI 生成 recurring work 画像,按 10 项品质 + 4 项测试(Scope/Stakes/Verifiability/Economics)筛选,产出 3 个带通过条件和疑点的实验。关键判据是可验证性而非难度:错误易发现的工作适合小模型。边界:商品智能只做提取、排序、摘要、格式化、初稿,模糊判断留给人或前沿模型。产业证据:Cursor 将 Kimi K2.5 微调为 Composer 2 作编码 Agent 底层。
  • 驾驶隐喻与监督密度(Every 2026-10-04, Every 2026-10-04; 2026-10-09 Morning, AI Briefing 2026-10-09 Morning):Sonnet 5.5 是"你驾驶的那台模型"(头脑风暴、原型、设计),Opus 接管长时间无人监督运行。分层第二维是监督密度:被"驾驶"的快速迭代任务适合中端模型,无人值守长任务才值得旗舰模型。2026-10-09 的三分工:Sonnet 主流程、Haiku 并行探索、Opus 只处理计划、卡点和最终审查。可验证性决定哪些工作可降级,监督密度决定在候选池内如何分层。

Open questions

  • 模型判断任务复杂度的准确率如何?多模型链路的延迟与调试复杂性如何量化?
  • Vibe 偏好在模型升级后是否快速过时?Loop routing 中强模型同时任 planner 和 reviewer 是否放大同源偏误?
  • Vals Router Index 是单一评测方结果,oracle 上限不等于可实现策略;ClaimBench 窄域结论能否外推?
  • Jev 类模型的"零幻觉"说法主要来自产品材料,缺少公开校准曲线。

2026-10:按人工介入频率路由

来源:Ben's Bites 2026-10-06

Ben Tossell 给出路由的另一个分法:按人工介入频率与可接受等待时间分,而不是只按任务难度分。他整天实时 steering coding agent,在这个模式里"快"就是"聪明"——速度缩短人的思考-反馈回路,主观上等价于更聪明;因此高频 steering 任务应优先低延迟、可见状态和快速纠偏。完全无人监督的长任务逻辑相反:可以换取更强模型和更高延迟,优先能力与验证。这把本页已有的"监督密度"维度具体化为一条可操作规则:steering 密度应成为路由表的一列。

同一来源的配套观察:可见、可编辑的记忆是信任基础设施。Ben 花数月维护自己的 context garden,并要求 Agent 把每条记忆同步到 Google Doc 以便人工检查——记忆不可见时,用户无法判断 Agent 是否在正确的前提下工作,steering 越频繁,这个前提越关键。

2026-11-10:Effort 按输出类型验证

来源:AI Briefing 2026-11-10 Morning。

Every 称,他们让 Fable 5.2 在不同 effort 设置下完成相同设计任务并盲评:设计品味上 high 得分高于 max;较高设置有时改善动画和交互细节,却让静态布局显得过繁。团队给出的起点是代码用 low、研究与写作用 medium、设计用 high、动画和交互用 max。推文没有交代任务集规模、评分量表或评审一致性,因此这些数值仅是该团队的经验,不能视为通用基准。

这条证据支持把 effort 与输出类型一起纳入路由评估,并在自己的固定任务上对比质量与成本;模型能力或 effort 越高,不保证每种视觉工作都更合适。

时限维度补充(2026-11-11):Every 报告一位测试者用其自己的 9 项任务、每项限时 10 分钟,Gemini 4 Carbon 的平均分为 low 81、medium 62、high 54;5 次运行触及时间上限(均为 medium 或 high),其中 3 次得 0。去掉 deadline 后,三档均分变为 81、76、80,差距几乎消失。来源是单一测试者的工作集,不能当作通用基准。它提示路由评测应把实际时限作为条件:先在自己的任务和截止时间下比较 effort,再决定默认值。

来源:AI Briefing 2026-11-11 Morning · 原推文。

Pending Jean review

相关主题入口

Sources

Synthesized from 38 sources
  • AI 简报 2026-04-10Supporting source listed by this page.Whole pagemediumbody
  • Every 2026-04-27 You Are the Most Expensive ModelSupporting source listed by this page.Whole pagemediumbody
  • Model-Harness-FitSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-05-14 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • Ben's Bites 2026-06-12Supporting source listed by this page.Whole pagemediumbody
  • Every 2026-06-12 — AI Everywhere, All at OnceSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-08-26 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-08-26 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-08-26 EveningSupporting source listed by this page.Whole pagemediumbody
  • Every 2026-08-27Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-08-30 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-03 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-04 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-07 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-08 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-08 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-13 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-16 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-17 EveningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-18 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-18 EveningSupporting source listed by this page.Whole pagemediumbody
  • Every 2026-09-18Supporting source listed by this page.Whole pagemediumbody
  • Ben's Bites 2026-09-18Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-19 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-19 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • Every 2026-09-21Supporting source listed by this page.Whole pagemediumbody
  • Every 2026-10-01Supporting source listed by this page.Whole pagemediumbody
  • Every 2026-10-04Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-10-09 MorningSupporting source listed by this page.Whole pagemediumbody
  • Sonnet、Haiku、Opus 分工Supporting source listed by this page.Whole pagemediumbody
  • Haiku Explore 子 agentSupporting source listed by this page.Whole pagemediumbody
  • Subagent effort levelSupporting source listed by this page.Whole pagemediumbody
  • AINews 2026-10-22 — DeepSeek DeepInfer 开源推理栈Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-11-10 MorningSupporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-11-12 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • 2026-10-01 Getting Started With Open ModelsSupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-11-11-07-59Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-06 Thoughts from San FranciscoSupporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 38 sources.

    From AI 简报 2026-04-10, Every 2026-04-27 You Are the Most Expensive Model, Model-Harness-Fit, AI 简报 2026-05-14 Afternoon, Ben's Bites 2026-06-12To Model Routing Strategies — 路由策略与决策框架
    Sources: raw/briefing/AI Briefing/2026-04-10.md · raw/newsletters/Every/2026-04-27 You Are the Most Expensive Model.md · raw/twitter/x-articles/Model-Harness-Fit - Nicolas Bustamante.md · raw/briefing/AI Briefing/2026-05-14-18-40.md · raw/newsletters/Ben's Bites/2026-06-12 New Claude model - Fable.md · raw/newsletters/Every/2026-06-12 AI Everywhere All at Once.md · raw/briefing/AI Briefing/2026-08-26-08-39.md · raw/briefing/AI Briefing/2026-08-26-18-48.md · raw/briefing/AI Briefing/2026-08-26-23-36.md · raw/newsletters/Every/2026-08-27 Benchmarks Don't Know Your Job.md · raw/briefing/AI Briefing/2026-08-30-08-10.md · raw/briefing/AI Briefing/2026-09-03-02-03.md · raw/briefing/AI Briefing/2026-09-04-08-05.md · raw/briefing/AI Briefing/2026-09-07-19-14.md · raw/briefing/AI Briefing/2026-09-08-17-42.md · raw/briefing/AI Briefing/2026-09-08-23-06.md · raw/briefing/AI Briefing/2026-09-13-17-40.md · raw/briefing/AI Briefing/2026-09-16-08-05.md · raw/briefing/AI Briefing/2026-09-17-01-58.md · raw/briefing/AI Briefing/2026-09-18-17-43.md · raw/briefing/AI Briefing/2026-09-18-23-00.md · raw/newsletters/Every/2026-09-18 Why You Should Burn More Tokens.md · raw/newsletters/Ben's Bites/2026-09-18 New home for Cowork.md · raw/briefing/AI Briefing/2026-09-19-08-05.md · raw/briefing/AI Briefing/2026-09-19-17-42.md · raw/newsletters/Every/2026-09-21 How to Create Your Own Personal AI Benchmark.md · raw/newsletters/Every/2026-10-01 Getting Started With Open Models.md · raw/newsletters/Every/2026-10-04 ChatGPT Wants to Be Your Operating System.md · raw/briefing/AI Briefing/2026-10-09-08-05.md · https://x.com/_guillecasaus/status/2108160812615369011 · https://x.com/Voxyz_ai/status/2108301411188408794 · https://x.com/lydiahallie/status/2107625236430798909 · raw/newsletters/AINews/2026-10-22 AINews DeepSeek DeepInfer Open Source SOTA Inference.md · raw/briefing/AI Briefing/2026-11-10-08-02.md · raw/briefing/AI Briefing/2026-11-12-17-34.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Every/2026-10-01 Getting Started With Open Models.md · raw/briefing/AI Briefing/2026-11-11-07-59.md · raw/newsletters/Ben's Bites/2026-10-06 Thoughts from San Francisco.md

Linked from