Back/harness engineering

Model Routing — 智能模型选择

Updated 2026-04-10
1 min read
170 words

Model Routing — 智能模型选择

Model Routing 是在不同模型间智能分配任务的技术,让合适的模型处理合适的任务,以优化性能与成本的平衡。

核心机制

Sonnet 调用 Opus 模式

Anthropic 的实现

  • 默认:Sonnet 处理大部分任务(更快、更便宜)
  • 复杂任务:Sonnet 调用 Opus 获得更强能力
  • 结果:整体性能提升,总成本降低

为什么降低成本

  • 避免 Sonnet 在复杂任务上浪费大量 token
  • Opus 只在必要时调用
  • 简单任务用便宜模型,复杂任务用强力模型

实现方式

通过 Tool Use

User → Sonnet → [判断任务复杂度]
                ↓
           [简单任务] → 直接处理
           [复杂任务] → 调用 Opus → 返回结果

动态判断

模型自身判断何时需要升级:

  • 基于任务描述
  • 基于中间结果的复杂度
  • 基于历史经验

成本与性能平衡

策略 性能 成本 适用场景
全用强力模型 最高 最高 不计成本的关键任务
全用轻量模型 较低 最低 简单批量任务
智能路由 中等 混合任务场景

与 Multi-Agent 的关系

Model Routing 是 multi-agent 架构的一种形式:

  • 不同模型扮演不同角色
  • 轻量模型作为 router
  • 强力模型作为 specialist

实践建议

  • 分析任务复杂度分布
  • 建立简单/复杂任务的判断标准
  • 监控路由决策的准确性
  • 持续优化路由策略

Counterpoints & Gaps

  • 判断准确性:模型判断任务复杂度的准确率如何?
  • 延迟增加:模型间调用增加延迟
  • 调试复杂性:多模型链路增加调试难度

Sources

Linked from