SkillOpt
What it is
SkillOpt 是 Microsoft Research 提出的 Skill 级别优化方法：将 LLM 的推理能力按 "Skill"（任务类型）进行划分，对每个 Skill 单独优化，而非对整个模型统一优化。在 52 个测试 Skill 中全部达到最佳性能，且零额外推理成本。
Why it matters
- 跨模型迁移：优化后的 Skill 可以在不同模型间迁移（GPT-4 → Claude → Llama）
- 零额外推理成本：不需要额外的推理步骤或更大的模型
- 细粒度控制：针对特定任务类型的优化，比全局优化更有效
核心机制
- Skill 分解：将复杂任务分解为可识别的 Skill 类型（如"代码生成"、"文档理解"、"逻辑推理"）
- Skill 级别训练：为每个 Skill 训练专门的优化器
- 动态路由：根据输入任务类型自动选择对应的 Skill 优化器
- 迁移学习：优化后的 Skill 参数可以在不同基础模型间迁移
实验结果
| 指标 |
结果 |
| 测试 Skill 数 |
52/52 最佳 |
| 额外推理成本 |
0 |
| 跨模型迁移 |
支持 |
| 开源实现 |
已发布 |
与现有方法对比
| 方法 |
粒度 |
迁移性 |
成本 |
| 全模型微调 |
粗 |
差 |
高 |
| LoRA/QLoRA |
中 |
中 |
中 |
| SkillOpt |
细 |
强 |
零 |
工程启示
- Skill 是优化的正确粒度：比"模型级别"更灵活，比"prompt 级别"更稳定
- Skill 市场：未来可能出现"Skill 优化器市场"，针对特定任务购买/下载优化器
- 与 Agent 框架结合：Agent 框架可以内置 SkillOpt，自动为不同任务选择最优配置
Open questions
- Skill 的定义边界如何划分？（任务类型 vs 领域 vs 难度级别）
- SkillOpt 的优化是否与模型架构强耦合？
- 个人用户如何受益于 SkillOpt？（需要云平台支持）