Factory.ai Missions 多 Agent 架构
来源:raw/newsletters/Ben's Bites/2026-04-14 Big lab leaks 原文:How Missions Work
核心洞察
Agent 对上下文高度敏感。 轨迹是 append-only 的,模型在任何时刻的推理都是所有历史思考、观察和行动的函数。上下文越宽泛,信噪比越低,性能越差。
架构设计原则
1. 关注点分离(Separation of Concerns)
| 角色 | 职责 | 不做什么 |
|---|---|---|
| Orchestrator | 规划、分解任务、定义验证合约 | 不直接实现代码 |
| Workers | 实现具体功能 | 不做规划,不做验证 |
| Validators | 验证输出质量 | 不实现修复 |
三者激励互不干扰,防止"既当运动员又当裁判"。
2. 两层 TDD(Test-Driven Development)
- Worker 级别:先写测试再写代码(传统 TDD)
- Mission 级别:Orchestrator 先定义验证合约(behavioral assertions checklist),再分解功能
3. 外部化状态
没有单一 Agent 需要在上下文中持有完整图景。状态分布在共享 artifacts(文件系统)中,每个 Worker 从全新上下文开始。
4. 模型专业化
不同角色使用不同模型:
- 规划(Orchestrator):推理能力强的模型
- 执行(Workers):成本低的模型
- 验证(Validators):彻底、严格的模型
实际案例:构建 Slack 克隆
| 指标 | 数据 |
|---|---|
| 总运行时间 | 16.5 小时 |
| Agent 运行次数 | 185 次(1 Orchestrator + 63 Workers + 27 Validators) |
| 总 token | 7.785 亿 |
| 缓存读取占比 | 95.7%(7.449 亿 token)— 成本控制关键 |
| 代码行数 | 38,800 行 |
| 测试代码占比 | 52.5% |
| 语句覆盖率 | 89.25% |
| Validators 发现问题 | 81 个 |
| 修复功能数量 | 21 个(占实现工作量的 34.4%) |
| 每 Milestone 收敛轮数 | 2-4 轮 |
功能覆盖:workspace auth、channels、real-time messaging、file uploads、search、notifications
与其他架构的对比
| 维度 | Factory Missions | 传统单 Agent | 文件夹即 Agent |
|---|---|---|---|
| 上下文管理 | 每个 Worker 新鲜上下文 | 单一累积上下文 | 文件夹隔离上下文 |
| 验证 | 独立 Validator 角色 | 自我验证 | 手动审查 |
| 状态共享 | 共享 artifacts | 单一上下文 | 文件系统 |
| 适用场景 | 大型工程任务 | 简单任务 | 日常开发运维 |
关键教训
- Validator 是必须的独立角色:81 个问题中,Validator 发现的问题占实现工作量的 34.4%,说明自我验证严重不足
- 缓存是成本控制的核心:95.7% 的 token 来自缓存读取,没有缓存这个系统将不可行
- 先定义验证合约:在 Orchestrator 开始分解任务之前,先定义 behavioral assertions checklist
实践案例:Ben's session #6 用 Droid 构建 Design Words(2026-09-11)
来源:Ben's Bites — Telling AI to design is hard
Ben Tossell 用 Factory Droid 构建并发布了 Design Words(面向非设计师的设计风格提示词构建器),是上述架构原则的一次个人规模实战验证:
- 模型专业化落地为"开源执行 + 旗舰思考":GLM 5.3(经 Droid Core,token 额度大)承担搬运和快速修复;Fable 5.1 只做大规模设计重构与 UX/受众思考;Fable 还充当 Orchestrator,调度擅长 computer use 的 Luna 启动站点、自动完成验证测试。Ben 此后已把 Deepseek v4 Flash 当日常主力——旗舰模型退守思考与编排、开源模型承担执行,正在成为个人开发者的默认配置。
- Orchestrator 指令模式:要求主 agent 写 plan、为 subagent 写任务 brief、给出非常具体的设计细节与验证步骤(agent 必须查看自己的产出)、最多 20 个并发 subagent、先建 design.md 避免重复 briefing。
- 上下文新鲜度的前置仪式:正式构建前把领先原型(11 版中的 v8)移入全新
style-picker文件夹,让 agent 先写 design.md(设计系统说明文档),避免历史决策和原型垃圾污染——"外部化状态/新鲜上下文"原则在单 agent 工作流中的对应实践。 - Validator 独立性的轻量版:卡住时 spawn 全新上下文的 subagent 做批判性评审(Opus 5 critique),一半价值在"看回应、给自己可探索的线索",避免主线程上下文锚定。
- Token 账单:38 sessions / 116 prompts / 2 天 / 约 381M tokens(Idea 150K、Prototype 27.4M、Build 353.5M)。Build 阶段是 Prototype 的约 13 倍——正式构建仍是 token 大头。打破僵局的手段不是继续堆迭代,而是换全新视角(新上下文 subagent)并提高要求量级(从 "What would take this site up 10x?" 到 "make this a thousand times better")。
- 产品判断"视觉优先、prompt 其次":用户要先能看到效果、调到满意,"复制 prompt"只是最后一步;不给具体指令时 AI 只会吐出训练数据里的样板模板(boilerplate),"突破 AI 默认风格"被视为个人风格民主化的入口。
相关页面
- harness-engineering/multi-agent-coordination-patterns — 多 Agent 协调模式综述
- harness-engineering/self-verification-loops — 自我验证循环
- harness-engineering/folder-is-the-agent — 文件夹即 Agent(轻量级替代方案)
- harness-engineering/context-rot — 上下文腐化问题
2026-09-25:测试审计与受限环境强化独立验证
来源:AI Briefing 2026-09-25 Evening
时间线中的 test-audit 案例显示,agent 生成的大量测试可能只增加代码量而没有增加有效保护。与 Missions 的独立 Validator 角色结合看,质量控制应审计测试的行为信号和维护成本,而不是只追求覆盖率。另一个团队实践则把 agent 放进严格受限环境,并用抽象和 lint 规则阻止常见错误。
Counterpoints & Gaps
- 删除测试后覆盖率变化不大,不等于行为保护没有下降。
- 受限环境可能减少错误,但也可能阻止必要的探索和修复路径。
Pending Jean review
- harness-engineering/factory-missions-architecture — ai_draft; 选一个小型仓库比较测试审计前后对真实回归的发现率和维护成本。
2026-09-26:把测试审计、标准记忆和独立 review 串成闭环
来源:AI Briefing 2026-09-26 Evening
本次时间线把 Missions 的独立 Validator 原则推进到日常 coding agent 工作流。test-audit 关注测试是否提供行为保护;CODING_STANDARDS.md 把每次真实错误沉淀为规则;独立 review agent 则负责按规则检查并在影响范围受限时提交修复。三者共同构成从失败、规则到验证的反馈闭环。
Counterpoints & Gaps
- 测试行数减少或覆盖率稳定,都不能单独证明回归保护能力没有下降。
- 自动提交修复需要明确 blast radius、回滚路径和人工升级条件。
Pending Jean review
- harness-engineering/factory-missions-architecture — ai_draft; 在一个小型仓库上比较测试审计、规则记忆和独立 review 对真实回归发现率的影响。