Skip to content
Back/Harness Engineering

Factory.ai Missions 多 Agent 架构

View in Graph
Updated 2026-09-26
2 min read
496 words

Factory.ai Missions 多 Agent 架构

来源:raw/newsletters/Ben's Bites/2026-04-14 Big lab leaks 原文:How Missions Work

核心洞察

Agent 对上下文高度敏感。 轨迹是 append-only 的,模型在任何时刻的推理都是所有历史思考、观察和行动的函数。上下文越宽泛,信噪比越低,性能越差。

架构设计原则

1. 关注点分离(Separation of Concerns)

角色 职责 不做什么
Orchestrator 规划、分解任务、定义验证合约 不直接实现代码
Workers 实现具体功能 不做规划,不做验证
Validators 验证输出质量 不实现修复

三者激励互不干扰,防止"既当运动员又当裁判"。

2. 两层 TDD(Test-Driven Development)

  • Worker 级别:先写测试再写代码(传统 TDD)
  • Mission 级别:Orchestrator 先定义验证合约(behavioral assertions checklist),再分解功能

3. 外部化状态

没有单一 Agent 需要在上下文中持有完整图景。状态分布在共享 artifacts(文件系统)中,每个 Worker 从全新上下文开始。

4. 模型专业化

不同角色使用不同模型:

  • 规划(Orchestrator):推理能力强的模型
  • 执行(Workers):成本低的模型
  • 验证(Validators):彻底、严格的模型

实际案例:构建 Slack 克隆

指标 数据
总运行时间 16.5 小时
Agent 运行次数 185 次(1 Orchestrator + 63 Workers + 27 Validators)
总 token 7.785 亿
缓存读取占比 95.7%(7.449 亿 token)— 成本控制关键
代码行数 38,800 行
测试代码占比 52.5%
语句覆盖率 89.25%
Validators 发现问题 81 个
修复功能数量 21 个(占实现工作量的 34.4%)
每 Milestone 收敛轮数 2-4 轮

功能覆盖:workspace auth、channels、real-time messaging、file uploads、search、notifications

与其他架构的对比

维度 Factory Missions 传统单 Agent 文件夹即 Agent
上下文管理 每个 Worker 新鲜上下文 单一累积上下文 文件夹隔离上下文
验证 独立 Validator 角色 自我验证 手动审查
状态共享 共享 artifacts 单一上下文 文件系统
适用场景 大型工程任务 简单任务 日常开发运维

关键教训

  1. Validator 是必须的独立角色:81 个问题中,Validator 发现的问题占实现工作量的 34.4%,说明自我验证严重不足
  2. 缓存是成本控制的核心:95.7% 的 token 来自缓存读取,没有缓存这个系统将不可行
  3. 先定义验证合约:在 Orchestrator 开始分解任务之前,先定义 behavioral assertions checklist

实践案例:Ben's session #6 用 Droid 构建 Design Words(2026-09-11)

来源:Ben's Bites — Telling AI to design is hard

Ben Tossell 用 Factory Droid 构建并发布了 Design Words(面向非设计师的设计风格提示词构建器),是上述架构原则的一次个人规模实战验证:

  • 模型专业化落地为"开源执行 + 旗舰思考":GLM 5.3(经 Droid Core,token 额度大)承担搬运和快速修复;Fable 5.1 只做大规模设计重构与 UX/受众思考;Fable 还充当 Orchestrator,调度擅长 computer use 的 Luna 启动站点、自动完成验证测试。Ben 此后已把 Deepseek v4 Flash 当日常主力——旗舰模型退守思考与编排、开源模型承担执行,正在成为个人开发者的默认配置。
  • Orchestrator 指令模式:要求主 agent 写 plan、为 subagent 写任务 brief、给出非常具体的设计细节与验证步骤(agent 必须查看自己的产出)、最多 20 个并发 subagent、先建 design.md 避免重复 briefing。
  • 上下文新鲜度的前置仪式:正式构建前把领先原型(11 版中的 v8)移入全新 style-picker 文件夹,让 agent 先写 design.md(设计系统说明文档),避免历史决策和原型垃圾污染——"外部化状态/新鲜上下文"原则在单 agent 工作流中的对应实践。
  • Validator 独立性的轻量版:卡住时 spawn 全新上下文的 subagent 做批判性评审(Opus 5 critique),一半价值在"看回应、给自己可探索的线索",避免主线程上下文锚定。
  • Token 账单:38 sessions / 116 prompts / 2 天 / 约 381M tokens(Idea 150K、Prototype 27.4M、Build 353.5M)。Build 阶段是 Prototype 的约 13 倍——正式构建仍是 token 大头。打破僵局的手段不是继续堆迭代,而是换全新视角(新上下文 subagent)并提高要求量级(从 "What would take this site up 10x?" 到 "make this a thousand times better")。
  • 产品判断"视觉优先、prompt 其次":用户要先能看到效果、调到满意,"复制 prompt"只是最后一步;不给具体指令时 AI 只会吐出训练数据里的样板模板(boilerplate),"突破 AI 默认风格"被视为个人风格民主化的入口。

相关页面

2026-09-25:测试审计与受限环境强化独立验证

来源:AI Briefing 2026-09-25 Evening

时间线中的 test-audit 案例显示,agent 生成的大量测试可能只增加代码量而没有增加有效保护。与 Missions 的独立 Validator 角色结合看,质量控制应审计测试的行为信号和维护成本,而不是只追求覆盖率。另一个团队实践则把 agent 放进严格受限环境,并用抽象和 lint 规则阻止常见错误。

Counterpoints & Gaps

  • 删除测试后覆盖率变化不大,不等于行为保护没有下降。
  • 受限环境可能减少错误,但也可能阻止必要的探索和修复路径。

Pending Jean review

2026-09-26:把测试审计、标准记忆和独立 review 串成闭环

来源:AI Briefing 2026-09-26 Evening

本次时间线把 Missions 的独立 Validator 原则推进到日常 coding agent 工作流。test-audit 关注测试是否提供行为保护;CODING_STANDARDS.md 把每次真实错误沉淀为规则;独立 review agent 则负责按规则检查并在影响范围受限时提交修复。三者共同构成从失败、规则到验证的反馈闭环。

Counterpoints & Gaps

  • 测试行数减少或覆盖率稳定,都不能单独证明回归保护能力没有下降。
  • 自动提交修复需要明确 blast radius、回滚路径和人工升级条件。

Pending Jean review

Sources

Synthesized from 6 sources

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 6 sources.

    Sources: /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-25-22-58.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-26-22-57.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Ben's Bites/2026-09-11 Telling AI to design is hard.md · raw/briefing/AI Briefing/2026-09-25-22-58.md · raw/briefing/AI Briefing/2026-09-26-22-57.md · raw/newsletters/Ben's Bites/2026-09-11 Telling AI to design is hard.md

Linked from