Agent Delivery System and Control Plane
What it is
Agentic Software Is Systems Engineering 在交付与运行层面的展开:agent 的扩容单位不是生成量或 Agent 数量,而是可审查、可回滚、可被接受的交付吞吐量;支撑它的是控制面——目标定义、状态、回执、恢复、路由、验收证据与人工接管点。
Why it matters
Agents API、MCP、托管 runtime 把长时运行、记忆和失败恢复变成可租用能力后,差异化落在具体工作的定义上:什么算完成、什么会被拒绝、审批在哪里发生、结果如何验收。生成速度越快,缺失的状态、权限和验收定义越快地扩散成系统性返工。
Evidence across sources
- Workforce 是系统层:Lingxi 的专门工程 bot、运营 bot、云端 coding agent、外部任务数据库与人工合并闸门;Grok Bot 的夜间审计、P0 紧急路径与 postmortem 说明运营程序本身是 agent 系统的一层(2026-09-02)。
- 目标-路径-执行追踪闭环:需求澄清消除隐性假设并固化规格 → 架构规划、研究探针、最小原型探索路径 → 变更影响分析、变更记录、活文档、E2E 验收保持执行不偏航;AI 编码速度不改变这三个边界,只提高失守后的扩散速度(2026-09-03)。
- AI-native 工程教育化:Stanford《现代软件开发者》与 CS329Z 把 RAG/tool use/MCP 放在基础层,后半段转向 decomposition、agent data、trajectory、memory、optimization、evaluation、reliability;作业要求构建 agent 后设计 benchmark、grader、LLM-as-Judge 与 error analysis——evaluation 已从附属检查变成 agent engineering 的核心能力(2026-09-03 Morning / 2026-09-04)。
- 模型、Harness、评估必须一起看:Huryn 的 105-bug 双仓库测试(Astra 48 / Fable 5.1 43 / GPT-5.6 Sol 42 / Gemini 3.8 Flash 20)把模型比较推向可复现任务;ARC-AGI-3 分数随 harness 大幅变化;回归评测应同时记录 harness、推理强度、上下文、耗时、误报与 accepted fix;遇到失败先定位检索/工具/上下文/harness/模型,再决定修法(2026-09-05 / 2026-09-06 Morning)。
- 知识工作需要反馈基础设施:代码易自动化是因为类型、测试、文档、仓库、版本控制提供密集反馈;知识工作目标、上下文、验收、交接不稳定则 agent 无法闭环;规划、写入、测试、Shell、Tunnel、macOS 用户权限应视为不同系统层(2026-09-07 / 2026-09-08)。
- 垂直工作流优于通用 runtime:差异化落在完成定义、拒绝条件、审批位置与验收方式;Levie 的企业观察与 Codex 访谈(agent 核心与产品层隔离、不变量、强自动化检查、人工审查转向意图与架构)说明流程重构、Agent 身份、多模型并存、遗留系统仍是系统工程(2026-09-12 Morning)。
- 加速把责任推向定义与验收:生成速度越快,系统越需要清楚的提交边界、验证责任和加固时间;agent 产能不等于工程产能,AI 无法自动决定何时停止生成、什么结果算可接受、谁为隐藏失败负责(2026-09-13 Evening)。
- Harness 与 Software Factory 是设计对象:Harness 含工具、记忆、权限与完成信号;软件工厂把需求、代码库、自动与人工复核、反馈回路组织成可重复交付系统;设计对象是从意图到 accepted result 的完整路径(2026-09-14 Evening)。
- Software Factory 结构:Isenberg 的 Markdown 规则、隔离分支、证据工作站(截图、视频、性能数字)与审查工作站,人工只在最后合并;Factory 实践的 CLI、部署环境、lint、feature map 是 agent 的导航与验证基础设施,文档必须能改变 agent 行为或验证结果才值得维护;扩张节奏从每天一个 issue 开始,按 accepted result 与返工逐步增加到 2/5/10;Ben's Bites 的融资报道只是产业侧信号,不能证明单位成本或缺陷率已改善(2026-09-15 / 2026-09-26 / 2026-09-18)。
- 运行环境是产品功能:Anthropic containment 把权限和网络边界设计成 blast radius 控制;Managed Agents 把 session、harness、sandbox 拆成可替换接口;artifacts 把过程证据变成可分享页面——生产 agent 需要环境隔离、会话可恢复、工具错误可回传、共享证据可审查(2026-09-15 Afternoon)。
- 后台工作需要交付系统:Levie 预期 agent 在招聘、客户信号、对话分析、代码审查、系统测试中持续运行;Devin 的 Mac VM + 录屏 + TestFlight 展示环境、工具、可审阅产物如何组成交付流程;交付单位是有边界目标经环境隔离、工具调用、状态检查、证据留存、人工接受后的结果;预算、停止条件、责任人属于系统边界;FDE 案例说明复杂平台只有建在可复用基础能力上才有产品杠杆;worktree 经验把意图、角色权限、验收标准、架构审查、分支收尾写进执行契约(2026-09-16)。
- 吞吐量=可审查反馈回路:worktree 清理案例说明 agent 说"完成"时仍需核对分支、合并状态与实际变更;大公司工程师反例——规格、代码、测试、PRD、工单全 agent 化而团队无阅读验证时间,瓶颈移到架构理解、缺陷定位、事故解释与责任归属;应同时记录 accepted changes、review time、escaped defects、rework、rollback 和能解释系统的人(2026-09-17 / 2026-09-20)。
- 价值用 accepted output 而非 Token 衡量:Codex 使用盘点把问题从"用了多少 Token"转向"最后变成了什么";吞吐量、Token、运行时长只是输入,accepted result、剩余人工、返工、回滚才是系统产出(2026-09-19 Morning)。
- 监控链自身需要健康监控:业务监控正常不等于监控系统健康;静默失败常发生在观察链;每条长时任务应区分任务结果、调度器活性、输入新鲜度、执行日志、交付副本和下游吸收状态(2026-09-19 Afternoon)。
- 边界扩展到理解、删除与禁止:拒绝无法解释因果的流畅 prose;用新上下文审查并删除 agent 写出的过量代码;工具 deny list 作为一等配置(2026-09-27 Morning)。
- 长期壁垒=行动反馈回路:"观察→决策→执行→结果→反馈"的行动历史形成复利;前提是权限边界内行动、结果可保存、有删除路径(2026-09-27 Afternoon)。
- 三层拆分与输入边界:reasoning / execution / surface 拆分,文件、自动化、共享规则连接团队;新模型可能吸收中间层编排能力,但权限、恢复、审计和用户可理解性仍需系统设计;输入边界扩展到整个互联网——来源许可、站点条款、原始摘录、引用保存、结果删除都要像代码一样管理;Inference Engineering 提示服务层、硬件、隔离、延迟与成本共同约束(2026-10-01)。
- 部署层与平台扩展面:企业落地=遗留系统改造+数据访问+工作流+人工检查点+持续评估;MCP、插件、合作伙伴应用、云端执行把扩展面推向平台化,越强越需要明确凭据、权限、可见性、成本与回滚边界;用户反向证据——agent 看不到关键上下文、执行不可见、失败仍消耗额度时,平台能力不会自动转化为可靠工作流(2026-10-01 Evening)。
- 持久化 runtime 与 harness 即能力:长任务价值来自状态持久化、调度与环境解耦、上下文分叉与恢复语义,而非更长对话窗口;频繁改写缓存前缀会把记忆设计直接变成延迟和成本问题。多 harness RL 显示同一模型同一权重在不同 harness 上成绩显著不同——harness 本身是能力表现的一部分;可替换的模型、工具、session、sandbox、loop、UI 需配套生命周期、权限与回滚契约,否则可组合性会变成不可审计的运行时自修改(2026-10-02)。
- 能力落地看工作流、经济学与反馈环:企业 FDE、应用层利润、个人 Agent 连续执行说明系统性能不能只用模型能力描述,还要看工作流接口、单位结果成本、权限与反馈是否闭环。能力 probe 与生产验收应分两条链:Karpathy 的 Land or Water 实验显示潜在能力可被简单 probe 激活,但通过测试不等于理解架构、可读性与任务意图(2026-10-03)。
- 控制面比 Agent 数量稀缺:Objective 定义结果、Work Item 承载可追踪工作单元、Agent 在权限预算约束内执行;真正稀缺的是控制面、端到端验收、状态恢复与抽象边界,否则并发只会放大重复、漂移与调试成本。终端 Tab 不是持久上下文;项目抽象与 lint 规则主动收窄设计空间;端到端测试证明结果仍符合真实用户路径(2026-10-04 / 2026-10-05)。
- 状态、回执与恢复:State 记录任务做到哪里,Receipts 证明实际发生了什么,Recovery 说明中断后如何继续,Routing 决定下一步交给谁;canonical owner 不等于只有一个传感器,独立来源可以互相发现错误(2026-10-05 Evening)。
- Evals 是产品规格:AI 产品不应在构建完成后补 QA,evals 应在产品开始前定义什么叫正确;企业部署必须在真实文件、CRM、邮件和未来模型变化的环境里持续测试;harness 的价值不是让 Agent 更自由,而是让真实工作环境中的结果、回归和成本可测量(2026-10-06)。
- 文件接口与权限路由:Markdown 文件同时成为 agent 的输出和人的审阅界面;高风险动作路由给第二个 agent 和人,而不是直接放开全部权限;模型+harness+工具+上下文+评测是一个整体,可靠性取决于文件接口、权限边界与持续状态能否被不同参与者共同检查(2026-10-06 Evening)。
- 项目地图与模型路由:过夜工作需要 project map 和可验证的中间状态;多模型代理把技能、API、路由、账单、审计放进同一控制面;辅助模型降低延迟、深度任务升级主模型——验收单位是任务结果、状态连续性、成本和回归,而不是单次回答(2026-10-07)。
- 约束、目标与对抗审查:明确目标才能沿可衡量方向持续改进;约束与软件工程知识决定能否从 vibe coding 走向可靠结果;并行 Agent 与对抗式审查提供独立压力,但会增加 token、协调与一致性成本(2026-10-07 Evening)。
- 编排与真实世界评测:AGENTS.md 渐进披露、子代理编排、Scheduled Tasks 预算与失败告警、基于真实工作流的 harness evaluation 是同一问题的不同层面;真实世界评测比 benchmark 更有价值但也更难维护,应先选高风险、高频工作流(2026-10-08)。
- 约束、接口与经济学:约束要能阻止越界动作,接口要覆盖真实设备与用户环境,经济学要能约束并行与推理成本;"更多 Agent"不等于更低成本,小模型 swarm 可能更贵(2026-10-08 Evening)。
- 执行面细节:Sonnet/Haiku/Opus 分工由任务复杂度与监督密度驱动;hooks fail-closed——外部动作失败时应阻断而非继续执行;验收单位回到可验证的变更规模,一次生成几千行代码的讨论提醒"能生成"不等于"能验收"。手机应用控制、语音开发、云端 Managed Agent、远程 devbox、生产运行时都成为系统一部分;权限、来源 bookmark、素材 manifest、审阅面板、可恢复中间状态决定可交付性(2026-10-09)。
- 环境、反馈 loop 与并行编排:Pine Computer 观点把瓶颈指向人类电脑与沉重 harness;方案→原型→实现→验证的快速反馈 loop 把工作拆成可验证小段;dynamic workflows 把可拆分任务变成带程序传递上下文的并行执行;并行 agent 只在任务可清晰拆分且验收证据足够时才应启用(2026-10-10)。
- 验证作为工作循环与仓库属性:把 Agent 运行拆成"执行—产生证据—缩小任务—再次验证"的循环,而不是把一次成功输出当作完成;Hark 事务型用例把聊天输出接到实际执行,outer/inner loop 拆分长期目标与单次任务责任,真实世界模拟要求评估覆盖环境、状态与连续动作,代理购物的支付确认与可回滚执行是系统边界的一部分;agent 写出坏测试时,问题也在允许坏测试合并的代码库——"先定义 done,再按证据验证"应成为 harness 的系统约束(2026-10-11 / 2026-10-12)。
2026-11-02 Afternoon — Super-agent scheduling architecture
DeepSeek 产品部把 Super-agent 描述为一种持续运行的架构提案:常驻 Router 保留跨任务上下文并将工作派给隔离的 Worker,以事件驱动和异步执行并行推进任务;计算、会话状态与执行环境分层,并由外部 Watchdog 监控基础设施和任务进度。文章还把上下文按使用概率 inline 或 spill,并沿引用链逐步召回。
作者报告的合成调度实验约含 300 条消息、20 个工作请求,每种方案重复 5 次;Super-agent 的 p50/p95 完成时间为 12.4/15.7 分钟,单会话中性提示基线的 p95 为 29.5 分钟。实验用只消耗时间的模拟工具替代编码,因此测量的是调度与协作耗时,不是代码质量。架构和内部案例来自作者自述;安全、隐私、长期记忆与扩展性仍是开放问题,时延数字尚未独立复现。它为控制面中的路由、状态和恢复提供了具体设计例子,但不构成通用性能结论。
来源:AI Briefing 2026-11-02 Afternoon;DeepSeek 产品部 — Super-agent 设计探索。全文拆解、实验数字与开放问题见 Super-agent 的 Router-Worker 双层架构,本节不再扩写。
Counterpoints & Gaps
- 以上判断主要来自 briefing 时间线、产品公告、个人实践与厂商博客,几乎没有跨团队的吞吐、缺陷率、ROI 受控对照。
- 软件工厂、并行编排、对抗审查都会增加协调成本,不应成为默认配置;适用边界需按任务依赖与风险决定。
- "完成"只能由验收结果、外部状态和回滚证据确认,不能由 agent 自报完成替代。
- 更多插件、共享状态与常驻机器会扩大攻击面;可组合性必须伴随权限隔离与撤销路径。
Open questions
- 个人工作流的最小可行控制面是什么——文件、日志和约定能替代多少平台功能?
- 多 Agent 配置(单 Agent / 并行 / 对抗审查)应在什么任务规模下才值得其协调成本?
- 哪些验收项应固化为本地 harness 的默认检查(模型路由、fail-closed hooks、可验证变更规模、坏测试率)?
Related
- harness-engineering/agentic-software-is-systems-engineering — 父页(hub)
- harness-engineering/agentic-software-five-layers — 五层框架
- harness-engineering/maintainable-ai-generated-code — 代码生成后的可维护性边界
- harness-engineering/self-verification-loops
- harness-engineering/agent-trust-verification
- harness-engineering/lightweight-vs-orchestration-harness
2026-11-01 Evening — Scale only with verification and recoverable async state
来源:AI Briefing 2026-11-01 Evening;@hwchase17、@Tao100086 与 @HiTw93。
本次来源补充了交付控制面的两个约束。Harrison Chase 指出,常驻 Agent 在后台运行时仍要保持面向用户的主 Agent 响应;通知需要在“有帮助”和“造成打扰”之间校准,异步任务还要处理主运行仍在执行、已结束或等待审批等状态。Lauren Tan 的建议经 @Tao100086 转述,先建立项目知识、真实验证路径和自动化约束,再逐步扩大 Agent 自主性。@HiTw93 的 CI 优化清单则从测量最近运行的排队、准备和测试阶段开始,要求保留必需检查并比较优化前后的实际耗时。
这些例子共同把扩展顺序落到可恢复状态和可验证结果:先让执行、回执、审批和验收可见,再扩大并发或后台运行。单纯增加 Agent 数量不能替代这些控制点。
Counterpoints & Gaps
- 这些来源主要提供作者经验和建议,没有给出不同通知策略或扩展阶段的对照数据。
- CI 优化方法依赖仓库结构、runner 配额与必需检查配置,不能把单一清单当作通用性能保证。
Sources (addendum)
-
AI Briefing 2026-11-01 Evening — async delivery、verification-first scaling 与 CI measurement
-
AI Briefing 2026-11-02 Afternoon — DeepSeek Super-agent routing, worker isolation, and synthetic scheduling study
2026-11-02 Evening — Versioned artifacts and programmatic tool orchestration
来源:AI Briefing 2026-11-02 Evening;Anthropic 的 AI-native SDLC playbook 与 @Xudong Han 对 Factory Droid 1.0 的摘要。
Anthropic 的手册把 Plan、Design、Build、Test、Deploy、Maintain 串成由版本化工件驱动的循环:每个阶段提交 intent、spec、plan、代码与测试、审查记录或事故记录,下一阶段从已接受的工件开始。它是厂商内部实践手册,说明一种可执行的交接设计,不等于已独立验证的生产效果。
Droid 1.0 的二手摘要提供另一种控制面例子:把确定性的多工具编排放进生成程序,保留程序内的完整日志,只把筛选后的结果交回模型;长任务可后台运行,完成后唤醒 Agent。单个案例报告 312 次工具调用、151 个 Linear 工单只发起两次模型请求。推文还称同一改动让 Opus 成本下降 22%、Kimi 成本上升 32%,提醒 Harness 优化可能因模型而异。
可复用的设计点是把阶段交接和工具执行都变成可检查的工件与程序路径,同时保留原始轨迹供审计。工具批处理和少回传结果可能减少模型往返,但应按目标模型和代表任务分别测量成本、正确性与遗漏。
Counterpoints & Gaps
- Droid 数字来自一条对原文的时间线摘要;本次没有核对原始文章或复现该案例。
- Anthropic 手册是厂商建议;artifact-triggered workflow 的速度、返工和治理成本仍需各团队自己评估。
Sources (addendum)
- AI Briefing 2026-11-02 Evening
- Siva — Anthropic AI-native SDLC playbook
- Xudong Han — Factory Droid 1.0 summary
Pending Jean review
- harness-engineering/agent-delivery-control-plane — keep the artifact chain as an attributed vendor playbook; verify Droid’s tool-call and model-cost figures against the original before using them as benchmarks.