Long-Running Agent Harness
What it is
长时运行 Agent Harness 是让 AI Agent 连续运行数小时甚至数天而不跑偏的工程架构。核心挑战不是模型能力,而是上下文管理、规划能力和自我判断的系统性保障。
来自 Anthropic 应用 AI 团队(Ash Prabaker & Andrew Wilson)的 AI Engineer Summit 2025 分享。
Why it matters
当 Agent 从"完成几分钟小任务"扩展到"构建完整应用、调试复杂系统、持续自我推进"时,单会话的上下文窗口和简单循环已不够用。需要专门的 harness 架构来保障:
- 状态不丢失(检查点、压缩、恢复)
- 计划不漂移(planner 角色分离)
- 完成标准客观(evaluator 对抗验证)
Three Core Problems
| 难题 | 表现 | 解决方向 |
|---|---|---|
| 上下文管理 | 跑久了忘记前面在做什么 | 检查点、压缩、新 context window |
| 规划能力 | 多步骤任务中计划漂移 | 将 planner 拆分为独立角色 |
| 自我判断 | 不知道什么时候算"完成" | 用 evaluator 替代自我评估 |
Evolution of Claude Code (Andrew's Timeline)
| 阶段 | 关键能力 |
|---|---|
| 早期 2024 | 模型只能跑 20 分钟 |
| Artifacts / Computer Use / MCP / Skills | 产物预览、电脑操作、工具协议、技能复用 |
| 检查点 / Agent teams / 服务端压缩 | 状态保存、多 Agent 协作、百万上下文 |
| Opus 4 / Sonnet 4 | 上下文管理和任务完成能力提升 |
| Ralph loop | "确定性地差"的循环设计 |
| Claude Code 2.0 | 检查点、压缩、更强上下文意识 |
| Haiku / Opus 4.5 | 子 Agent 变便宜,规划与执行可以拆分 |
| Opus 4.6 / Sonnet 4.6 | 更 agentic 的模型与 Agent teams |
核心原则:"能以可预测的方式失败,比以不可预测的方式成功更好。"
First-Gen Long-Running Harness
从模糊 prompt 到持久化产物:
- 输入:一句模糊的 feature 描述
- 输出:feature list、progress 记录、git repo
- 每轮循环:新上下文 → 冒烟测试 → 实现 → 验证 → 提交
New Harness Architecture: Role Separation (Ash)
Core Insight
"前沿并不会真的缩小,它只是会移动。"
模型变强后,harness 不会消失,而是会演化。
Generator + Evaluator Pattern (GAN-inspired)
| 角色 | 职责 |
|---|---|
| Generator(生成器) | 负责构建 |
| Evaluator(评估器) | 负责批评 |
为什么不要让 Agent 自己审查自己:
- 模型自我评估时过于宽容
- 有"迎合倾向"(sycophancy)
- 容易过早宣布完成
如何设计"严格的批评者":
- 把品味变成可评分标准
- 用 Playwright 打开真实页面、点击、截图、测试
- 把具体批评交回给生成器
Frontend Quality Dimensions
- 设计(Design)
- 原创性(Originality)
- 工艺感(Craftsmanship)
- 功能性(Functionality)
Three-Layer Architecture
Planner(规划者)→ Generator(生成器)→ Evaluator(评估器)
Contract(契约)—— Key Innovation
- Generator 和 Evaluator 先协商"什么叫完成"
- 形成具体的、可验证的标准
- 这是 Ralph loop 缺少的关键创新
Case Study: Retro Forge (Retro Game Maker)
Without Harness
- 看起来能用,但实际玩不了
- 路由顺序错误、删除逻辑 bug、生产环境 bug
With Harness
- 项目对话框、Sprite 编辑器、AI 关卡助手
- Evaluator 真正玩游戏:方向键、碰撞、HUD、物理循环都被测试
27 Contract Standards
"标准模糊,批评就会模糊。generator 只会耸耸肩,然后随便改点东西。"
- 标准具体 → 批评可执行 → generator 知道怎么修复
- 标准模糊 → 批评模糊 → generator 耸耸肩随便改
Debugging Craft: Read Traces
Ash 多次强调:
- 没有神秘秘诀
- 一行一行看模型为什么这么判断
- 哪里和人类预期不一致
- 把这些发现写回 prompt、CLAUDE.md 或 skill
"只有这样,你才真正知道 scaffold 里哪些部分该删,哪些部分该留。"
Leave Breadcrumbs for Future Agents
如果 Agent 生成的应用未来还要继续维护:
- JSON 状态文件
- 时间戳日志
- bug 记录、修复记录
- 文件结构说明
"你等于给另一个模型留下了一串面包屑,让它之后能接着往下看。"
Key Quotes
- "能以可预测的方式失败,比以不可预测的方式成功更好。"
- "前沿并不会真的缩小,它只是会移动。"
- "把一个独立的批评者调得更严格,其实是很可行的;但把一个构建者调成有自我批评能力,就没那么容易。"
- "标准模糊,批评就会模糊。"
- "如果你对东西应该长什么样有明确看法,那就逼自己把它写下来。"
- "只有这样,你才真正知道 scaffold 里哪些部分该删,哪些部分该留。"
- "你等于给另一个模型留下了一串面包屑,让它之后能接着往下看。"
Pi 的 50 小时 harness 反思(2026-08-23)
来源:AI Briefing 2026-08-23 Evening — @MaxForAI
Pi.dev 在最新 dev notes 中把问题从"谁的工具更多"转向"如果一个 agent 连续跑 50 小时,它还能不能知道自己干过什么"。这代表长程 agent harness 的竞争维度正在从功能完备性转向状态可恢复性。
Prune + spill 替代 permanently-lossy 压缩
DSH 的 context pruner 在工具输出过长时只保留头尾、中间裁掉,Pi 称之为 permanently-lossy,因为被删掉的内容无法恢复。Pi 的改进是 prune + spill:context 里只保留片段和文件路径/offset,完整结果落到磁盘,模型需要时自己 grep/sed/read。实测 context 占用降 26%–35%,uncached prefill 降 72%–88%,且信息可恢复。
把 agent run 当成数据库事务设计
Pi 最近重写 harness,将一次 agent run 视为接近数据库事务的结构:
- tool call 执行前先写 intent,执行结束再写结果;
- 进程崩溃后系统能判断 tool 是否执行过;
- Session Tree、运行状态、Lane、Operation Log 分开保存;
- 一个 agent 可并行跑多个 Lane,每个 Lane 都知道自己的当前位置、队列和未完成操作;
- 甚至处理"进程刚好死在 tool 执行到一半"的 recovery 场景。
插件边界与长期状态
Pi 越来越强调 Conversation、Runtime State、UI、Extension 的边界,因为插件能力无限扩大 + agent 长期运行会导致状态难以推理。这与"Everything is a Plugin"的 Cordis 路线形成张力。
Serverless 上的长程执行(2026-08-23)
来源:AI Briefing 2026-08-23 Evening — @arvin17x
LobeHub 的 arvin17x 指出,Pi 的数据库范式假设单进程单 writer(一个 session 只由一个 harness 进程独占),但云原生场景需要处理多 worker 同时抢 operation 的分布式写入问题。LobeHub 从 agent runtime day0 就适配 serverless / 多 worker,已验证:
- 秒级单用户 1000+ agent 并发;
- 最长一次单 agent 云端执行 3600+ 步并正常跑完;
- 单次调度成本比行业低约 10 倍。
这对长程 agent harness 的启示是:本地单进程假设与云端多 worker 假设需要不同的状态架构。Pi v2 的 per-lane op log 是"权威记录 + 执行状态"塞进同一个 writer 的设计,而云原生环境需要把这一假设显式打开。
2026-08-24 新增证据
Pi 与 Maka 的运行时架构趋同
来源:AI Briefing 2026-08-24 Afternoon — @jakevin7
Maka 团队发现 Pi 的 harness v2 文档与自己已构建的 Maka runtime 架构高度相似:
- 共同 pipeline:durable facts → run state → model context → UI → re-reduce after crash
- 相同工具边界:persist intent → perform effect → persist result
- 用 agent 逐行对比两份架构文档,整体相似度约 50%,"log is truth, state is projection"和"工具副作用边界"两处约 80%
两者没有共享术语、类型名或文档结构,且 intent-before-effect 模式本质上是 WAL / Saga / event sourcing / durable workflow 的标准实践。Maka 的 log-first runtime 章节发布于 2026-07-12,Pi 的 harness-v2.md 首次提交于 2026-07-29。作者选择将此解读为"趋同"而非"复制":当两个无关团队从不同方向到达同一结构时,说明 agent harness 层正在 settled on 一个共识——这个共识 borrowed from 操作系统和数据库。
Pi/Maka 趋同的进一步确认(2026-08-25)
来源:AI Briefing 2026-08-25 Morning — @jakevin7
@jakevin7 在 2026-08-24 的初步观察后再次强调:Pi 和 Maka 从各自路径出发设计出几乎一样的架构,已经说明 agent harness 层正在形成共识。这个共识其实就是 OS 和 DB 的那一套——预写日志、事件溯源、可恢复持久化操作。工程没有银弹,做了很多工作之后,核心原理仍回到软件工程经典内容。
Mastra Observational Memory:可恢复的长期记忆
来源:AI Briefing 2026-08-25 Morning — @chunxiangai
Mastra 的 Observational Memory (OM) 代表了长程 agent 上下文管理的另一种可恢复路径:
- 后台 agent 观察对话并维护密集的 observation log;
- 当激活条件满足时,用 observation 替换旧消息,而非永久丢失信息;
- 客户端只需发送 resourceId 和 threadId,无需发送完整历史;
- 实测缓存命中率可达 96%,输出/输入比例提升 2.5 倍,成本降低 3.2 倍。
这与 Pi 的 prune+spill 形成互补:Pi 强调"把完整结果 spill 到磁盘、按需读取",OM 强调"用背景 agent 把原始历史蒸馏成 observation log"。两者共同指向一个原则:不要 permanently-lossy 地压缩上下文,而是保留可恢复的信息结构。
DeepSeek Harness 的 98.2% 缓存命中
来源:AI Briefing 2026-08-24 Afternoon — @TheAhmadOsman
Ahmad 报告使用自托管 DeepSeek V4 Flash 0731 配合 DeepSeek Harness 数小时后的体验:
- 缓存命中率达到 98.2%,对 token 和时间/规划效率影响显著
- 主要缺点是当前仅支持 web,作者希望有 TUI 版本
这说明 harness 层的缓存效率正在成为长程 agent 经济性的关键变量,与 Claude Code 团队将 prompt caching 视为 SEV 级别指标的判断一致。
Alma 与 Pi 的 prune + spill 互证
来源:AI Briefing 2026-08-24 Afternoon — @yetone
yetone 指出 Alma 对长 tool result 的处理方式与 Pi 相同,也是 prune + spill,效果不错。这与 Pi dev notes 中提出的"不要 permanently-lossy 压缩,而是摘要 + 磁盘 spill + 按需读取"形成独立互证,说明 prune + spill 正成为长程 agent 上下文管理的默认模式。
来源:AI Builders Digest 2026-06-15 — Garry Tan
Garry Tan 预测,下一代改变世界的年轻人将是那些最擅长让长时间、多阶段、多团队的代理任务在生活和工作的各个方面高效运行的人。这一判断将长时运行 agent harness 从工程问题重新框定为一种新兴的"元能力":未来个体和组织的竞争力可能取决于他们设计、委托和监督跨时间、跨团队循环的能力。
这与 harness 工程的技术视角形成互补:技术解决"如何让 agent 不跑偏",而文化预测回答"谁会因为掌握这种能力而获得不对称优势"。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| 诗梳风 EP577 | Anthropic 内部长时运行 harness 的三层架构(planner-generator-evaluator)+ contract 机制 | 官方团队一手实践,生产级案例验证 |
| 诗梳风 EP577 | Retro Forge 案例:27 条 contract 标准 + evaluator 真玩游戏 | 具体展示对抗验证如何解决"看起来能用实际玩不了"问题 |
| Voxyz_ai 动态工作流分析 | 6 大模式 + 10 用例 + 3 大故障模式 | 与长时运行 harness 形成互补:前者关注编排模式,后者关注角色分离 |
| Thariq 动态工作流 | classify-act / fan-out-synthesize / adversarial-verify 等模式 | 可与 planner-generator-evaluator 组合使用 |
| AI Briefing 2026-08-23 Evening | Pi 的 prune+spill、intent/result 事务日志、Lane 并行、crash recovery | 从"50 小时 agent 是否还记得自己做过什么"角度补充状态可恢复性 |
| AI Briefing 2026-08-23 Evening | LobeHub 云原生多 worker 长程执行:1000+ 并发、3600+ 步、成本降 10 倍 | 补充 serverless/分布式 writer 场景下的长程执行证据 |
| Garry Tan (AI Builders Digest 2026-06-15) | 下一代改变世界的年轻人将最擅长让长时间、多阶段、多团队的代理任务高效运行 | 将 harness 能力重新框定为文化/代际竞争优势 |
Related
- Ralph Harness Framework
- Multi-Agent Coordination
- Self-Verification Loops
- Agent Harness Worker Model
- Dynamic Workflows
- Managed Agents Architecture
Open Questions
- Contract 标准如何自动演化?人工维护 27 条标准是否可持续?
- Evaluator 的"品味"如何跨项目迁移?是否需要 few-shot 示例库?
- Planner-Generator-Evaluator 三层架构的 token 成本如何优化?
- "面包屑"记录的标准格式是什么?是否需要跨 harness 兼容?
2026-10:常驻 agent 的完整实现拆解(Lee Robinson)
Lee Robinson 斯坦福 CS146S 逐章拆解 always-on agent(Vercel v0 Agent 45 分钟):服务器+云桌面休眠按需唤醒(Firecracker 快照);Temporal 持久化工作流断点续跑;客户端-服务器仅靠 send-to-user 工具通信;主 agent 只留工具名在上下文里、按需读说明;信息检索按便宜到贵顺序(对话→插件→搜索→浏览器→整台桌面);缓存预热,「缓存未命中即 bug」。