Skip to content
Back/Harness Engineering

Long-Running Agent Harness

View in Graph
Updated 2026-10-27
5 min read
1,052 words

Long-Running Agent Harness

What it is

长时运行 Agent Harness 是让 AI Agent 连续运行数小时甚至数天而不跑偏的工程架构。核心挑战不是模型能力,而是上下文管理、规划能力和自我判断的系统性保障。

来自 Anthropic 应用 AI 团队(Ash Prabaker & Andrew Wilson)的 AI Engineer Summit 2025 分享。

Why it matters

当 Agent 从"完成几分钟小任务"扩展到"构建完整应用、调试复杂系统、持续自我推进"时,单会话的上下文窗口和简单循环已不够用。需要专门的 harness 架构来保障:

  • 状态不丢失(检查点、压缩、恢复)
  • 计划不漂移(planner 角色分离)
  • 完成标准客观(evaluator 对抗验证)

Three Core Problems

难题 表现 解决方向
上下文管理 跑久了忘记前面在做什么 检查点、压缩、新 context window
规划能力 多步骤任务中计划漂移 将 planner 拆分为独立角色
自我判断 不知道什么时候算"完成" 用 evaluator 替代自我评估

Evolution of Claude Code (Andrew's Timeline)

阶段 关键能力
早期 2024 模型只能跑 20 分钟
Artifacts / Computer Use / MCP / Skills 产物预览、电脑操作、工具协议、技能复用
检查点 / Agent teams / 服务端压缩 状态保存、多 Agent 协作、百万上下文
Opus 4 / Sonnet 4 上下文管理和任务完成能力提升
Ralph loop "确定性地差"的循环设计
Claude Code 2.0 检查点、压缩、更强上下文意识
Haiku / Opus 4.5 子 Agent 变便宜,规划与执行可以拆分
Opus 4.6 / Sonnet 4.6 更 agentic 的模型与 Agent teams

核心原则:"能以可预测的方式失败,比以不可预测的方式成功更好。"

First-Gen Long-Running Harness

从模糊 prompt 到持久化产物:

  1. 输入:一句模糊的 feature 描述
  2. 输出:feature list、progress 记录、git repo
  3. 每轮循环:新上下文 → 冒烟测试 → 实现 → 验证 → 提交

New Harness Architecture: Role Separation (Ash)

Core Insight

"前沿并不会真的缩小,它只是会移动。"

模型变强后,harness 不会消失,而是会演化。

Generator + Evaluator Pattern (GAN-inspired)

角色 职责
Generator(生成器) 负责构建
Evaluator(评估器) 负责批评

为什么不要让 Agent 自己审查自己:

  • 模型自我评估时过于宽容
  • 有"迎合倾向"(sycophancy)
  • 容易过早宣布完成

如何设计"严格的批评者":

  • 把品味变成可评分标准
  • 用 Playwright 打开真实页面、点击、截图、测试
  • 把具体批评交回给生成器

Frontend Quality Dimensions

  1. 设计(Design)
  2. 原创性(Originality)
  3. 工艺感(Craftsmanship)
  4. 功能性(Functionality)

Three-Layer Architecture

Planner(规划者)→ Generator(生成器)→ Evaluator(评估器)

Contract(契约)—— Key Innovation

  • Generator 和 Evaluator 先协商"什么叫完成"
  • 形成具体的、可验证的标准
  • 这是 Ralph loop 缺少的关键创新

Case Study: Retro Forge (Retro Game Maker)

Without Harness

  • 看起来能用,但实际玩不了
  • 路由顺序错误、删除逻辑 bug、生产环境 bug

With Harness

  • 项目对话框、Sprite 编辑器、AI 关卡助手
  • Evaluator 真正玩游戏:方向键、碰撞、HUD、物理循环都被测试

27 Contract Standards

"标准模糊,批评就会模糊。generator 只会耸耸肩,然后随便改点东西。"

  • 标准具体 → 批评可执行 → generator 知道怎么修复
  • 标准模糊 → 批评模糊 → generator 耸耸肩随便改

Debugging Craft: Read Traces

Ash 多次强调:

  • 没有神秘秘诀
  • 一行一行看模型为什么这么判断
  • 哪里和人类预期不一致
  • 把这些发现写回 prompt、CLAUDE.md 或 skill

"只有这样,你才真正知道 scaffold 里哪些部分该删,哪些部分该留。"

Leave Breadcrumbs for Future Agents

如果 Agent 生成的应用未来还要继续维护:

  • JSON 状态文件
  • 时间戳日志
  • bug 记录、修复记录
  • 文件结构说明

"你等于给另一个模型留下了一串面包屑,让它之后能接着往下看。"

Key Quotes

  1. "能以可预测的方式失败,比以不可预测的方式成功更好。"
  2. "前沿并不会真的缩小,它只是会移动。"
  3. "把一个独立的批评者调得更严格,其实是很可行的;但把一个构建者调成有自我批评能力,就没那么容易。"
  4. "标准模糊,批评就会模糊。"
  5. "如果你对东西应该长什么样有明确看法,那就逼自己把它写下来。"
  6. "只有这样,你才真正知道 scaffold 里哪些部分该删,哪些部分该留。"
  7. "你等于给另一个模型留下了一串面包屑,让它之后能接着往下看。"

Pi 的 50 小时 harness 反思(2026-08-23)

来源:AI Briefing 2026-08-23 Evening — @MaxForAI

Pi.dev 在最新 dev notes 中把问题从"谁的工具更多"转向"如果一个 agent 连续跑 50 小时,它还能不能知道自己干过什么"。这代表长程 agent harness 的竞争维度正在从功能完备性转向状态可恢复性。

Prune + spill 替代 permanently-lossy 压缩

DSH 的 context pruner 在工具输出过长时只保留头尾、中间裁掉,Pi 称之为 permanently-lossy,因为被删掉的内容无法恢复。Pi 的改进是 prune + spill:context 里只保留片段和文件路径/offset,完整结果落到磁盘,模型需要时自己 grep/sed/read。实测 context 占用降 26%–35%,uncached prefill 降 72%–88%,且信息可恢复。

把 agent run 当成数据库事务设计

Pi 最近重写 harness,将一次 agent run 视为接近数据库事务的结构:

  • tool call 执行前先写 intent,执行结束再写结果;
  • 进程崩溃后系统能判断 tool 是否执行过;
  • Session Tree、运行状态、Lane、Operation Log 分开保存;
  • 一个 agent 可并行跑多个 Lane,每个 Lane 都知道自己的当前位置、队列和未完成操作;
  • 甚至处理"进程刚好死在 tool 执行到一半"的 recovery 场景。

插件边界与长期状态

Pi 越来越强调 Conversation、Runtime State、UI、Extension 的边界,因为插件能力无限扩大 + agent 长期运行会导致状态难以推理。这与"Everything is a Plugin"的 Cordis 路线形成张力。

Serverless 上的长程执行(2026-08-23)

来源:AI Briefing 2026-08-23 Evening — @arvin17x

LobeHub 的 arvin17x 指出,Pi 的数据库范式假设单进程单 writer(一个 session 只由一个 harness 进程独占),但云原生场景需要处理多 worker 同时抢 operation 的分布式写入问题。LobeHub 从 agent runtime day0 就适配 serverless / 多 worker,已验证:

  • 秒级单用户 1000+ agent 并发;
  • 最长一次单 agent 云端执行 3600+ 步并正常跑完;
  • 单次调度成本比行业低约 10 倍。

这对长程 agent harness 的启示是:本地单进程假设与云端多 worker 假设需要不同的状态架构。Pi v2 的 per-lane op log 是"权威记录 + 执行状态"塞进同一个 writer 的设计,而云原生环境需要把这一假设显式打开。

2026-08-24 新增证据

Pi 与 Maka 的运行时架构趋同

来源:AI Briefing 2026-08-24 Afternoon — @jakevin7

Maka 团队发现 Pi 的 harness v2 文档与自己已构建的 Maka runtime 架构高度相似:

  • 共同 pipeline:durable facts → run state → model context → UI → re-reduce after crash
  • 相同工具边界:persist intent → perform effect → persist result
  • 用 agent 逐行对比两份架构文档,整体相似度约 50%,"log is truth, state is projection"和"工具副作用边界"两处约 80%

两者没有共享术语、类型名或文档结构,且 intent-before-effect 模式本质上是 WAL / Saga / event sourcing / durable workflow 的标准实践。Maka 的 log-first runtime 章节发布于 2026-07-12,Pi 的 harness-v2.md 首次提交于 2026-07-29。作者选择将此解读为"趋同"而非"复制":当两个无关团队从不同方向到达同一结构时,说明 agent harness 层正在 settled on 一个共识——这个共识 borrowed from 操作系统和数据库。

Pi/Maka 趋同的进一步确认(2026-08-25)

来源:AI Briefing 2026-08-25 Morning — @jakevin7

@jakevin7 在 2026-08-24 的初步观察后再次强调:Pi 和 Maka 从各自路径出发设计出几乎一样的架构,已经说明 agent harness 层正在形成共识。这个共识其实就是 OS 和 DB 的那一套——预写日志、事件溯源、可恢复持久化操作。工程没有银弹,做了很多工作之后,核心原理仍回到软件工程经典内容。

Mastra Observational Memory:可恢复的长期记忆

来源:AI Briefing 2026-08-25 Morning — @chunxiangai

Mastra 的 Observational Memory (OM) 代表了长程 agent 上下文管理的另一种可恢复路径:

  • 后台 agent 观察对话并维护密集的 observation log;
  • 当激活条件满足时,用 observation 替换旧消息,而非永久丢失信息;
  • 客户端只需发送 resourceId 和 threadId,无需发送完整历史;
  • 实测缓存命中率可达 96%,输出/输入比例提升 2.5 倍,成本降低 3.2 倍。

这与 Pi 的 prune+spill 形成互补:Pi 强调"把完整结果 spill 到磁盘、按需读取",OM 强调"用背景 agent 把原始历史蒸馏成 observation log"。两者共同指向一个原则:不要 permanently-lossy 地压缩上下文,而是保留可恢复的信息结构。

DeepSeek Harness 的 98.2% 缓存命中

来源:AI Briefing 2026-08-24 Afternoon — @TheAhmadOsman

Ahmad 报告使用自托管 DeepSeek V4 Flash 0731 配合 DeepSeek Harness 数小时后的体验:

  • 缓存命中率达到 98.2%,对 token 和时间/规划效率影响显著
  • 主要缺点是当前仅支持 web,作者希望有 TUI 版本

这说明 harness 层的缓存效率正在成为长程 agent 经济性的关键变量,与 Claude Code 团队将 prompt caching 视为 SEV 级别指标的判断一致。

Alma 与 Pi 的 prune + spill 互证

来源:AI Briefing 2026-08-24 Afternoon — @yetone

yetone 指出 Alma 对长 tool result 的处理方式与 Pi 相同,也是 prune + spill,效果不错。这与 Pi dev notes 中提出的"不要 permanently-lossy 压缩,而是摘要 + 磁盘 spill + 按需读取"形成独立互证,说明 prune + spill 正成为长程 agent 上下文管理的默认模式。

来源:AI Builders Digest 2026-06-15 — Garry Tan

Garry Tan 预测,下一代改变世界的年轻人将是那些最擅长让长时间、多阶段、多团队的代理任务在生活和工作的各个方面高效运行的人。这一判断将长时运行 agent harness 从工程问题重新框定为一种新兴的"元能力":未来个体和组织的竞争力可能取决于他们设计、委托和监督跨时间、跨团队循环的能力。

这与 harness 工程的技术视角形成互补:技术解决"如何让 agent 不跑偏",而文化预测回答"谁会因为掌握这种能力而获得不对称优势"。

Evidence across sources

Source Key Claim Relevance
诗梳风 EP577 Anthropic 内部长时运行 harness 的三层架构(planner-generator-evaluator)+ contract 机制 官方团队一手实践,生产级案例验证
诗梳风 EP577 Retro Forge 案例:27 条 contract 标准 + evaluator 真玩游戏 具体展示对抗验证如何解决"看起来能用实际玩不了"问题
Voxyz_ai 动态工作流分析 6 大模式 + 10 用例 + 3 大故障模式 与长时运行 harness 形成互补:前者关注编排模式,后者关注角色分离
Thariq 动态工作流 classify-act / fan-out-synthesize / adversarial-verify 等模式 可与 planner-generator-evaluator 组合使用
AI Briefing 2026-08-23 Evening Pi 的 prune+spill、intent/result 事务日志、Lane 并行、crash recovery 从"50 小时 agent 是否还记得自己做过什么"角度补充状态可恢复性
AI Briefing 2026-08-23 Evening LobeHub 云原生多 worker 长程执行:1000+ 并发、3600+ 步、成本降 10 倍 补充 serverless/分布式 writer 场景下的长程执行证据
Garry Tan (AI Builders Digest 2026-06-15) 下一代改变世界的年轻人将最擅长让长时间、多阶段、多团队的代理任务高效运行 将 harness 能力重新框定为文化/代际竞争优势

Open Questions

  • Contract 标准如何自动演化?人工维护 27 条标准是否可持续?
  • Evaluator 的"品味"如何跨项目迁移?是否需要 few-shot 示例库?
  • Planner-Generator-Evaluator 三层架构的 token 成本如何优化?
  • "面包屑"记录的标准格式是什么?是否需要跨 harness 兼容?

2026-10:常驻 agent 的完整实现拆解(Lee Robinson)

来源:AI Briefing 2026-10-11

Lee Robinson 斯坦福 CS146S 逐章拆解 always-on agent(Vercel v0 Agent 45 分钟):服务器+云桌面休眠按需唤醒(Firecracker 快照);Temporal 持久化工作流断点续跑;客户端-服务器仅靠 send-to-user 工具通信;主 agent 只留工具名在上下文里、按需读说明;信息检索按便宜到贵顺序(对话→插件→搜索→浏览器→整台桌面);缓存预热,「缓存未命中即 bug」。

Sources

Synthesized from 6 sources
  • 诗梳风 EP577 — 长时运行 AgentSupporting source listed by this page.Whole pagemediumbody
  • AI Builders Digest 2026-06-15Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-08-23 EveningSupporting source listed by this page.Whole pagemediumbody
  • 2026-08-24-18-48Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-08-25-08-38Supporting source listed by this page.Whole pagemediumabsorb log
  • 2026-10-11-22-53Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 6 sources.

    From 诗梳风 EP577 — 长时运行 Agent, AI Builders Digest 2026-06-15, AI Briefing 2026-08-23 Evening, 2026-08-24-18-48, 2026-08-25-08-38To Long-Running Agent Harness
    Sources: raw/to-learn/诗梳风-EP577-长时运行Agent-详细笔记.md · raw/briefing/AI Builders Digest/2026-06-15.md · raw/briefing/AI Briefing/2026-08-23-02-15.md · raw/briefing/AI Briefing/2026-08-24-18-48.md · raw/briefing/AI Briefing/2026-08-25-08-38.md · raw/briefing/AI Briefing/2026-10-11-22-53.md

Linked from