Skip to content
Back/Harness Engineering

Agent 持续学习:三层框架

View in Graph
Updated 2026-10-22
4 min read
964 words

Agent 持续学习:三层框架

What it is

Agent 持续学习不只发生在模型权重里。对实际 agent 系统来说,学习可以发生在三层:Model、Harness、Context。模型层更新权重,harness 层更新代码和控制逻辑,context 层更新指令、skills、记忆、工具配置和组织知识。

Heuristic Learning 提供了第四个相邻视角:持续学习还可以表现为 coding agent 持续维护一个可测试、可回放、可压缩的软件系统,而不是每次都更新模型权重。

Why it matters

这一区分能防止把所有“学习”都误解为训练模型。当前多数个人和团队可操作的持续学习,实际上发生在 harness 层和 context 层:分析 traces、修正 workflow、沉淀 skills、更新 CLAUDE.md / SOUL.md / wiki,而不是微调模型权重。

Evidence across sources

  • Harrison Chase 将 agent 学习分为 Model、Harness、Context 三层,并指出 traces 是驱动三层改进的共同材料。
  • OpenAI Chief Scientist Ako Paioki 将 continual learning 列为核心研究目标,但承认灾难性遗忘和真实 reward signal 仍是障碍。
  • Demis Hassabis 将持续学习、长程推理、记忆列为 AGI 三个未解问题。
  • Dwarkesh Patel 对突破时间线更保守,暗示短期 agent 进步更可能来自 harness/context 而非模型权重持续学习。
  • Jiayi Weng 的 Heuristic Learning 实验把反馈、测试、replay、日志、代码编辑和压缩视为一种持续学习路径:旧能力不只存在于权重里,也可以固化为 regression tests、golden traces 和可维护的软件结构。
  • Dwarkesh Patel 引用 Karpathy 观点:人类工作记忆会定期 wiped,真正靠的是 consolidation 过程将经验蒸馏进大脑;这暗示 agent 长期记忆需要周期性整合而非无限累积(2026-05-17)。

Three Layers

Layer What changes Practical owner
Model weights via SFT/RL/continual training model labs
Harness code, control flow, evaluators, tool policy product/infra teams
Context memory, instructions, skills, wiki, tenant knowledge agent owner / organization

Heuristic systems as adjacent layer

Heuristic Learning sits between Harness and Model. It uses the harness to absorb feedback quickly, maintains explicit code/tests/replays as memory, and may later produce cleaner training data for model updates. This matters because it gives continual learning a near-term engineering path even when weight-level continual learning remains hard.

Consolidation vs accumulation

Karpathy 提出一个与人类学习类比的修正:人类工作记忆会定期 wiped,真正靠的是 consolidation 过程(如睡眠)将经验蒸馏进大脑。这与「让模型一直累积、实时微调」的持续学习思路形成张力。启示是:agent 的长期学习可能需要周期性整合(类似睡眠/审计),而非纯粹的流式追加或无限上下文膨胀。这对当前 memory substrate 的设计有直接影响——压缩和整合应成为一等机制,而非事后优化(dwarkesh_sp, 2026-05-17)。

Fable 5 记忆能力实验(2026-06-11)

来源:RLanceMartin — Designing loops with Fable 5

Anthropic 工程师使用 Continual Learning Bench 1.0 对比了 Fable 5、Opus 4.7 和 Sonnet 4.6 在跨 session 记忆任务中的表现。任务要求 agent 在访问 SQL 数据库的前提下回答连续问题,每个问题是一个独立 session,记忆通过挂载文件系统提供。

记忆能力五阶段递进:

阶段 行为 Fable 5 Opus 4.7 Sonnet 4.6
1. 失败(Fail) 做错并记录 完成 完成 完成
2. 调查(Investigate) 在继续前弄清原因 完成 部分完成 极少完成
3. 验证(Verify) 将诊断转化为可检查的事实 完成 部分完成,覆盖率 7-33%(中位数 ~17%) 极少完成
4. 提炼(Distill) 将验证结果转化为通用规则 完成 未完成 未完成
5. 查阅(Consult) 读取规则而非重新推导 完成 未完成 未完成

关键发现:

  • Fable 5 在最优运行中验证覆盖率达到 73%(22/30 问题),并将学习成果提炼为通用规则以辅助未来任务
  • Opus 4.7 能创建带不确定性标记的 schema 参考(如"possibly prc in cents? Verify."),但验证覆盖率低
  • Sonnet 4.6 的记忆存储多为失败笔记和开放猜测(如"maybe prc instead of prc_usd?"),很少查阅先前笔记
  • 提升 Sonnet 4.6 表现需要任务特定的记忆指令,而 Fable 5 倾向于自主完成完整递进

设计启示:

  • 有效记忆使用需要明确的递进结构:失败 → 调查 → 验证 → 提炼 → 查阅
  • 仅提供记忆存储不足以保证跨 session 学习;模型需要被引导完成完整验证和提炼闭环
  • CMA 的 memory 功能(挂载文件系统,跨 session 共享)是实现这一模式的基础设施

Fable 5 记忆能力实验(2026-06-11)

来源:RLanceMartin — Designing loops with Fable 5

Anthropic 工程师使用 Continual Learning Bench 1.0 对比了 Fable 5、Opus 4.7 和 Sonnet 4.6 在跨 session 记忆任务中的表现。任务要求 agent 在访问 SQL 数据库的前提下回答连续问题,每个问题是一个独立 session,记忆通过挂载文件系统提供。

记忆能力五阶段递进:

阶段 行为 Fable 5 Opus 4.7 Sonnet 4.6
1. 失败(Fail) 做错并记录 完成 完成 完成
2. 调查(Investigate) 在继续前弄清原因 完成 部分完成 极少完成
3. 验证(Verify) 将诊断转化为可检查的事实 完成 部分完成,覆盖率 7-33%(中位数 ~17%) 极少完成
4. 提炼(Distill) 将验证结果转化为通用规则 完成 未完成 未完成
5. 查阅(Consult) 读取规则而非重新推导 完成 未完成 未完成

关键发现:

  • Fable 5 在最优运行中验证覆盖率达到 73%(22/30 问题),并将学习成果提炼为通用规则以辅助未来任务
  • Opus 4.7 能创建带不确定性标记的 schema 参考(如"possibly prc in cents? Verify."),但验证覆盖率低
  • Sonnet 4.6 的记忆存储多为失败笔记和开放猜测(如"maybe prc instead of prc_usd?"),很少查阅先前笔记
  • 提升 Sonnet 4.6 表现需要任务特定的记忆指令,而 Fable 5 倾向于自主完成完整递进

设计启示:

  • 有效记忆使用需要明确的递进结构:失败 → 调查 → 验证 → 提炼 → 查阅
  • 仅提供记忆存储不足以保证跨 session 学习;模型需要被引导完成完整验证和提炼闭环
  • CMA 的 memory 功能(挂载文件系统,跨 session 共享)是实现这一模式的基础设施

Engram:工作空间内的持续学习与记忆内化(2026-06-28)

来源:AI Builders Digest 2026-06-28 — Training Data 播客

Engram 联合创始人 Dan Biderman 和 Jessy Lin 提出,当前模型的瓶颈不在于原始智能,而在于理解和适应不断演变的新上下文。现有 RAG 和上下文工程方案只是权宜之计——真正的记忆需要将知识内化到模型权重中。

技术路线:

  • 为每个团队在工作空间(Notion、Microsoft、Harvey)内训练专属模型
  • 采用适配器微调(LoRA、前缀调优、稀疏架构)和多种训练信号(SFT、RL、蒸馏)
  • 实现轻量化的持续学习,避免灾难性遗忘

核心洞察:

  • 内化知识能产生检索系统无法实现的联想推理——就像员工不需要搜索昨天做了什么,他们本身就"知道"
  • 内部化知识 vs 外置知识的权衡:什么应该内化、什么应该外置
  • 语言在 AI 进展中超越视觉的一个可能原因:在计算机中两者都是电子信号,信息论层面处于同一竞技场,而生物学中视觉因光子的更高比特率占据优势

与三层框架的关系: Engram 的做法主要在 Model 层(权重微调)和 Context 层(工作空间数据)之间寻找平衡。它提示我们:context-layer 的持续学习(更新 wiki、skills、记忆文件)与 weight-level 的持续学习(微调)不是互斥的,而是针对不同时间尺度和知识类型的互补策略。

The Era of Experience: a higher-level paradigm

核心区分:

人类数据的时代 经验的时代
从互联网提取已有人类知识 智能体与环境大规模互动,自行发现新知识
学习材料 = 语言、标注、偏好 学习材料 = 行动、观察、世界反馈
奖励由标注者定义 奖励由行动对世界产生的真实后果定义
推理是抽象的、脱离情境的 推理扎根于实际互动经验
类比:化石燃料(已耗尽大部分容易收益) 类比:可再生能源(无上限)

Silver 认为 LLM 把人类已有知识装进模型的能力"快做到头了"——这是"AI 的浅层问题"。真正的深层问题是"一个智能体如何为自己学习",就像婴儿通过玩耍、探索、给自己设定小目标来发展技能一样。

三个经验驱动案例:

  1. AlphaZero — 从零开始(随机权重),仅用 MCTS + Policy/Value 两个网络,几小时内击败世界冠军程序。证明纯经验学习可以达成超人水平。
  2. AlphaProof — 将数学形式化为 Lean 语言中的博弈,用 AlphaZero 方法学习"玩数学"。2024年成为首个 IMO 获奖 AI(距金牌仅一分),证明过程完全自行发现。
  3. DiscoRL(发现 RL 算法) — 元层面应用:用神经网络表示学习算法本身,让它在各种环境中摸索最优算法。最终超越了人类设计的最佳 RL 算法(MuZero),且可迁移到未见环境。展现了新的 scaling law:接触经验越多,越善于从经验中学习。

与三层框架的关系:

  • "经验的时代"回答的是学什么(从人类数据转向环境经验)
  • 三层框架回答的是在哪学(Model / Harness / Context 三层分别更新什么)
  • Heuristic Learning 回答的是怎么学(用 coding agent 维护可测试的软件系统,而不是只更新权重)

三者共同构成了从"预训练→微调"范式向"持续经验驱动"范式迁移的完整图景。

Big World Hypothesis and continual backprop(2026-09-01)

来源:AI Briefing 2026-09-01 Afternoon

Rich Sutton 和 Khurram Javed 的 Training Data 访谈把持续学习重新拉回权重层和环境经验层。Sutton 认为“continual learning”其实只是学习的本义:智能体持续行动、感知并更新,而不是先从静态数据集训练完再冻结。Javed 用 big world hypothesis 解释为什么单靠合成数据不够:世界远比任何数据集或单个智能体复杂,且包含其他同等复杂的智能体,真正的瓶颈是从真实经验中不断学习,而不是让人类继续挑选要生成什么 synthetic dataset。

技术上,这补充了本页三层框架中 Model 层的具体路线:每个权重需要独立 step size,并通过 meta-learning 决定哪些权重快速变化、哪些保持稳定;continual backprop 则持续注入随机初始化的新单元,让网络在训练后期仍能 generate-and-test 新特征,避免初始随机性被耗尽。这与当前个人 agent 更容易落地的 Harness/Context 学习不同,但它解释了为什么长期看“经验流 + 权重更新”仍是模型层的核心未解问题。

Counterpoints & Gaps

  • 这是 Sutton/Javed 的研究路线和访谈观点,不是当前 LLM 产品已经具备的能力。
  • 对个人 agent 系统,短期仍应把持续学习主要落在 harness-engineering/heuristic-learning、skills、tests、memory 和 wiki 整合上。

Open questions

  • Context 层学习什么时候会变成 memory drift?
  • Traces 应如何采样、压缩和审计,才能既可学习又不污染未来判断?
  • 个人 wiki 的 ai_draft -> human_verified 流程是否可以视为 context-layer continual learning?
  • Heuristic Learning 的适用边界在哪里,尤其是复杂感知和长程泛化任务?

Prompts for witness

  • Engram 提出的「内化知识 vs 外置知识」权衡,在你的个人知识管理实践中对应什么?你的 Obsidian vault 里有多少是"内化"的(真正成为你的直觉和判断),多少是"外置"的(需要搜索才能找到)?
  • 如果 agent 的持续学习需要周期性整合(类似睡眠/审计)而非无限累积,你自己的学习和创作节奏是否也需要类似的"整合周期"?你的整合机制是什么——是旅行、写作、还是其他?
  • 假设三年后你的个人 agent 已经通过持续学习深度理解了你的所有工作习惯和判断偏好,你会放心让它代表你做多少决策?什么类型的决策你仍然坚持亲自做?

2026-09-02: Operational memory through postmortems

来源:AI Briefing 2026-09-02 Evening

Grok Bot 的工程团队案例把持续学习放在运营层:运营 bot 每天与工程 bot 复盘 playbook,遇到错误时做根因分析和 postmortem,再把修改后的规则分发给其他 bot。新成员也通过同一套团队规则和协作过程入职。

这是一种比直接更新模型更窄的经验内化路径。错误先进入可审查的 playbook,再影响后续运行;日常同步负责在上下文有限时重新激活规则。

Counterpoints & Gaps

  • 文章没有说明 playbook 修改如何经过独立验证,也没有报告错误率变化。
  • 每日 bot 会议可能增加 token 和协调成本,需要与实际故障率改善对比。

Sources (addendum)

Pending Jean review

2026-10-22:把内容筛选的自我改进限制在历史回放与人工批准内

来源:Ben's Bites:Claude's personal agent

Ben 的 X 收藏到 newsletter 草稿流程把持续改进放在 harness/context 层:他用过去 78 期和 2,629 条已标注收藏建立历史任务集;作者报告,逐条评分的 Jev 找回约 68% 的实际刊载故事,改为一次读取完整时间窗口的 GPT-6.1 Sol 方案约为 70%。这些是作者自述结果,材料没有交代独立保留集或完整评测协议,不能据此认定批量方案普遍更优。

流程上的约束更可复用:时间窗口以“上次发送”切分;人工更正和撤销都追加记录;发送后比较模型选择、人工修改与实际刊载内容,只提出规则更新建议;规则须经 Ben 批准并通过历史回放后才纳入。自动化停在未发布草稿。这样,历史 trace 变成可检查的评估和规则更新输入,而系统不会因单期反馈自行改写行为或对外发布。

Counterpoints & Gaps

  • 2,629 条标注和命中率来自作者自述;样本是否独立于规则归纳过程、是否按时间留出新期,来源没有说明。
  • 该案例不能单独证明追加日志或人工批准降低了漏选、误选;仍需看后续期的前瞻表现和修正规则后的回归结果。

Sources (addendum)

Pending Jean review

Sources

Synthesized from 12 sources
  • Continual learning for AI agentsSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-04-20Supporting source listed by this page.Whole pagemediumbody
  • 2026-04-28 NYT Dwarkesh Patel 人物特写Supporting source listed by this page.Whole pagemediumbody
  • Demis Hassabis YC 访谈 2026-05-02Supporting source listed by this page.Whole pagemediumbody
  • Learning Beyond Gradients — Jiayi WengSupporting source listed by this page.Whole pagemediumbody
  • David Silver — The Era of Experience(高飞整理)Supporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-05-17 Morning — Karpathy consolidation 类比Supporting source listed by this page.Whole pagemediumbody
  • RLanceMartin — Designing loops with Fable 5Supporting source listed by this page.Whole pagemediumbody
  • AI Builders Digest 2026-06-28 — Engram 播客Supporting source listed by this page.Whole pagemediumbody
  • AI Briefing 2026-09-01 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • 2026-10-22 Claude's personal agentSupporting source listed by this page.Whole pagemediumabsorb log
  • 2026-09-02-00-34Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 12 sources.

    From Continual learning for AI agents, AI 简报 2026-04-20, 2026-04-28 NYT Dwarkesh Patel 人物特写, Demis Hassabis YC 访谈 2026-05-02, Learning Beyond Gradients — Jiayi WengTo Agent 持续学习:三层框架
    Sources: raw/to-learn/Continual learning for AI agents.md · raw/briefing/AI Briefing/2026-04-20.md · raw/social-triage/2026-04-28 NYT Dwarkesh Patel AI播客.md · raw/social-triage/2026-05-02 Demis Hassabis - AGI 还缺什么 智能体到底行不行.md · raw/to-learn/Learning Beyond Gradients - Jiayi Weng · raw/social-triage/2026-05-12 David Silver The Era of Experience.md · raw/briefing/AI Briefing/2026-05-17-09-00.md · raw/to-learn/Designing loops with Fable 5.md · raw/briefing/AI Builders Digest/2026-06-28.md · raw/briefing/AI Briefing/2026-09-01-17-41.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Ben's Bites/2026-10-22 Claude's personal agent.md · raw/briefing/AI Briefing/2026-09-02-00-34.md

Linked from