History-Replay 内容筛选管线
What it is
一种内容筛选(curated selection)管线的构建模式:不从抽象的角色描述出发定义"什么算好",而是从真实历史产物反推标签,用历史窗口回放作为评估集,让模型整窗阅读候选集,由人工在审核层收口,并把自我改进限制为"建议 + 历史回放验证"。来源是 Ben Tossell 为 Ben's Bites newsletter 搭建的 X 收藏筛选管线(2026-10-16 至 17 构建,约 24 个 Codex Agent 分工实现)。
Why it matters
Jean 运营 AI Briefing 和 AI Builders Digest 两条自动 digest 管线,面临同构问题:每期从大量候选源中筛选内容、按版块分类、避免窗口重叠、让规则随实践改进。该案例给出了一套可直接迁移的操作序列,以及每条规则的验证方式。
Key points
- 用真实历史产物定义标签:让 Agent 阅读过去 78 期已发送内容,归纳实际使用的分类(intro/feed/afters/not used),并把两次发送之间的收藏与实际刊登故事配对,得到 2,629 条标注样本。评估问题是"给定历史窗口,能否挑出当时实际刊登的故事"。
- 输入窗口绑定业务事件而非日历:第一版按"最近 7 天"取数,造成相邻两期重复。修正为读取上次发送时间作为窗口起点,直接消除重叠。
- 整窗阅读优于逐条评分:对单条收藏逐项评分最高命中约 68% 的已选故事;改为一个模型一次读完整周收藏并附两期示例后,命中率约 70% 且只需一次调用(GPT-6.1 Sol)。
- 自我改进只提交建议:发送后比较实际发送内容、模型选择和人工修改,提出规则变更;仅在人工批准且通过历史期回放后才纳入。系统不依据单期结果自行漂移。
- 更正用追加记录:审核界面的每次调整另记一行(含撤销),不删除旧记录,最终分类可完整回放。
- 输出停在草稿层:自动生成 Substack 未发布草稿,保留占位结构,不自动发布;发布动作始终由人执行。
- 成本与工程现实:正文称约 3 美分/期,构建说明称每次 build 约 6–10 美分,口径不一;定时任务跑在作者 Mac 上,关机即停,属于作者自述而非独立测量。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| Ben's Bites — Claude's personal agent | 完整构建时间线、标签归纳方法、模型比较、审核界面设计 | 单源(作者自述 + 产品演示),构建细节未独立核验 |
Open questions
- 约 70% 命中率是单源自报,无公开数据集和评测协议。
- 78 期历史归纳出的分类是否可迁移到其他内容品类(技术 briefing vs 综合 newsletter)未知。
- 浏览器会话方式的 Substack 认证的自动化风险和维护成本未展开。
Related
- harness-engineering/self-improving-skills — 建议式自改进与历史回放验证的同类模式
- harness-engineering/agent-output-gate — 输出停在草稿层与人工收口
- harness-engineering/loop-engineering — 定时筛选与发送后反馈循环
- ai-ecosystem/claude-duet — 同一期 newsletter 的 Headlines 条目