Skip to content
Back/Harness Engineering

History-Replay 内容筛选管线 — 用历史产物定义选择规则

View in Graph
Updated 2026-10-25
1 min read
155 words

History-Replay 内容筛选管线

What it is

一种内容筛选(curated selection)管线的构建模式:不从抽象的角色描述出发定义"什么算好",而是从真实历史产物反推标签,用历史窗口回放作为评估集,让模型整窗阅读候选集,由人工在审核层收口,并把自我改进限制为"建议 + 历史回放验证"。来源是 Ben Tossell 为 Ben's Bites newsletter 搭建的 X 收藏筛选管线(2026-10-16 至 17 构建,约 24 个 Codex Agent 分工实现)。

Why it matters

Jean 运营 AI Briefing 和 AI Builders Digest 两条自动 digest 管线,面临同构问题:每期从大量候选源中筛选内容、按版块分类、避免窗口重叠、让规则随实践改进。该案例给出了一套可直接迁移的操作序列,以及每条规则的验证方式。

Key points

  • 用真实历史产物定义标签:让 Agent 阅读过去 78 期已发送内容,归纳实际使用的分类(intro/feed/afters/not used),并把两次发送之间的收藏与实际刊登故事配对,得到 2,629 条标注样本。评估问题是"给定历史窗口,能否挑出当时实际刊登的故事"。
  • 输入窗口绑定业务事件而非日历:第一版按"最近 7 天"取数,造成相邻两期重复。修正为读取上次发送时间作为窗口起点,直接消除重叠。
  • 整窗阅读优于逐条评分:对单条收藏逐项评分最高命中约 68% 的已选故事;改为一个模型一次读完整周收藏并附两期示例后,命中率约 70% 且只需一次调用(GPT-6.1 Sol)。
  • 自我改进只提交建议:发送后比较实际发送内容、模型选择和人工修改,提出规则变更;仅在人工批准且通过历史期回放后才纳入。系统不依据单期结果自行漂移。
  • 更正用追加记录:审核界面的每次调整另记一行(含撤销),不删除旧记录,最终分类可完整回放。
  • 输出停在草稿层:自动生成 Substack 未发布草稿,保留占位结构,不自动发布;发布动作始终由人执行。
  • 成本与工程现实:正文称约 3 美分/期,构建说明称每次 build 约 6–10 美分,口径不一;定时任务跑在作者 Mac 上,关机即停,属于作者自述而非独立测量。

Evidence across sources

Source Key Claim Relevance
Ben's Bites — Claude's personal agent 完整构建时间线、标签归纳方法、模型比较、审核界面设计 单源(作者自述 + 产品演示),构建细节未独立核验

Open questions

  • 约 70% 命中率是单源自报,无公开数据集和评测协议。
  • 78 期历史归纳出的分类是否可迁移到其他内容品类(技术 briefing vs 综合 newsletter)未知。
  • 浏览器会话方式的 Substack 认证的自动化风险和维护成本未展开。

Sources

Synthesized from 1 source
  • Ben's Bites — Claude's personal agentPrimary source for this page.Whole pagehighbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 1 source.

    Sources: raw/newsletters/Ben's Bites/2026-10-22 Claude's personal agent.md

Linked from