Verification CLI and the Determinism/Judgment Split
What it is
Lauren Tan(poteto)在 Matt Pocock 直播(2026-10-03)中描述的技能设计模式:把 skill 中确定性、命令式的部分抽取为 CLI 脚本(包装 Playwright、Chrome DevTools Protocol 等),把需要判断的部分留给 agent。Skill 退化为薄的使用说明,指向同一份 CLI 工具。
Why it matters
没有 CLI 时,每个 agent 会话都重新发明验证流程:重写脚本、调试、浪费 context 和时间。CLI 把验证流程变成共享基础设施,让所有 agent 用同一套工具,同时保留 agent 在判断类任务上的优势。
Key points
- 让容易的事成为正确的事:agent 天生走捷径。好的 skill 设计让"正确路径"成为"阻力最小的路径"。
- 判断力 vs 命令式的分工:代码模式迁移、AST 检查、机械代码转换等确定性工作交给脚本;需要综合上下文和思考的工作留给 agent。
- Skill 是 CLI 的封面:Tan 把 skill 描述为"cover",包含如何使用 skill 内工具的简单说明。CLI 隐藏实现细节,压缩信息,让 agent 行为更一致。
- SpaceX AI 的内部实践:每个应用都有自动维护的 verification skill,成为全团队使用的关键基础设施。
- Skill 正在变小:去年 skill 偏向实现细节(具体脚本);最新模型下 skill 可以只写工作流步骤。Tan 称之为 "workflow coding",并预测 skill 会越来越短、越来越聚焦流程。
- 从对话日志提取 skill:让 agent 扫描历史对话,找出人反复介入的位置,把这些干预提炼为新代码规则或 skill。pstack 中的 "Recall" skill 即由此而来。
- 跨框架组合:Matt Pocock 与 poteto 的 skill 不互斥,可组合使用。每个人都应积累自己的"刀具",离职换项目时随身带走。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| Matt Pocock LIVE with poteto | Verification CLI 设计、判断力/命令式分工、skill 作为 workflow coding | Primary and only source |
Open questions
- 判断/命令式边界的具体划分标准未量化。何时新写 CLI、何时留给 agent 判断,需要案例积累。
- "Skill 越来越小"的预测是否适用于所有模型代际,还是仅最新旗舰。
Prompts for witness
- 你现在的 skill 里哪些部分其实可以抽成 CLI?最近一次 agent"重新发明轮子"是什么时候?
- 你反复在同一场景介入 agent 工作,这个干预写进 skill 了吗?
- "Skill 越小越好" vs "Skill 越详细越好":你观察到的最优长度是多少?
Related
- harness-engineering/fat-skills-fat-code-thin-harness — Garry Tan 的对应原则:判断写入 fat markdown、执行写入 fat deterministic code
- harness-engineering/skills-into-loops — skill 作为循环的组成部分
- claude-code/self-improving-skills — skill 自我改进的 eval loop
- harness-engineering/poteto-trust-ladder-kitchen — 同一直播的另一主线:trust ladder 与厨房隐喻
- ai-tools/pstack — verification skill 所属的开源 skill pack 实体
2026-10:确定性沉 CLI、判断留 agent
verification 两分法:确定性部分(格式、类型、可机械检查的约束)沉到 CLI,判断部分留给 agent。注意细节:CLI 要防 --help 之类的调用路径漂移——agent 可能用意料之外的方式调用验证工具,工具输出要对人机都可读。
相关实体:Lauren Tan (poteto)。