Skip to content
Back/Harness Engineering

Poteto — Verification CLI and the Determinism/Judgment Split

View in Graph
Updated 2026-10-27
2 min read
262 words

Verification CLI and the Determinism/Judgment Split

What it is

Lauren Tan(poteto)在 Matt Pocock 直播(2026-10-03)中描述的技能设计模式:把 skill 中确定性、命令式的部分抽取为 CLI 脚本(包装 Playwright、Chrome DevTools Protocol 等),把需要判断的部分留给 agent。Skill 退化为薄的使用说明,指向同一份 CLI 工具。

Why it matters

没有 CLI 时,每个 agent 会话都重新发明验证流程:重写脚本、调试、浪费 context 和时间。CLI 把验证流程变成共享基础设施,让所有 agent 用同一套工具,同时保留 agent 在判断类任务上的优势。

Key points

  • 让容易的事成为正确的事:agent 天生走捷径。好的 skill 设计让"正确路径"成为"阻力最小的路径"。
  • 判断力 vs 命令式的分工:代码模式迁移、AST 检查、机械代码转换等确定性工作交给脚本;需要综合上下文和思考的工作留给 agent。
  • Skill 是 CLI 的封面:Tan 把 skill 描述为"cover",包含如何使用 skill 内工具的简单说明。CLI 隐藏实现细节,压缩信息,让 agent 行为更一致。
  • SpaceX AI 的内部实践:每个应用都有自动维护的 verification skill,成为全团队使用的关键基础设施。
  • Skill 正在变小:去年 skill 偏向实现细节(具体脚本);最新模型下 skill 可以只写工作流步骤。Tan 称之为 "workflow coding",并预测 skill 会越来越短、越来越聚焦流程。
  • 从对话日志提取 skill:让 agent 扫描历史对话,找出人反复介入的位置,把这些干预提炼为新代码规则或 skill。pstack 中的 "Recall" skill 即由此而来。
  • 跨框架组合:Matt Pocock 与 poteto 的 skill 不互斥,可组合使用。每个人都应积累自己的"刀具",离职换项目时随身带走。

Evidence across sources

Source Key Claim Relevance
Matt Pocock LIVE with poteto Verification CLI 设计、判断力/命令式分工、skill 作为 workflow coding Primary and only source

Open questions

  • 判断/命令式边界的具体划分标准未量化。何时新写 CLI、何时留给 agent 判断,需要案例积累。
  • "Skill 越来越小"的预测是否适用于所有模型代际,还是仅最新旗舰。

Prompts for witness

  • 你现在的 skill 里哪些部分其实可以抽成 CLI?最近一次 agent"重新发明轮子"是什么时候?
  • 你反复在同一场景介入 agent 工作,这个干预写进 skill 了吗?
  • "Skill 越小越好" vs "Skill 越详细越好":你观察到的最优长度是多少?

2026-10:确定性沉 CLI、判断留 agent

来源:Poteto × Matt Pocock 直播

verification 两分法:确定性部分(格式、类型、可机械检查的约束)沉到 CLI,判断部分留给 agent。注意细节:CLI 要防 --help 之类的调用路径漂移——agent 可能用意料之外的方式调用验证工具,工具输出要对人机都可读。

相关实体:Lauren Tan (poteto)。

Sources

Synthesized from 1 source
  • LIVE: Poteto (creator of pstack) on shipping 1,000's of PR's a month at SpaceX — TranscriptPrimary source for this page.Whole pagehighbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 1 source.

    From LIVE: Poteto (creator of pstack) on shipping 1,000's of PR's a month at SpaceX — TranscriptTo Poteto — Verification CLI and the Determinism/Judgment Split
    Sources: raw/to-learn/LIVE Poteto (creator of pstack) on shipping 1,000s of PRs a month at SpaceX — Transcript.md

Linked from