Skip to content
Back/Harness Engineering

从口袋里的失败构建个人基准

View in Graph
Updated 2026-11-12
1 min read
158 words

从口袋里的失败构建个人基准

返回主题导航

What it is

个人 AI 基准把重复任务的质量标准显式化,用真实失败和日常纠正形成可重复检查。方法先从近期失败任务采样,再把稳定偏好写成 pass/fail 检查,最后将任务、上下文、理想结果和评估项存成可复用案例。用例可比较不同模型、同一模型多次运行以及人工修订量。

Why it matters

通用能力分数不能回答模型是否适合某个人的实际任务。个人基准把评估锚定在真实产物、偏好和失败条件上,使模型比较更贴近工作;同时把人的隐性标准变成可讨论的记录。它是 判断工程的一种执行接口,不能代替人的最终判断。

Evidence across sources

  • Every:How to Create Your Own Personal AI Benchmark:从近一个月工作抽取约 10 个失败任务,保存上下文,并比较不同规模和提供商的模型;同一任务重复运行三次以观察波动。指南建议用少量具体 pass/fail 项替代 100 分制,并随模型进步更新已经饱和的任务。
  • Every:What's Left for Humans After Automation:Mike Taylor 展示把日常纠正转成检查项;3–10 条可判定条件可用于比较输出,若要把基准推广给他人,则应继续增加任务和案例。文章中的 ASCII 猫例子显示检查会过拟合:一次反馈被误写成“猫必须正面朝向”,合理变体因此受限。

Practical method

  1. 从近一个月反复失败、返工较多或中断的工作里挑约 10 个代表任务,保存提示、必要上下文和原有交付物。
  2. 比较不同提供商及大小模型,并让同一模型重复三次,区分稳定能力与随机波动。
  3. 把人工纠正归纳成 3–10 条明确的 pass/fail 检查,不用缺乏校准的 100 分制制造虚假精度。
  4. 用合理变体挑战检查项,删除把单一例子误当成普遍规则的要求。
  5. 随任务整理 brief、输出、反馈和理想结果;将常做流程存成技能,扩大案例数量,并在模型能稳定通过旧任务后提高难度。

Distinguish task difficulty from verification limits

当前 Every 报告所链接的 Steve Yegge 文章区分两种边界:需求地平线表示手头任务不够难,模型之间因此难以拉开差距;辨识地平线表示答案超出评审者的核实能力。低于第一种边界时,较便宜模型可能已够用;触及第二种边界时,单靠模型自评或 pass/fail 不能证明结果可靠,需要领域审查、额外验证或更安全的工作范围。该文章与 Mike Taylor 指南对 “discernment horizon” 的用法不完全一致,术语不应直接混用。

Open questions

  • 十个样本和 3–10 条检查是否适用于不同风险、频率和输出类型的任务?
  • 口述偏好如何转成不会过度约束合理变体的检查项?
  • 哪些任务需要增加专业核查,才能把“模型难分”与“人无法验证”区分开?
  • 个人基准扩成团队基准时,如何避免把一人的品味误当成全团队标准?

Pending Jean review

Sources

Synthesized from 2 sources
  • Every — How to Create Your Own Personal AI BenchmarkSupporting source listed by this page.Whole pagemediumbody
  • Every — What's Left for Humans After AutomationSupporting source listed by this page.Whole pagemediumbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 2 sources.

    From Every — How to Create Your Own Personal AI Benchmark, Every — What's Left for Humans After AutomationTo 从口袋里的失败构建个人基准
    Sources: raw/newsletters/Every/2026-09-21 How to Create Your Own Personal AI Benchmark.md · raw/newsletters/Every/2026-11-12 What's Left for Humans After Automation.md

Linked from