从口袋里的失败构建个人基准
What it is
个人 AI 基准把重复任务的质量标准显式化,用真实失败和日常纠正形成可重复检查。方法先从近期失败任务采样,再把稳定偏好写成 pass/fail 检查,最后将任务、上下文、理想结果和评估项存成可复用案例。用例可比较不同模型、同一模型多次运行以及人工修订量。
Why it matters
通用能力分数不能回答模型是否适合某个人的实际任务。个人基准把评估锚定在真实产物、偏好和失败条件上,使模型比较更贴近工作;同时把人的隐性标准变成可讨论的记录。它是 判断工程的一种执行接口,不能代替人的最终判断。
Evidence across sources
- Every:How to Create Your Own Personal AI Benchmark:从近一个月工作抽取约 10 个失败任务,保存上下文,并比较不同规模和提供商的模型;同一任务重复运行三次以观察波动。指南建议用少量具体 pass/fail 项替代 100 分制,并随模型进步更新已经饱和的任务。
- Every:What's Left for Humans After Automation:Mike Taylor 展示把日常纠正转成检查项;3–10 条可判定条件可用于比较输出,若要把基准推广给他人,则应继续增加任务和案例。文章中的 ASCII 猫例子显示检查会过拟合:一次反馈被误写成“猫必须正面朝向”,合理变体因此受限。
Practical method
- 从近一个月反复失败、返工较多或中断的工作里挑约 10 个代表任务,保存提示、必要上下文和原有交付物。
- 比较不同提供商及大小模型,并让同一模型重复三次,区分稳定能力与随机波动。
- 把人工纠正归纳成 3–10 条明确的 pass/fail 检查,不用缺乏校准的 100 分制制造虚假精度。
- 用合理变体挑战检查项,删除把单一例子误当成普遍规则的要求。
- 随任务整理 brief、输出、反馈和理想结果;将常做流程存成技能,扩大案例数量,并在模型能稳定通过旧任务后提高难度。
Distinguish task difficulty from verification limits
当前 Every 报告所链接的 Steve Yegge 文章区分两种边界:需求地平线表示手头任务不够难,模型之间因此难以拉开差距;辨识地平线表示答案超出评审者的核实能力。低于第一种边界时,较便宜模型可能已够用;触及第二种边界时,单靠模型自评或 pass/fail 不能证明结果可靠,需要领域审查、额外验证或更安全的工作范围。该文章与 Mike Taylor 指南对 “discernment horizon” 的用法不完全一致,术语不应直接混用。
Open questions
- 十个样本和 3–10 条检查是否适用于不同风险、频率和输出类型的任务?
- 口述偏好如何转成不会过度约束合理变体的检查项?
- 哪些任务需要增加专业核查,才能把“模型难分”与“人无法验证”区分开?
- 个人基准扩成团队基准时,如何避免把一人的品味误当成全团队标准?
Related
- harness-engineering/personal-ai-benchmark
- harness-engineering/judgment-engineering
- harness-engineering/personal-ai-benchmark-benchmark-decay-env-leakage
- harness-engineering/personal-ai-benchmark-grading-and-hallucination-axes
Pending Jean review
- harness-engineering/personal-ai-benchmark-building-personal-benchmark —
ai_draft; suggested action: keep draft / verify / mark hypothesis / dispute / downgrade to output.