同任务对照与 plugin eval 基线
What it is
多处来源收敛到同一验证方式:同一批任务分别在启用/不启用 skill 或 plugin 的条件下跑,用分数差决定规则去留,并把已认可的真实工作样例固化成小型回归集。小样本下的判定阈值与主观任务的 rubric 设计仍不可靠。
Evidence across sources
- What it is
- 2026-09-12:Plugin eval 把 Skill 价值变成可比较的回归信号;原始来源:2026-09-12-08-04
- 2026-09-16:Skill 的价值需要同任务对照;原始来源:2026-09-16 Good luck slowing this down、2026-09-16 You're Probably Sleeping On Computer Use
- 2026-09-16:Skill 有用性可以做 A/B 评测;原始来源:2026-09-16 Good luck slowing this down、2026-09-17-01-58
- 2026-10-03 evening:把真实工作样例变成模型切换的回归门槛;原始来源:2026-10-03-22-58
Open questions
- 上述来源里哪些只反映单次实践?要用于决策时,先核对原文的约束与适用范围。
Pending Jean review
- 本页为 AI 草稿。原始证据和原结论保留在出处;这里的主题归纳尚未人工核验。