判定质量:verifier bug 与实质幻觉
What it is
评测必须把『任务完成』『无实质幻觉』『工具未越权』分开测(加入幻觉条件后通过率从 26.7% 掉到 8.9%),且自动 grader 自身要先审计(AutomationBench 206 个 verifier bug)。阈值来自单一评测,不可直接搬用。
Evidence across sources
- 把成功判定与禁止行为分开测;原始来源:2026-10-10 not much happened today
- 2026-10-07:Verifier 是 benchmark 的组成部分;原始来源:2026-10-07 Quasi-Riemann-Hypothesis - OpenAI Math Release
- Pending Jean review
Open questions
- 上述来源里哪些只反映单次实践?要用于决策时,先核对原文的约束与适用范围。
Pending Jean review
- 本页为 AI 草稿。原始证据和原结论保留在出处;这里的主题归纳尚未人工核验。