基准过期与环境泄漏
What it is
基准是活文档需按月复审难度,且任务环境本身会泄答案——RL 环境预置原题、不可达 Git object 里藏着参考修复这类审计发现说明分数可信度取决于环境清理。审计清单尚无固定版本。
Evidence across sources
- 基准会过期
- 2026-10-08:任务环境也会泄漏答案;原始来源:2026-10-08 Claude Haiku 5.5
- Evidence across sources;原始来源:2026-09-21 How to Create Your Own Personal AI Benchmark、2026-09-25 Why Evals Are So Hot Right Now、2026-10-10 not much happened today
Open questions
- 上述来源里哪些只反映单次实践?要用于决策时,先核对原文的约束与适用范围。
Pending Jean review
- 本页为 AI 草稿。原始证据和原结论保留在出处;这里的主题归纳尚未人工核验。