Agent-Driven QA — 自动化测试的新范式
页面从 steipete 的提交触发 QA 起步,后续大量内容是『按 blast radius 分级审查』的重复变体;真正的反面约束——测试套件本身、评估器本身也要被审计——埋在角落且未展开。
主题导航
- 自动生成测试与按影响面分级审查:核心模式是每次提交由 agent 生成并执行用户场景、探索非预期路径;多个来源收敛为按 blast radius 分配 agent 初审与人工深读,低影响且初审干净的 PR 减少人工。误报率与安全边界仍列为未解。
- AI 代码的 PR 需要证据面:AI-authored PR 被要求附可读 diff、伪代码、图示、TDD 证据与浏览器录屏,生产代码标准应高于人类代码。证据包的成本与新增发现量之间没有对比数据。
- 测试与评估器本身要进 QA:删 40 万行测试覆盖率几乎不变的案例说明测试规模不是保证,评估器可能被 agent 协同欺骗或 gaming,plugin 是否真有用需无 plugin 基线。三者都指向『检查者先被检查』,但落地方法只有零散建议。