Agent-Driven QA — 自动化测试的新范式
Agent-Driven QA 是一种由 AI Agent 主动执行测试、发现问题并提交修复的自动化模式。它将测试从被动验证转变为主动探索。
核心模式
来源：Peter Steinberger (@steipete)，2026-05-31
工作流
-
每次提交触发测试场景生成
- Agent 为每个 commit 自动创建用户测试场景
- 基于代码变更推断可能影响的功能路径
-
真实用户行为模拟
- 使用 webVNC (crabbox) 进行浏览器自动化
- 使用 computer/browser use (peekaboo/mcporter) 模拟真实用户操作
- 不仅测试功能正确性，还测试用户体验路径
-
自动修复与 PR 提交
- 发现问题后自动打开 PR 提交修复
- 人类只需审查和合并
与传统 QA 的区别
| 维度 | 传统 QA | Agent-Driven QA |
|---|---|---|
| 测试设计 | 人工编写用例 | Agent 基于代码变更自动生成 |
| 执行方式 | 脚本化、确定性 | 探索性、自适应 |
| 问题发现 | 预定义断言失败 | Agent 主动识别异常行为 |
| 修复流程 | 人工修复 | Agent 自动提交 PR |
工具栈
- crabbox — webVNC 浏览器自动化
- peekaboo / mcporter — computer/browser use 工具
- Codex / Claude Code — 作为 QA Agent 的编排器
适用场景
- 回归测试自动化 — 每次提交后自动验证核心路径
- UI 一致性检查 — 模拟真实用户视角发现视觉/交互问题
- 探索性测试 — Agent 尝试非预期路径，发现边界 case
待探索
- 如何平衡 Agent 的探索深度与测试执行时间
- 误报率控制：Agent 可能将设计选择误判为 bug
- 安全边界：Agent 自动提交 PR 的权限和审查机制