Skip to content
Back/Harness Engineering

Browser Harness — Self-Healing Direct-CDP Browser Agent

View in Graph
Updated 2026-09-17
3 min read
565 words

Browser Harness

作者:@gregpr07
核心哲学:Every framework that adds a layer between the LLM and the browser eventually becomes the bottleneck. No rails is the only honest architecture for agentic browser use.
关联:harness-engineering/agentic-infrastructure,harness-engineering/components-coding-agent


架构创新

Browser Harness 是一种移除传统框架抽象的自主修复浏览器 agent 架构,直接通过 CDP(Chrome DevTools Protocol)控制浏览器。

传统框架封装 Browser Harness
Selenium/Playwright 中间层 单个 WebSocket 直连 Chrome
预定义选择器和等待逻辑 运行时动态编辑 helpers.py
框架能力成为瓶颈 LLM 自己动态修复 helper 代码
人工维护 selectors Self-healing:模型发现错误并修正

Self-Healing 机制

运行时动态修复:

  • 不依赖预定义的选择器或等待逻辑
  • 当 React 动态下拉菜单第一次操作出错时,模型会自己发现并修正 helpers.py
  • 最终完成任务,而不是卡在预定义的失败路径上

实际表现:

React 动态下拉菜单第一次可能出错,但模型会自己发现并修正,最终完成任务。


Direct CDP 设计

  • 通过单个 WebSocket 直接控制 Chrome
  • 没有中间框架层
  • LLM 接收原始 DOM 和浏览器状态,自行决定操作

与传统 Browser Agent 框架的对比:

维度 Playwright/Selenium 封装 Browser Harness
抽象层级 高(提供 page.click, page.wait 等 API) 低(原始 CDP 命令)
灵活性 受限于框架 API 设计 受限于 LLM 能力上限
维护成本 人工更新 selectors 模型自动修复
失败模式 框架报错,任务中断 模型重试,自我修正

工程启示

  1. 框架即瓶颈:任何在 LLM 和浏览器之间添加的抽象层,最终都会成为 agent 能力的上限
  2. No Rails 诚实架构:让 LLM 直接面对原始环境,而不是通过人工预设的"护栏"
  3. Self-healing 推广:agent 应该在运行时有能力修复自己的工具代码,而不是依赖人工维护

适用场景

  • 高灵活性浏览器自动化(抢票、复杂表单、动态 SPA)
  • 需要绕过传统框架限制的边缘场景
  • 快速变化的前端环境(选择器频繁变更)

Counterpoints & Gaps

  • 可靠性未验证:self-healing 在复杂多步流程中的成功率缺乏大规模测试数据
  • Token 消耗:原始 CDP 数据量远大于封装后的 API,可能显著增加上下文成本
  • 调试困难:模型自行修复的过程对人类不透明,失败时难以排查
  • 安全边界:移除框架层意味着移除了内置的安全检查(如跨域限制、敏感操作确认)

Browser Harness JS(2026-04-20)

来源:AI 简报 2026-04-20

@gregpr07 发布了纯 JavaScript 版本的 Browser Harness:

  • 纯 JS 实现:works on Cloudflare Workers, Vercel, anywhere JS runs
  • 基于 Bun:no package requirements, no install
  • globalThis access:agents persist state
  • 代表了 agent 基础设施的轻量化趋势:从重量级框架到零依赖工具

链接:https://x.com/gregpr07/status/2046082887641104608


2026-09-03 evening: Agent 浏览器的最小能力面

来源:AI Briefing 2026-09-03 Evening

MaxForAI 对 Obscura 的介绍补充了 Browser Harness 的轻量化方向。该项目被描述为 Rust 实现、直接运行 V8、兼容 CDP,并把 Agent 所需能力收敛到 JavaScript、DOM、网络请求、点击填表和截图。帖子还指出,当服务器需要运行大量 Browser Agent 时,每实例内存会成为基础设施成本。

这与本页的 Direct CDP 设计形成互补:一条路径强调让模型直接面对浏览器状态,另一条路径强调从浏览器产品中删除 Agent 不需要的人类界面负担。两者都需要用真实任务验证兼容性,而不能仅凭更低的资源数字推断可靠性。

Counterpoints & Gaps

  • 30 MB 内存和 Cloudflare 原型等信息是时间线中的转述,尚未形成可复现的横向基准。
  • 更低层的浏览器接口可能减少封装瓶颈,也可能增加调试、权限和观测成本。

Sources (addendum)

Pending Jean review

  • harness-engineering/browser-harness — ai_draft; suggested action: compare one browser task on the current harness and an Agent-focused runtime with memory and failure evidence.

2026-09-13:浏览器智能体的最小能力面

来源:AI Briefing 2026-09-13 Morning

Cloudflare 将浏览器型智能体的基础能力概括为浏览页面、填写表单、检查错误和完成任务。这与本页的 Direct CDP 方向互补:浏览器 harness 的价值不在复制完整的人类浏览器,而在提供可观察、可限制和可回放的状态与动作面。

Counterpoints & Gaps

  • Cloudflare 的帖文是产品方描述,没有给出不同网站、权限和失败类型的成功率。
  • 表单提交和外部动作需要独立确认、权限隔离与回滚设计。
  • 最小能力面仍需用真实任务验证兼容性,不能只凭功能列表判断可靠性。

Sources (addendum)

Pending Jean review

  • harness-engineering/browser-harness — ai_draft; suggested action: compare one read-only browser task and one form task with action receipts, permission prompts, failure recovery, and replay evidence.

2026-09-16 evening: browser fallback must preserve the tool boundary

来源:AI Briefing 2026-09-16 Evening

Voxyz 的案例指出,Agent 可能在 MCP 工具可用时先打开浏览器。原因可能是工具选择规则不清,也可能是 MCP 只读或只允许一个项目,而浏览器账户拥有更大的权限。Yuchen 的 Slack 案例显示,Computer Use 在 API 认证失败时可能更快,但它访问的是另一条权限路径。

这补充了 Browser Harness 的最小能力面:浏览器状态和动作必须可观察、可限制、可回放,并且要标记当前使用的权限来源。浏览器 fallback 可以是读取任务的恢复策略,但不能成为绕过 MCP 或沙箱拒绝的默认升级路径。

Counterpoints & Gaps

  • 两个案例没有提供 API 与浏览器成功率、延迟或权限差异的受控比较。
  • Computer Use 的可见范围取决于当前账户和页面状态,本次没有独立审计。
  • 真实写入仍需要显式批准、动作回执和失败后的状态核验。

Sources (addendum)

Pending Jean review

2026-09-17: Borrowed browser state must remain a gated capability

来源:AI Briefing 2026-09-17 Morning

BrowserSkill 的描述是一个本地 CLI:Agent 在用户明确打开开关后借用现有标签页和登录状态,验证码与确认对话框仍交回用户。这个模式把浏览器自动化的便利性和账户权限分开。浏览器交互能力不应自动获得登录、支付或不可逆操作的授权。agent-browser 的更自然指针和拖拽属于交互层改进,不改变这一权限边界。

Counterpoints & Gaps

  • 当前材料没有独立审计本地-only 边界、标签页范围或登录状态暴露方式。
  • UI 交互更像人类不等于权限更小,动作回执和外部状态核验仍是必要条件。

Sources (addendum)

Pending Jean review

Sources

Synthesized from 9 sources

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 9 sources.

    Sources: raw/briefing/AI Briefing/2026-04-19.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-03-02-03.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-13-08-15.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-16-02-18.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-17-08-05.md · raw/briefing/AI Briefing/2026-09-03-02-03.md · raw/briefing/AI Briefing/2026-09-13-08-15.md · raw/briefing/AI Briefing/2026-09-16-02-18.md · raw/briefing/AI Briefing/2026-09-17-08-05.md

Linked from