Skip to content
Back/Product Trends

计算机使用 Agent 的全面爆发 — 从 CLI 到 GUI

View in Graph
Updated 2026-10-25
2 min read
350 words

计算机使用 Agent 的全面爆发 — 从 CLI 到 GUI

来源:Ben's Bites Newsletter,2026-02-26

核心论点

Agent 从使用 CLI 到像人类一样使用图形界面,是"下一个大事件"。

Cursor、Perplexity、Google 三家同时在同一周发布计算机使用能力,这不是巧合,而是行业共识的爆发点。

行业动态

多条新闻同时指向同一方向

公司 动作
Cursor Agent 现在可以用计算机测试自己的工作,并返回视频演示
Cursor 收购了 Autotab
Anthropic 收购了 Vercept
Perplexity 发布了 Perplexity Computer,配备研究、设计、代码等工具的通用 Agent
Google 在三星 Galaxy S26 发布会上预览了 Gemini 在 Android 上自主点餐的演示

两笔收购的目标都是改善"计算机使用 Agent"能力。

Ben 的判断

"Agent 从使用 CLI 到像人类一样使用图形界面,是'下一个大事件'。"

生产级 Computer Use 的门槛:后台执行能力

来源:AI Briefing 2026-05-15 Evening — yetone

在众多 Computer Use 产品中,后台执行能力是区分「demo 级」和「生产级」的关键指标。实测显示,目前只有 Alma 和 Codex 能真正在后台成功执行涉及窗口管理、媒体控制和网络状态的复合任务。

大多数 Computer Use Agent 在后台执行时因权限、焦点或渲染问题失败。Alma 和 Codex 的成功暗示了真正的 Computer Use 需要深度系统集成,而非仅截图加模拟点击。

杂务层采纳楔子(chore-tier adoption wedge)

来源:Every 2026-09-16、Ben's Bites 2026-09-08

Computer Use 的采纳楔子不是高难任务,而是大量"应该做但总被拖延"的电脑杂务。Every 团队的实际用法呈现一致模式:Mike Taylor 先让 Astra 以低风险任务(为学校填表)观察表现,确认稳定后升级到 Google Slides 幻灯片更新、视频编辑和 PDF 校样链接校验;业务负责人让 Codex 维护日历、录入学校日程;社交媒体负责人让它浏览照片、识别待售物品并发布到交易平台,再从 Figma 导出图片附加到排程帖子;咨询负责人让它在客服聊天中寻找更优套餐;CEO 把搬家迁移网络服务交给 agent。这些任务的共同点不是复杂,而是足够琐碎、长期被人推迟——Computer Use 把"我应该做这件事"变成"我让 agent 去做这件事"。

采纳路径因此是递进的:先用低风险杂务建立信任,再升级到高价值工作;先用少量示例建立视觉与格式参照,再把人的修改反写成可复用规则。执行层被释放,但审查层没有取消。

反面信号来自无边界委托:Ben Tossell 首个周末向 Astra 消耗约 4B tokens 却"基本什么也没做出来"。杂务层楔子成立的前提是任务有明确终点和用量边界,否则低风险的"杂务"会退化成高成本的 token 黑洞。

Anthropic 的安全政策与军事合同争议

Anthropic 修订了"负责任扩展政策(RSP)v3":

  • 新版本被外界解读为更为灵活
  • 潜在地允许公司在超出原定安全边界的情况下继续开发新模型
  • 引发外界对其安全承诺是否在商业压力下松动的讨论

美国国防部希望获得对 Claude 更宽松的访问权限:

  • Anthropic 以两条原则为由拒绝:
    • 不支持自主武器系统
    • 不支持对美国公民的大规模监控
  • 若坚守立场,Anthropic 将面临损失一份 2 亿美元政府合同的风险

两件事放在一起: 折射出前沿 AI 公司在商业扩张与安全承诺之间越来越难以调和的张力。

产品更新

Claude 新增功能

Claude Cowork 中的 Schedule Tasks:

  • 企业用户可以为 Cowork 创建插件并在组织内共享

Claude Code 远程控制能力:

  • 在终端启动的 Claude Code 会话
  • 可以通过 Claude 移动端或网页端远程访问
  • 同时保持在原始机器上运行

其他工具

Notion 自定义 Agent:

  • 可自主分类、回答问题、生成报告
  • 支持按计划或 24/7 运行

Quiver AI:

  • 专注于矢量图形(SVG)的生成、编辑和动画
  • 在曲线图像处理上远优于 Gemini

Paper:

  • 一个供 Cursor、Claude Code、Codex 使用的设计画布
  • Agent 可以直接读写 HTML 到其中

可应用要点

立即行动

1. 启用 Claude Code 远程控制

  • 如果你在服务器或本地机器上运行 Claude Code
  • 现在可以通过手机或网页端远程监控和介入
  • 这对于长时间运行的 Agent 任务管理非常实用

2. 测试 Perplexity Computer

  • 研究+代码+设计一体化的工作流值得亲身体验
  • 可用于评估其替代现有工作流中某些手动环节的可行性

3. 关注 Notion Agent 的企业应用场景

  • 支持 24/7 运行和按计划触发
  • 对于有内部知识库管理需求的团队,这是一个低门槛的 Agent 落地入口

4. 用 Paper 优化 Agent 设计工作流

  • 如果你在用 Cursor 或 Claude Code 生成前端代码
  • Paper 提供了可供 Agent 直接读写的设计画布
  • 可以大幅减少"代码生成→人工调整设计"的来回摩擦

核心洞察

"Agent 从 CLI 到 GUI 的跃迁"

任何依赖图形界面操作的工作流(填表、截图、点击按钮),在未来 12 个月内都可能被 Agent 替代。

对于产品团队而言:

  • 现在应该开始盘点自己的工作流中有哪些"鼠标点击"环节
  • 提前规划自动化方案

关联

Sources

Synthesized from 3 sources
  • 2026-02-26-BensBites精读Supporting source listed by this page.Whole pagemediumbody
  • Every 2026-09-16 — You're Probably Sleeping On Computer UseSupporting source listed by this page.Whole pagemediumbody
  • Ben's Bites 2026-09-08 — The first GPT-6 modelSupporting source listed by this page.Whole pagemediumbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 3 sources.

    From 2026-02-26-BensBites精读, Every 2026-09-16 — You're Probably Sleeping On Computer Use, Ben's Bites 2026-09-08 — The first GPT-6 modelTo 计算机使用 Agent 的全面爆发 — 从 CLI 到 GUI
    Sources: raw/to-learn/newsletters/2026-02-26-BensBites精读.md · raw/newsletters/Every/2026-09-16 You're Probably Sleeping On Computer Use.md · raw/newsletters/Ben's Bites/2026-09-08 The first GPT-6 model.md

Linked from