Skip to content
Back/Product Trends

Environment Context Agents — 从会话级 AI 到环境级 AI

View in Graph
Updated 2026-08-18
3 min read
541 words

Environment Context Agents — 从会话级 AI 到环境级 AI

来源:Every Context Window 2026-04-26

OpenAI 和 Anthropic 在同期推出环境感知功能:OpenAI Codex 的 Chronicle(屏幕记忆)和 Anthropic Cowork 的 Live Artifacts(工作区仪表盘)。加上已有的 Computer Use,agent 正在从"会话级 AI"(用户主动输入)转向"环境级 AI"(agent 主动感知用户所处的数字环境)。


三个竞争方向

产品 感知范围 机制 状态
Codex Chronicle 屏幕内容 macOS Screen Recording + Accessibility 权限,后台截图提取上下文 研究预览,macOS ChatGPT Pro 限定
Cowork Live Artifacts 工作区数据 在工作区搭建仪表盘,从 app 拉实时数据并在打开时刷新 已上线
Computer Use 整个电脑 直接控制鼠标键盘,操作任意应用和文件系统 已上线(Claude)

Codex Chronicle 详解

OpenAI 官方文档

机制

Chronicle 用屏幕截图扩充 Codex memories。用户提示 Codex 时,这些 memory 帮助它理解用户最近在做什么,减少重述上下文的负担。

具体能力:

  • 理解用户正在看的内容(节省切换成本)
  • 补全缺失上下文(不用从零开始解释)
  • 记住用户常用的工具与工作流(不用反复解释)
  • 当其他来源更合适时(Slack 线程、Google Doc、Dashboard、PR),Chronicle 能识别正确来源并直接读取

限制与风险

  • 平台限制:仅 macOS 上的 ChatGPT Pro,EU/UK/瑞士暂不支持
  • Rate limit 快速消耗:后台运行 sandboxed agents 处理截图
  • Prompt injection 风险:屏幕内容可能被恶意页面污染
  • 本地未加密存储:memory 在本地未加密,公共/共享设备上不应启用
  • 隐私控制:菜单栏可一键暂停/恢复;会议或敏感内容时建议暂停

关键洞察

Chronicle 是一种新型记忆机制——不再依赖用户主动整理上下文,而是 agent 通过环境感知主动收集。


Cowork Live Artifacts

Anthropic 同期推出的 Live Artifacts 让 Claude 在工作区里搭建仪表盘和追踪器,从用户的 app 拉取实时数据并在打开时自动刷新。

竞争含义:

  • 直接威胁专门做仪表盘可视化的 SaaS 工具(如 ChartMogul)
  • 通用助理正在吞掉垂直 SaaS 的功能
  • 与 Chronicle 方向一致:让 agent 知道用户在做什么,而不是等用户解释

共同趋势:环境即上下文

三个产品共享同一底层逻辑:

让 agent 拿到"环境上下文",而不是被动等用户喂语料。

这是从"会话级 AI"到"环境级 AI"的迁移:

维度 会话级 AI 环境级 AI
上下文来源 用户主动输入 agent 主动感知
记忆方式 对话历史 环境状态 + 屏幕/工作区/系统
用户负担 高(需反复解释背景) 低(agent 已知道你在做什么)
隐私风险 低 高(需要广泛系统权限)

战略意义

  1. 谁先解决"环境感知-记忆-检索"闭环,谁就能在每次交互中甩开对手
  2. 隐私将成为关键差异化维度——用户需要在"便利"和"监控感"之间权衡
  3. SaaS 工具面临被通用 agent 吸收的风险——如果 agent 能直接生成仪表盘,专门的可视化工具价值下降
  4. 操作系统层面的竞争——Windows / macOS 如何为 AI agent 开放环境访问权限,将决定 agent 的能力天花板

ChatGPT Computer History:从"当前会话"到"完整工作历史"(2026-08-14 / 2026-08-18)

来源:AI 简报 2026-08-14 Afternoon、Ben's Bites 2026-08-18

OpenAI 推出 Computer History,让 ChatGPT 学习用户在电脑上的操作历史,从而续接未完成任务、查找曾浏览内容、推荐技能与自动化。

感知范围

  • 跨应用上下文,理解用户工作方式并基于使用模式建议自动化。
  • 通过 macOS 辅助功能收集交互事件:点击、输入、快捷键、应用切换等。
  • 事件被转化为文本摘要和本地记忆文件;不截屏,不录制音频或系统声音;隐私模式下的网页浏览永远不会被记录。

交互形态

  • 与语音模式结合,用户可通过说话让 AI 查找资料、列出 Slack 频道并继续协作。
  • 典型用例:
    • Pick up where you left off:询问休息前在做什么,无需手动重建打开的应用和文档。
    • 自然语言引用:如“我今天早些时候看的那个提案文档在哪里?”
    • 复用工作流:识别可重复模式后建议转化为 skill 或 automation,再由 Codex 生成。

关键约束

  • 默认关闭;Pro 用户可自行开启,Business/Enterprise 需管理员授权。
  • 不在欧洲经济区、瑞士或英国提供。
  • 事件临时存储在 Mac 本地最长 48 小时;生成的记忆文件以 Markdown 形式存放在 ~/.codex/memories/extensions/skysight/,未加密。
  • OpenAI 在服务器上处理临时事件文件以生成记忆,但声称不会保留(除非法律要求)或用于训练。
  • 官方明确警告 prompt injection 风险:访问包含恶意指令的网站时,ChatGPT 或 Codex 可能遵循这些指令。

范式意义

把个人电脑上下文从“当前会话”扩展到“完整工作历史”,向主动型、长期记忆 Agent 迈进一步。

Computer History 与 Chronicle(屏幕截图记忆)方向一致,但范围更广:Chronicle 主要捕获屏幕视觉状态,Computer History 则覆盖操作历史与跨应用工作流。


Agent 产品架构的收敛:记忆 + 工具 + 编排器(2026-08-14)

来源:AI 简报 2026-08-14 晚间

多数 AI Agent 产品正收敛到同一套架构:连接邮件、日历、文档、Slack、云盘,提取上下文生成 Markdown 记忆文件,再叠加一个编排器。这种架构把 agent 从"等待用户输入"推进到"主动拥有用户工作环境的上下文"。

共同模式

  • 从用户数字环境中提取丰富上下文。
  • 以 Markdown 记忆文件形式存储,便于 agent 读取和更新。
  • 通过 orchestrator 决定何时调用工具、触发动作或提醒用户。

下一前沿

  • 主动后台 agent:无需用户提示即可代为执行。
  • 竞争焦点从"能不能连上更多工具"转向"记忆质量、行动价值与 token 消耗之间的平衡"。

相关产品信号

  • Unabyss:推出跨 AI 工具的统一记忆,让 Claude 与 GPT 共享上下文,说明记忆层开始突破单一产品边界。
  • flomo 内置 agent:经过两年开发完成内置 agent,理念是"把结果让给 AI,把过程留给自己",强调人类保留思考过程、AI 交付结果的分工。

Chronicle 注意力审计:从环境感知到行为改变(2026-05-13)

来源:Every Context Window — Mining Your Life for Context

Every 增长负责人 Austin Tedesco 使用 Chronicle 进行注意力审计,提供了环境 context agent 的首个量化用例:

  • 关键数据:iMessage 每天在他屏幕上活跃 671 次,目标降至 150 次
  • 诊断范围:Chronicle 同时识别了 Slack、邮件、Chrome 的过度交互问题
  • 策略改变:尽可能把时间花在 Codex 应用内,用内置浏览器起草和审阅内容,减少跨应用跳转
  • 下一步期待:Codex 能主动提醒"这是你的通讯时间",甚至预先起草好回复

这展示了环境 context agent 的第二阶段价值:不只是"减少上下文重述",而是通过环境数据暴露用户自己的行为模式,驱动系统性工作流改进。

Steal This Workflow:从碎片思考中挖掘内容

同篇文章中 Noah Brier(Alephic 联合创始人)提供了一个三步工作流,用于在动笔前从散落在各处的个人思考中提取素材:

  1. 收集:将所有相关笔记、截图、语音备忘导入一个 Claude Code 会话
  2. 对话:用自然语言询问"我之前关于 X 的思考有哪些",让 agent 跨源连接
  3. 提取:将 agent 发现的关联和主题整理为文章大纲

Brier 将 Claude Code 连接到数千条个人笔记,把编程工具转化为知识工作伙伴。他提出的"pace layers"框架(借鉴 Stewart Brand)强调:AI 让代码生产免费化,但识别人们真正想要的产品、并围绕愿景对齐人与智能体系统,仍然依赖人类判断。


2026-04-26 补充:OpenAI Workspace Agents

来源:AI 简报 Evening Update 2026-04-26

OpenAI 在 ChatGPT 里推出 Workspace Agents,由 Codex 驱动。团队可创建"共享自定义 agent",从不同来源拉取信息、分析、生成草稿或下一步行动。

解读:agent 正在变成团队的共享资源,而不再只是个人 AI 助手。这与 Chronicle(个人屏幕记忆)形成互补——个人环境感知 + 团队共享 agent = 完整的组织级环境上下文。

Sources

Synthesized from 6 sources
  • Every Context Window — Model WarsSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 Evening Update 2026-04-26Supporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-08-14 AfternoonSupporting source listed by this page.Whole pagemediumbody
  • AI 简报 2026-08-14 晚间Supporting source listed by this page.Whole pagemediumbody
  • Ben's Bites 2026-08-18Supporting source listed by this page.Whole pagemediumbody
  • 2026-08-18 Do you use a personal agent?Supporting source listed by this page.Whole pagemediumabsorb log

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 6 sources.

    From Every Context Window — Model Wars, AI 简报 Evening Update 2026-04-26, AI 简报 2026-08-14 Afternoon, AI 简报 2026-08-14 晚间, Ben's Bites 2026-08-18To Environment Context Agents — 从会话级 AI 到环境级 AI
    Sources: raw/newsletters/Every/2026-04-26 Model Wars.md · raw/briefing/AI Briefing/2026-04-26-23-00.md · raw/briefing/AI Briefing/2026-08-14-11-31.md · raw/briefing/AI Briefing/2026-08-14-23-43.md · raw/newsletters/Ben's Bites/2026-08-18 Do you use a personal agent?.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Ben's Bites/2026-08-18 Do you use a personal agent?.md

Linked from