Agent-First Search — 为 Agent 重构的搜索基础设施
What it is
Agent-first search 指为 AI agent(而非人类用户)优化的信息检索与推荐体系。它包含两层:一是检索层,为 agent 的长查询、分钟级深度研究和结构化消费设计索引、排序、归因与定价;二是推荐层,即"agent 引擎优化",目标是让 agent 在完成用户任务时推荐某个产品或服务。两个层面共享同一判断:agent 正在成为互联网的主要客户。
Why it matters
- 人类点击数据是搜索系统的 bug:当 agent 做研究时,依赖人类反馈(点击、停留时间)评估相关性会失效。
- agent 查询更长、更具体、更少 typo:搜索系统可以解不同类别的问题,而不只是匹配关键词。
- agent 训练数据形成反馈回路:产品决策被迫考虑存量代码在训练语料中的权重。Modal CEO Erik Bernhardsson 确认,agent 训练数据包含大量旧版 Modal 代码,导致 API 废弃策略被迫显著保守,必须谨慎更新每一个线上示例。
- 商业模式需要重构:基于有限人类注意力的广告模式在 agent 时代可能崩解,需要按内容对 agent 输出的边际贡献定价。
Key points
- 两层结构:检索基础设施(Parallel Web Systems 案例)与 agent 推荐优化(Modal 案例)。前者重构索引与排序,后者通过内容与文档影响 agent 的回答。
- 内部推荐率成为产品指标:Modal 内部向 agent 提问"部署 stable diffusion 应该用哪个服务"来跟踪推荐率,并要求团队针对 agent 误解定价等问题优化内容清晰度。
- 质量、成本、延迟的三维取舍:Parallel 早期刻意忽略延迟,先保证质量和成本,随后推出 TurboNow 把响应时间从 3 秒降到 200 毫秒。
- 多层索引加多轮检索:把"十亿对十亿"的匹配问题拆分为大索引、fresh index、结构化索引,加上多轮检索与排序,在有限延迟预算内分配算力。
- Shapley value 做内容归因:估算每份内容对 agent 输出的边际贡献,按内容质量与 agent 完成工作的价值差异化定价。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| AI Builders Digest 2026-08-26 | Parag Agrawal 创立 Parallel Web Systems,从按需爬取的 search agent 起步,用 Shapley value 做内容归因与付费 | 检索层案例:agent-first 搜索基础设施的完整设计 |
| Latent Space 2026-10-22 — Erik Bernhardsson (Modal) | Modal 内部追踪 agent 推荐率;agent 训练数据中的旧代码迫使 API 废弃策略保守 | 推荐层案例:agent 引擎优化与训练数据反馈回路 |
Open questions
- 当多个 agent 互相检索和引用时,如何避免信息茧房和引用污染?
- Shapley value 这类归因机制在实践中是否可扩展、可审计?
- 现有搜索引擎(Google、Bing)会以多快速度推出 agent-first 索引层?
- 内容发布者如何为 agent 消费者优化格式(结构化、可引用、上下文完整)?
- 通过内容影响 agent 推荐的边界在哪里?自动生成内容(slop)策略是否有效且可持续?
Prompts for witness
- 如果你正在做的产品未来主要被 agent 访问,你的内容结构需要哪些改变才能让 agent 直接消费?
- 当搜索结果不再展示给人类,而是被 agent 综合进最终答案时,内容创作者如何证明自己的价值?
- 你的产品中 agent 训练数据是否已经形成遗留负担?API 废弃决策是否因此变得更保守?
Related
- ai-ecosystem/overview — AI Ecosystem 长期判断
- product-trends/agent-native-architecture — Agent-native 产品设计
- product-trends/saas-vs-agent-native — SaaS 与 agent-native 的争议