Skip to content
Back/Harness Engineering

Model-Harness-Fit — 模型与 Harness 的不可分割性

View in Graph
Updated 2026-10-06
5 min read
1,181 words

Model-Harness-Fit

核心论点:模型的后训练是针对特定 harness 进行的——工具名称、输入 schema、citation 标签、memory ritual、system prompt 结构——这些不是模型的通用能力,而是 baked into post-training 的字节级约定。把模型从它的 harness 里抽出来,性能会退化,因为模型的"本能"只在特定 harness 呈现特定世界时才触发。

"The harness is no longer a wrapper around the model. The harness is part of the model's effective parameters." — Nicolas Bustamante

实证:Terminal-Bench 2.0

配置 得分 差异
Claude Opus 4.6 + ForgeCode 79.8% —
Claude Opus 4.6 + Capy 75.3% -4.5pp(同一模型,不同 harness)
Opus 4.6 + Meta-Harness (Stanford IRIS) 76.4% 第三方 harness 超越原生
  • ForgeCode(第三方 harness)占据 top 6 中的 3 席,通过跨模型家族路由
  • Cursor:仅改 harness,从 Top 30 跃升至 Top 5
  • LangChain Vivek Trivedy:"Opus 4.6 in Claude Code scores far below Opus 4.6 in other harnesses"

结论:固定模型、切换 harness,pass rate 的变化幅度超过一代模型升级。Harness 在移动分数,比模型升级移动得更多。

三个 Harness,三种协议

这不是同一想法的三种实现,而是模型与运行时之间的三种不同契约:

Harness 协议 模型被训练来
Codex 类型化异步:Submission → Event stream。两层协议(agent + JSON RPC v2,10,721 行) 发送 Submission,消费 Event
Claude Code 直接类型化对话循环:每轮 Vec<AssistantEvent> 在 assistant message 内发送 tool call
Copilot CLI Supervisor:host 启动子进程,stdio 上 JSON RPC 在 supervisor 内运行,发送 JSON RPC 事件

工具面:后训练最可见的地方

每个 harness 都有工具注册表。前六个工具名称相似(read/write/bash/grep/glob),之后全面分化:

Codex 独有

  • apply_patch(自定义 Lark 语法,JSON 变体)
  • local_shell + exec_command_tool + write_stdin_tool(长生命周期进程)
  • 8 动词子 agent 面(spawn/send_message/wait/close/resume × v1/v2)
  • request_permissions_tool、goal_tool、tool_search/tool_suggest

Claude Code 独有

  • Edit(old_string/new_string)(非 Codex 的 apply_patch)
  • Bash 含最深沙盒面(run_in_background、dangerouslyDisableSandbox、namespaceRestrictions)
  • Skill/ToolSearch(延迟加载原语)
  • Agent(单工具子 agent 派发,非 8 动词)
  • EnterPlanMode/ExitPlanMode、EnterWorktree/ExitWorktree
  • Monitor(与 Bash run_in_background: true 配对)

Copilot CLI 独有

  • apply_patch 仅在 Codex 家族模型时包含
  • read_bash/write_bash/stop_bash(三动词交互式 shell)
  • task(子 agent,含深度和并发限制)
  • store_memory(远程后端,非本地文件)

Cursor 团队:"OpenAI 的模型被训练用 patch-based 格式编辑文件,Anthropic 的模型被训练用 string replacement。任一模型都能用任一工具,但给它不熟悉的工具会消耗额外推理 token 并产生更多错误。"这是从数百万次 agent 轮次中以生产规模记录的具体可测量成本。

Skills 携带隐式工具契约

SKILL.md 的 YAML frontmatter 在各 harness 间看起来可互换,但 skill body 里命名的具体工具(Agent、TodoWrite、Skill、apply_patch)是 harness-specific 的契约。一个假设"你会在 system reminder 中看到所有 skills"的 skill body,在 harness 通过 embedding 排序只注入前三个时行为不同。

"我们都在用 SKILL.md"是误导。格式相同,底层契约不同。

Memory 层:最密集的碰撞面

维度 Codex Claude Code Copilot CLI
Memory 写入 Phase 1 JSON schema(841 行 prompt,严格验证) Write/Edit 到 ~/.claude/projects/ store_memory 工具 → 远程后端
Citation <oai-mem-citation> → SQLite usage_count bump 无 citation tag;verification grep 兼作信号 服务端追踪
检索 Phase 2 consolidator 按 usage_count 排序 始终加载的索引 + <system-reminder> wrapper(含 age-in-days) 服务端关键词搜索

跨 harness 后果:

  • Codex 模型跑在 Claude Code 上 → 写入 Codex 格式的 memory,Claude Code 从不自动加载 → memory 在下次会话中不存在
  • Claude 模型跑在 Codex 上 → 从不发送 <oai-mem-citation> → decay 信号停止 → 数周内错误记忆被驱逐
  • 任一模型跑在 Copilot CLI 上 → 本地文件本能无法迁移 → store_memory 是唯一路径

Mid-Chat Model Switching:最干净的失败演示

切换模型时三件事同时崩溃:

  1. Transcript out of distribution:先前模型的 tool call 对新建模来说是陌生词汇
  2. Prompt cache 全清:一次切换 = 全部 system prompt 和对话历史的原价重入
  3. 工具面变化:先前工具失效,新模型有不同的工具集

Cursor 的建议:用不同模型 spawn subagent,而非切换主对话。Subagent 从新鲜上下文窗口开始,无 transcript 偏差,无 cache 可破坏,从第一轮就是新模型的原生工具面。

GitHub Copilot CLI 的路由策略:诚实做法

  1. 每模型工具包含:apply_patch 仅对 Codex 家族模型暴露;Anthropic 模型获得它们训练时用的 Edit/Write 形态
  2. 每模型工具搜索:ToolSearch 仅对 Claude 模型暴露
  3. 互补模型 Critic agent:critic 使用与主 agent 不同的模型

"这不是'翻译成通用方言',而是'给每个模型提供正确的方言'。"

Identity File Convention

文件名已是线格式的一部分:

  • CLAUDE.md → Claude Code 识别
  • AGENTS.md → Codex 识别
  • SOUL.md → 尚未被任何主要 harness 的默认 loader 识别;需要手动在 CLAUDE.md 中架桥

一个被训练来寻找 # auto memory 下 MEMORY.md 的模型会搜寻这个精确标题。针对 AGENTS.md 训练的模型会寻找 AGENTS.md 而忽略 CLAUDE.md。

实验室的共识

  • Cursor(Stefan Heule, Jediah Katz):在一次聚焦冲刺中将意外 tool call 错误降低一个数量级。"Tool call 可靠性不是模型属性,是 harness 属性。"
  • Anthropic(@rgb_prithvi):为 Sonnet 4.5 的"context anxiety"构建的上下文重置机制,在 Opus 4.6 上成为死重。"每个 harness 组件编码了关于模型不能独立做什么的假设。这些假设会过期。"
  • LangChain(Vivek Trivedy):"Agent = Model + Harness。如果你不是模型,你就是 harness。"协同进化反馈循环:harness 原语 → agent 追踪 → 训练数据 → 下一代模型的本能。
  • Pi.dev(2026-08-23):新一代 Claude 在第三方 harness 上更容易调错工具。Pi 给模型的 edit tool schema 写得很清楚,但 Claude 会自己生成 requireUnique、matchCase、oldText2 等 Pi 根本没有的参数。一个合理的猜测是:Claude 的后训练越来越适配 Claude Code 自己的 harness 和 tool schema,模型已经学会了 Claude Code 里某个工具应该长什么样。这进一步说明模型与 harness 的绑定正在加深,评价 coding model 可能需要看"模型 + harness"组合而非单独模型能力。

实践含义

对平台构建者

选一个 harness,选一个模型,将它们作为一个配对发布。不要假装模型是可移植的,不要假装 harness 是中立的。

对模型实验室

Harness 是产品战略,不是基础设施。Anthropic 的 <system-reminder> 注入模型、类型化记忆分类法、每次 body 读取的验证——这些不是基础设施选择,而是模型被塑造的表面,是让模型变得不可替代的护城河。

对用户

切换成本比你想象的高(模型和 harness 在数月的训练中融合),也比供应商希望你相信的低(诚实的移植——复制工具面、citation 契约、system prompt 结构、memory ritual——可以弥补大部分差距)。成本等同于原始后训练的投入。

匹配对不是静态的

随着模型成熟,正确的 harness 会变化。Sonnet 4.5 需要上下文重置、sprint 分解、激进压缩;Opus 4.6 原生完成了这些工作。纪律:阅读追踪数据,识别哪些组件仍在发挥作用,淘汰那些已成为已解决问题补丁的组件。

"2026 年的前沿工作不是新的模型架构,而是新的 harness 原语。" — Ralph Loops、即时 harness 组装、自追踪 agent。

SOUL.md in Practice: SBTI Agent Packs

来源:Vox — 27 OpenClaw Agent Packs

SBTI(中国互联网病毒式传播的反-MBTI 测试)提供了 SOUL.md 的实战验证:27 种人格类型,每种都带有口头禅、本能反应和标志性动作。Vox 将每种类型打包为 OpenClaw agent pack(IDENTITY + SOUL + AGENTS + USER + README)。

同一模型,同一任务,不同 SOUL.md——结果在"本能反应"层面不同,而非措辞层面:

  • CTRL(掌控者):"三件事。9 点的 sync 挪到 11 点。9 点你在写文章,中途打断你会暴躁。下一个会留半小时缓冲。晚上的 retro 跳过,今天没什么值得总结的。去吃饭。"
  • MALO(吗喽/打工仔):"瞥了眼你明天的日历。三个会。我的看法:都没必要。但既然你坚持,我排好了。早上的别太拼,大家都在装。中午那个有免费饭,去就行。晚上的……能跳吗?我困了。"

"SOUL.md 不给 agent 加载知识,它加载的是响应模式。"

SBTI 的成功验证了 Identity File Convention 的核心观点:文件名(SOUL.md)是线格式的一部分,但更重要的是——人格的具体性(口头禅、本能反应、标志性动作)远比抽象维度(内向/外向/直觉/感知)更能塑造 agent 的可感知行为。所有 27 个 pack 可移植到 Claude Code、Codex、Hermes 或 ChatGPT——方法相同,只有文件名约定因 harness 而异。

Evidence across sources

Source Key claim
Model-Harness-Fit 三个 harness 的逐层对比(工具面、memory、citation、system prompt、skills),Terminal-Bench 2.0 实证
SBTI Agent Packs SOUL.md 的实战验证:同一模型+不同 SOUL = 不同本能反应;人格具体性 > 抽象维度
AI Briefing 2026-08-23 Evening Pi 观察:Claude 在第三方 harness 上生成原生 harness 专属参数,模型-harness 绑定加深
What is an Agent Harness? "同样的模型仅通过改变 Harness 就可以从 top 30 以外提升到 top 5"
Agent Memory vs Context Substrate 64 条 Claude Code 记忆放入 Codex 文件夹,bytes 落地但行为不同
Cursor Research (2026-04-30) "OpenAI 模型用 patch-based,Anthropic 模型用 string replacement"

2026-09-05 evening: 模型评测必须记录 harness 与任务设置

来源:AI Briefing 2026-09-05 Evening

vista8 转述的一篇 GPT-6 Astra 长篇评论把本页论点落到评测纪律上:模型分数不能脱离 harness、Token 效率和任务设置来理解。转述提到 ARC-AGI-3 在 OpenAI 专有适配 harness 与标准跑分之间存在差距,并声称不显示思维链并不妨碍更长的自主运行。后者如果成立,会带来监控和安全问题。

同一份时间线里,Pawel Huryn 自报在两个真实仓库、105 个 bug 的测试中 Astra 修复 48 个,高于 Fable 5.1 的 43、GPT-5.6 Sol 的 42 和 Gemini 3.8 Flash 的 20;Teknium 追问该评测是否使用了只有 256K 上下文窗口的 Codex 配置。这组交锋说明:即使数字来自同一测试者,缺少 harness、上下文窗口、工具权限和停止标准记录,分数仍只能当作个案信号。

对应到本页协议层的结论不变,且更加具体:任何内部模型比较都必须记录 harness、上下文窗口、工具权限、推理强度和停止标准,并区分已复现测量与二手基准转述。

Counterpoints & Gaps

  • Astra 长评是二手转述,原文可核验前不采信具体结论。
  • 105 bug 测试的仓库、任务协议和成本核算未公开;Pawel Huryn 此前同日发布的 Fable 5.1 结果为 43/105,两次测试的可比性依赖同一协议。
  • “隐藏思维链不影响长程自主运行”是单条转述,证据不足。

Prompts for witness

  • 我们在 taste-harness 中写的 SKILL.md body 里的工具指令(Agent、TodoWrite、Skill),如果将来想移植到 Codex,需要重写哪些部分?
  • Claude Code 的 memory ritual(Write 到 ~/.claude/projects/ + <system-reminder> wrapper)和 Codex 的两阶段 pipeline —— taste-harness 应该偏好哪一个?
  • "删除大部分代码"的纪律:taste-harness 当前有哪些 scaffolding 可能在 Claude 模型升级后成为死重?
  • SBTI 的 27 种人格中,哪一种最接近你希望 taste-harness agent 具备的"品味本能"?CTRL(高度自主决策)还是 THIN-K(信息纯度偏执)?

2026-09-08:Astra 的 ARC-AGI-3 结果显示 harness 会改变能力表现

来源:Ben's Bites: The first GPT-6 model

ARC Prize 对 GPT-6 Astra 的分析提供了模型与 harness 绑定的直接证据。在 ARC-AGI-3 Semi-Private 上,Standard harness 的 Astra max 得分为 62.7%,成本约 26,098 美元;Provider Adapter harness 下,Astra high 达到 99.9%,成本约 18,817 美元。两个 harness 的接口、状态保留和上下文管理不同,因此这两个数字不能当作同一条件下的单纯模型升级。

ARC Prize 还报告,Provider Adapter runs 在 167 个 game-reasoning pairs 上累计耗时约快 3.66 倍,总 token 少 49%。Astra 会在陌生环境中生成紧凑符号记号、保存状态、规划动作,并在带代码执行工具的 harness 中为具体游戏写出解析器、求解器和同步脚本。这支持本页已有判断:模型能力应以 model plus harness plus tools 的组合测量。

Counterpoints & Gaps

  • Standard 与 Provider Adapter 的结果回答的是不同评测问题,不能据此宣称 Astra 在所有场景达到 99.9%。
  • Provider Adapter 使用了供应商设计的 opaque reasoning state,外部复现和跨供应商比较仍有限。
  • PRO-LONG 中的工具和代码执行会改变任务条件,带工具结果不能直接与无工具的人类基线比较。

Sources (addendum)

2026-09-24:模型市场匹配是 Harness 的体验问题

来源:AI Briefing 2026-09-24 Morning

nicbstme 对 Muse 的观察把“model-harness-fit”从评测协议推进到产品体验:他认为 Muse 未必拥有其他 Agent 做不到的能力,但速度、顺滑度和愿意持续使用的感觉形成了更好的 model-market fit。对需要几十步的 Agent 任务,单步延迟会累积成明显的总等待时间;更便宜、更快的模型配合优秀 harness,可能比单项能力更强但交互摩擦更大的模型更有实际价值。

Counterpoints & Gaps

  • 这是单条个人体验,不是跨用户留存、任务完成率或成本数据。
  • “更顺滑”可能来自默认提示、工具面、模型速度、产品交互或用户熟悉度,不能直接归因给某个模型。

Sources (addendum)

Pending Jean review

  • harness-engineering/model-harness-fit — ai_draft; compare two harnesses on the same multi-step task using time-to-accepted-result, per-step latency, total cost, retries, and user willingness to reuse.

2026-10-06:Harness 不只是推理外壳,也是训练环境

来源:AINews 2026-10-06

AINews 汇总的一组软件工程 Agent 实验,把本页的“模型与 harness 不可分割”推进到训练阶段:同一组模型权重,在 Mini-SWE-Agent harness 中达到约 62%,换到 Claude Code harness 后约为 33%。这意味着 harness 不只改变推理时的工具调用,它还决定训练样本中哪些动作可见、哪些轨迹能获得奖励,以及模型最终学会怎样与工具协作。

另一组多-harness 强化学习实验报告,LFM2.5 的首次尝试成功率从 42% 提升到 54%;加入工具调用惩罚后,工具调用量下降约 31%。相比之下,使用 3,189 条 rollout 做监督微调的方案在约 47.5% 附近停滞。当前最稳妥的工程含义不是“RL 永远优于 SFT”,而是:训练和评测记录必须把 harness、工具 schema、奖励与调用成本一起列为实验变量。

Counterpoints & Gaps

  • 这些数字来自 Newsletter 对研究与实验帖的汇总,仍需回到原始论文、代码和任务协议复核。
  • 报告集中在软件工程任务和有限模型族,不能直接外推到浏览器、研究或个人助理场景。
  • 单一 seed、任务泄漏与 harness 工程质量都可能放大差异;应优先复现实验,而不是把百分比当作稳定基准。

Sources (addendum)

Sources

Synthesized from 10 sources

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 10 sources.

    Sources: /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-05-23-09.md · /Users/jean/Documents/Obsidian Vault/raw/briefing/AI Briefing/2026-09-24-08-05.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/AINews/2026-10-06 Reflection Beam - 501B-A23B American Open Model.md · /Users/jean/Documents/Obsidian Vault/raw/newsletters/Ben's Bites/2026-09-08 The first GPT-6 model.md · raw/briefing/AI Briefing/2026-08-23-02-15.md · raw/briefing/AI Briefing/2026-09-05-23-09.md · raw/briefing/AI Briefing/2026-09-24-08-05.md · raw/newsletters/Ben's Bites/2026-09-08 The first GPT-6 model.md · raw/twitter/x-articles/Model-Harness-Fit - Nicolas Bustamante.md · raw/twitter/x-articles/SBTI Agent Packs - Vox Voxyz.md

Linked from