Dual-Oracle Verification — 双 Oracle 校验与"测试检查器本身"
What it is
在 agent 驱动的逆向工程(以 REA 的东方 Project 重构为代表)中,用两个相互独立的 oracle 校验重构结果:Oracle A 是代码级精确比对(重构源码是否复现原版指令与数据),Oracle B 是可玩构建(重构程序能否构建、沿游玩路径行为是否正确)。两者抓不同的错误,缺一不可。
Why it matters
单个 oracle 有系统性盲区,而同一检查被用于数百个函数时,它的盲区比单个实现的错误传播得更远。TH08 的物品自动收集 bug 是教科书案例:重构源码把玩家 power 与 0.0 比较,原版是 128.0。该函数已通过精确比对,因为比对工具调整了重建后常量的地址再比指令字节,却从未校验地址处浮点数的实际值。修复后审计 1,548 处浮点字面量引用,又发现 12 处错误,分布在 5 个"已通过"函数中。
Key points
- 两个 oracle 抓不同错误:类型改动会改变生成指令(Oracle A 抓得住);所有权改动导致两处用不同状态副本(只有 Oracle B 的实际行为比对能暴露)。
- 检查器本身要被测试:给检查器喂"应该拒绝"的 case;修完检查器必须回审所有经旧检查放行的结果。
- 仓库 + Git 即工作记忆:推理过程与源码放在一起,checkpoint 让下一个会话能接着干。
- 证据不足时 "unknown" 是合法答案;里程碑由人看累积证据拍板。
- 一次成功的 batch 同时产出代码和更好的环境:TH08 的教训变成 TH095 的检查方式,方法成为下一个项目的起始材料。
- 手艺到工业:机器改变的是"技能用在哪",仍需有人设计流程、识别错误输出。类比 Boulton & Watt 1796 年的蒸汽机压力记录仪:让机器内部行为可检视,改进才可累积。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| REA — Reverse Engineering's Industrial Revolution | 双 oracle 方法 + 比对工具自身盲区案例 | 单源;浮点 bug 案例是"检查器盲区"最完整的公开记录之一 |
Open questions
- 在通用 agent 工作流(非逆向)中,"可玩构建"对应什么?是否等价于端到端行为验证?
- agent 自己写检查器、自己用检查器验收时,"测试检查器"的责任该由谁承担?
Prompts for witness
- Jean 的 wiki-absorb / ai-briefing 流程里,哪些"检查"从未被喂过应该拒绝的 case?
- 如果给 personal_daily 的验证链加一个 Oracle B,它应该比对什么行为?