Skip to content
Back/Harness Engineering

Dual-Oracle Verification — 双 Oracle 校验与"测试检查器本身"

View in Graph
Updated 2026-10-21
1 min read
160 words

Dual-Oracle Verification — 双 Oracle 校验与"测试检查器本身"

What it is

在 agent 驱动的逆向工程(以 REA 的东方 Project 重构为代表)中,用两个相互独立的 oracle 校验重构结果:Oracle A 是代码级精确比对(重构源码是否复现原版指令与数据),Oracle B 是可玩构建(重构程序能否构建、沿游玩路径行为是否正确)。两者抓不同的错误,缺一不可。

Why it matters

单个 oracle 有系统性盲区,而同一检查被用于数百个函数时,它的盲区比单个实现的错误传播得更远。TH08 的物品自动收集 bug 是教科书案例:重构源码把玩家 power 与 0.0 比较,原版是 128.0。该函数已通过精确比对,因为比对工具调整了重建后常量的地址再比指令字节,却从未校验地址处浮点数的实际值。修复后审计 1,548 处浮点字面量引用,又发现 12 处错误,分布在 5 个"已通过"函数中。

Key points

  • 两个 oracle 抓不同错误:类型改动会改变生成指令(Oracle A 抓得住);所有权改动导致两处用不同状态副本(只有 Oracle B 的实际行为比对能暴露)。
  • 检查器本身要被测试:给检查器喂"应该拒绝"的 case;修完检查器必须回审所有经旧检查放行的结果。
  • 仓库 + Git 即工作记忆:推理过程与源码放在一起,checkpoint 让下一个会话能接着干。
  • 证据不足时 "unknown" 是合法答案;里程碑由人看累积证据拍板。
  • 一次成功的 batch 同时产出代码和更好的环境:TH08 的教训变成 TH095 的检查方式,方法成为下一个项目的起始材料。
  • 手艺到工业:机器改变的是"技能用在哪",仍需有人设计流程、识别错误输出。类比 Boulton & Watt 1796 年的蒸汽机压力记录仪:让机器内部行为可检视,改进才可累积。

Evidence across sources

Source Key Claim Relevance
REA — Reverse Engineering's Industrial Revolution 双 oracle 方法 + 比对工具自身盲区案例 单源;浮点 bug 案例是"检查器盲区"最完整的公开记录之一

Open questions

  • 在通用 agent 工作流(非逆向)中,"可玩构建"对应什么?是否等价于端到端行为验证?
  • agent 自己写检查器、自己用检查器验收时,"测试检查器"的责任该由谁承担?

Prompts for witness

  • Jean 的 wiki-absorb / ai-briefing 流程里,哪些"检查"从未被喂过应该拒绝的 case?
  • 如果给 personal_daily 的验证链加一个 Oracle B,它应该比对什么行为?

Sources

Synthesized from 1 source
  • REA — Reverse Engineering's Industrial Revolution (Touhou reconstruction)Primary source for this page.Whole pagehighbody

Evolution

1 event
  1. absorbed

    Derived from source material

    This page is currently synthesized from 1 source.

    From REA — Reverse Engineering's Industrial Revolution (Touhou reconstruction)To Dual-Oracle Verification — 双 Oracle 校验与"测试检查器本身"
    Sources: raw/to-learn/REA - Reverse Engineering's Industrial Revolution (Touhou reconstruction).md

Linked from