Evolution-Inspired Value Function and Alignment
What it is
海外独角兽(Celia、Siqi)2026-10-19 的长文,沿 Ilya Sutskever 的生物视角梳理进化史与 AI 两条主线的对应:智能主线(RSI)对应进化"更高效地发现新的适应方式";对齐主线对应进化"更大范围的结盟与合作"。核心论点:大模型已补齐感官、手脚和想象(预训练/SFT/CoT/RL),唯独缺一枚属于自己的 value function;而进化的 alignment 解法不是写规则,而是搭一个让合作胜出的环境,再把在意别人写进本能。
Why it matters
价值函数(value function)正成为下一代持续学习范式的共识组件:Ilya 的 SSI、Jerry Tworek 的 Core Automation、Richard Sutton 的 Oak Lab 都把它视为关键。持续学习当前最大的卡点是 sample efficiency 太差,inner value function 被寄望带来学习效率的质变。
Key points
- 生物智能五次突破(Max Bennett《智能简史》):Steering(转向,最早的 value function,affect 把异质信号投影到同一低维空间)、Reinforcing(多巴胺编码 reward prediction error,与 TD learning 几乎完全对应;exploit 多巴胺 + explore 好奇心两套 reward)、Simulating(新皮质作为生成模型,把试错搬进脑内)、Mentalizing(社会脑,为别人建模)、Language(碳基 RSI 的起点,经验虚拟化的顶点)。
- 大模型走反方向:生物把经验一层层虚拟化,大模型从最二手的经验(人类文字)出发,一点点去够一手经验。David Silver 与 Sutton 称之为 The Era of Experience。
- value function 的三家主张:Ilya 以人脑为据(新手无教练也知开车好坏;进化能把"社会地位"这种高级价值观稳健编码,暗示超级智能的高级目标也可能被教会);Tworek 关注 objective function 设计(不能太平凡、要持续产生学习信号);Sutton 区分 reward(当前好坏)与 value(当前处境的未来整体后果)。
- alignment 的进化参照:每次合作跃迁(分子→细胞→多细胞→社会)都要先解决局部目标与整体目标的对齐;多细胞生物用细胞自毁和免疫清除处理"癌变",是解得不错的 alignment 实例。
- 人类三层 alignment 机制:制度的演化(技术压低信息门槛,制度解决信任门槛;但制度比技术慢得多,时间差就是动荡期;制度几乎都不是设计出来的,是试错出来的)、道德圈的扩大(半径约等于非零和游戏的半径;价值观是特定环境下的 reward function,是适应)、自我驯化(几十万年集体惩罚相当于 RLHF,评分员偏好被蒸馏进每个人的奖励函数)。
- 对 AI alignment 的推论:把 AI 对齐到 2026 年价值观的某个 checkpoint,可能把今天的局限性一起冻结(设想 AGI 诞生在 1800 年);更可能对齐的是"改进价值观的方法",让价值观本身实现某种 RSI。Anthropic 新版 Claude 宪法从行为原则清单转向解释"为什么"。
- 争议:也有 researcher 认为 value function 路线完全走不通,Ilya 可能在释放烟雾弹。
Evidence across sources
| Source | Key Claim | Relevance |
|---|---|---|
| 线虫、多巴胺与股份公司 | 进化两条主线对应 AI 的 RSI 与 alignment;value function 是共同缺口 | 单源;Ilya/Sutton/Tworek 主张为文中转述,未逐一核验原始出处 |
Open questions
- inner value function 与现有 RLHF 的关系是替代还是叠加?
- "对齐改进价值观的方法"在工程上如何落地,与 constitution 式规则写作如何分工?
Prompts for witness
- Jean 的 personal daily 系统里,"价值函数"对应什么?是 goals-tracking 还是别的机制?
- 如果价值观只是环境的适应,Jean 自己的价值观有多少是"特定环境的 reward function"?