为什么你现在应该读这篇现在几乎所有主流对齐方法——RLHF、DPO、Constitutional AI——底层都有一个共同假设人类偏好是一个固定的、可以被推断和优化的目标。你收集偏好数据训练模型逼近这个目标目标一旦逼近对齐就算完成。这篇论文的核心论点是这个假设从根上就有问题。三件不能不知道的事① 人类偏好不是一个点是一个随时间变化的过程论文提出三条经验性公理偏好是按时间层级分层的短期偏好和长期偏好可能矛盾、偏好随情境和人生阶段动态变化、偏好是通过互动被建构出来的不是提前存在等着被发现的。这三条公理直接来自行为经济学和心理学的大量实证证据不是论文自己的假设是对已有实证证据的重新组织。② 如果偏好本身是动态建构的那优化偏好这个动作本身就在改变被优化的目标这是一个逻辑上的陷阱如果人类偏好会因为和AI的互动而改变建构主义视角下这是必然的那么训练AI去满足人类当前偏好这个过程本身就在塑造人类未来的偏好。传统对齐范式把这个反馈回路当成噪音去消除这篇论文认为这个反馈回路才是问题的核心。③ 对齐的目标应该重新定义为治理偏好演化轨迹而不是命中某个时刻的静态偏好论文用控制论的框架把这件事形式化——偏好动力学、信念动力学、互动结构如何共同塑造对齐结果。这不是要放弃优化而是要优化的对象从某一时刻的偏好值换成偏好演化的轨迹形状。如果你正在做(1) 长期陪伴型AI产品数字分身、私人助理、AI伙伴(2) 任何需要多轮持续互动而不是一次性满足需求的AI系统(3) 对齐/偏好优化相关的研究或工程实践下面的细节可以直接搬。论文元信息标题Constructive Alignment: Governing Preference Dynamics in Human-AI InteractionarXiv2607.000012026年7月收录AAAI-26 Machine Ethics Workshop理论基础行为经济学、心理学、建构主义constructivism核心方法三条经验性公理 控制论control-theoretic形式化建模相关工作与 OpenReview 上的Constructive Alignment: Reframing AI Alignment as Value Co-Evolution这篇更早的姊妹论文明确提出对齐不是朝固定偏好优化而是人机价值共同演化的动态过程在核心论点上高度一致核心场景为什么一次性对齐在长期陪伴场景里注定会失效想象你在做一个数字分身产品——一个陪伴用户几个月甚至几年的AI助理。上线第一天你收集了用户的偏好数据训练模型去满足这些偏好用户喜欢简洁的回复、喜欢被直接告知结论、不喜欢被追问细节。模型学得很好用户前几周确实很满意。但三个月之后呢用户的工作状态变了从追求效率变成需要情感支持用户对AI的信任度也变了从谨慎试探变成愿意分享更私密的想法甚至用户在和AI持续互动的过程中被AI的回应方式反过来影响了自己表达需求的方式。这时候你会发现你训练时锁定的那个用户偏好早就不是现在的用户偏好了。传统对齐范式会把这解读为模型过时了需要重新收集数据、重新训练本质上是把偏好漂移当成一个需要不断追赶的移动目标。Constructive Alignment 这篇论文提出的框定不一样偏好漂移不是意外是必然——因为偏好本来就是分层的、动态的、被建构的而且很关键的一点是被AI自己的行为参与建构出来的。你的AI助理每一次回应方式的选择都在悄悄塑造用户下一次会怎样表达需求、怎样理解被满足这件事。这意味着如果你只优化命中当前偏好这一个指标你可能在不自知的情况下用AI的行为塑造出了一种你从未主动设计过的偏好演化路径——可能是好的用户变得更从容、更清楚自己需要什么也可能是坏的用户变得越来越依赖某种单一的互动模式偏好被锁死在一个狭窄区间。关键数据论文用控制论的形式化建模control-theoretic formulation把偏好动力学、信念动力学、互动结构这三者的关系显式表达出来——这个建模方式本身释放了一个信号作者不是在做纯哲学论述是想给这个理论一个可以被工程化、可以被后续研究量化验证的数学骨架。技术细节三条公理和控制论建模三条经验性公理┌──────────────────────────────────────────────────────────┐ │ 公理一偏好按时间层级分层 (Layered across time horizons) │ │ 短期偏好 ≠ 长期偏好二者可能互相矛盾 │ │ 例用户短期想要马上给答案长期需要被引导独立思考 │ ├──────────────────────────────────────────────────────────┤ │ 公理二偏好随情境/人生阶段动态变化 (Dynamic across contexts) │ │ 同一个人在不同情境、不同人生阶段偏好可能完全不同 │ │ 例职场新人期需要执行细节资深期需要战略视角 │ ├──────────────────────────────────────────────────────────┤ │ 公理三偏好通过互动被建构 (Constructed through interaction) │ │ 偏好不是等待被发现的固定实体是在互动过程中生成的 │ │ 例AI的回应风格本身参与塑造了用户什么算被满足的判断标准 │ └──────────────────────────────────────────────────────────┘传统对齐范式 vs Constructive Alignment 对比维度传统对齐范式(RLHF/DPO等)Constructive Alignment偏好的本质假设固定目标等待被推断和优化分层、动态、被建构的持续过程优化对象某一时刻的静态偏好值偏好演化的轨迹形状对偏好漂移的解读噪音/需要追赶的移动目标必然现象反馈回路的核心组成部分AI行为对用户的影响通常被视为需要最小化的副作用被视为需要主动设计和治理的机制理论基础效用理论/固定偏好假设行为经济学心理学建构主义实证证据形式化方式奖励模型/偏好优化目标函数控制论(偏好动力学信念动力学互动结构)适用场景假设一次性/短周期任务满足长周期持续互动关系控制论建模的核心变量关系论文用控制论框架显式建模三组动力学的相互作用动力学变量含义与其他变量的关系偏好动力学 (Preference Dynamics)用户偏好随时间如何演变受互动结构影响也影响信念动力学信念动力学 (Belief Dynamics)用户对AI能力/意图的信念如何演变影响用户如何表达和调整偏好互动结构 (Interaction Structure)AI与用户互动的模式和规则是可被设计和治理的杠杆变量这个三元关系的核心洞察是互动结构是唯一可以被设计者主动控制的变量但它会通过影响信念动力学间接塑造偏好动力学——这正是治理偏好轨迹这个说法的数学化表达你不能直接控制用户偏好怎么变但你可以通过设计互动结构去影响这个演化过程的方向。So What三类人的行动清单 工程师在设计长期陪伴型AI的互动逻辑时把这次互动会怎样影响用户下次的期待作为一个显式考虑的维度——不要只优化单轮响应质量试着记录和分析用户偏好随时间的变化轨迹这个更高阶的信号。区分短期满意度和长期偏好轨迹的健康度这两个指标可能互相冲突——一个总是完全顺从用户短期要求的AI可能在优化公理一里提到的短期偏好却在悄悄伤害长期偏好比如用户变得越来越依赖、越来越缺乏主动思考。明天就能做如果你的产品有多轮/长周期用户互动数据拉一份同一用户过去3-6个月的偏好表达变化记录哪怕只是简单的行为日志请求频率、请求类型、满意度反馈看看有没有能观察到的轨迹形状——这是判断你的产品是否已经在不自知地塑造用户偏好演化的第一步。 技术管理者评估维度长期陪伴型产品的对齐评估周期需要重新设计——如果你的团队还在用单次交互满意度作为主要对齐评估指标,这篇论文提示你需要引入偏好轨迹健康度这类更长周期的评估维度,单次满意度和长期健康度可能不一致甚至矛盾。评估维度AI行为对用户偏好的塑造效应,是否应该纳入伦理/合规审查范围——如果AI的互动方式确实在参与建构用户偏好(而不只是被动满足),这本身可能带来新的责任归属问题,值得提前纳入产品治理框架讨论。明天就能做把偏好轨迹治理这个概念带入下一次产品评审会,讨论现有产品的核心互动设计里,有没有可能正在无意识地把用户偏好锁死在某个狭窄区间(比如过度顺从导致用户越来越依赖单一互动模式)。 创业者/PM市场机会长期陪伴型AI产品的差异化竞争点可能从更懂你转向更负责任地影响你的成长轨迹——如果这个理论框架被验证有效,能明确设计健康偏好演化轨迹的产品,可能比单纯更精准满足当前偏好的产品有更强的长期用户粘性和更好的口碑。产品方向把偏好轨迹可视化做成用户可感知的产品功能——让用户能看到自己和AI互动过程中偏好/需求的变化轨迹本身可能是一个有意思的差异化功能尤其对自我成长、心理健康类应用有直接应用价值。明天就能做审视你产品的核心互动设计,问自己一个问题:“如果用户和我们的AI互动一年后,他的偏好/需求表达方式会变成什么样?这是我们主动设计的结果,还是完全没考虑过的副产品?”——这个问题本身就是这篇论文想推动整个行业去问的核心问题。⚠️ 方法论局限三条公理是经验性的理论框架本身缺乏可直接落地的工程实现路径论文提供的是一套理论视角和控制论形式化建模但没有给出具体的算法、训练方法或可复现的实验对于想直接抄作业的工程团队这篇论文提供的是思路而非现成方案。控制论建模的变量(偏好动力学、信念动力学)如何被实际测量,论文未充分说明形式化建模需要这些变量有可操作的度量方式才能真正被用于指导工程实践论文在这个环节的具体化程度有限。治理偏好轨迹本身可能引入新的价值判断问题——谁来决定什么是健康的轨迹论文提出要主动设计和治理偏好演化方向但这个治理本身需要一个判断标准什么方向是好的这个标准由谁制定、如何避免被滥用去操纵用户偏好朝设计者期望的方向发展论文没有充分讨论这个潜在的伦理风险。理论受众和落地场景相对窄主要针对长期陪伴型/持续互动场景对于大量一次性、短周期的AI应用场景比如单次问答、一次性任务型助手这套理论框架的适用性和必要性相对有限论文没有明确划定理论的适用边界。延伸阅读 论文原文arXiv:2607.00001 姊妹论文/更早版本OpenReview “Constructive Alignment: Reframing AI Alignment as Value Co-Evolution”idWH0MR4uDGg提出了非常一致的核心论点建议对照阅读理解这个理论的演进过程 交叉引用本日报中的《AutoMem》论文用轨迹复盘迭代修正的方式训练记忆技能和本论文治理偏好演化轨迹的思路在方法论结构上高度同构——都是把某个持续演化的东西当成可以被主动干预和优化的对象而不是被动接受其自然演化两篇论文放在一起读能看出一个更大的方法论趋势。⏱️如果只有5分钟直接看三条经验性公理图和传统对齐范式 vs Constructive Alignment 对比表这两部分讲清楚了这篇论文对主流对齐范式最核心的挑战点在哪里。路易乔布斯 © 2026 · AI论文观察 · AI对齐理论AAAI-26 Machine Ethics Workshop · arXiv 2607.00001 · 2026年7月基于公开论文摘要及行业解读研读整理
