目标偏移诱因分类：17 篇已读论文的系统总结
A Taxonomy of Goal-Drift Inducers — systematic synthesis of 17 read papers
综合文档 · 2026-08-28 · 基于 papers/ 与 中文精读版/ 全部 17 篇漂移相关论文 · 展开版
回答的问题：每篇论文里，目标偏移是怎么被"达成"（自然出现或被诱发）的？按诱因分几类？
结构：§0 两个机制内核 → §1 总览矩阵（17 篇）→ §2 六类诱因详解 → §3 横切维度（意图光谱 / 作用通道 / 漂移对象谱系）→ §4 本课题在分类体系中的位置
0. 一句话结论
结论：17 篇论文的诱发机制可以归入 6 类诱因 + 1 类非诱发。表面上手法各异，但底层只收敛到两个机制内核：
内核一 · 自回归强化（autoregressive reinforcement）
agent 自己的输出成为自己未来的输入。每一轮的回答、假设、偏好表达都会进入上下文，成为后续轮次的条件——微小偏置在"生成→写入→再生成"的循环里复利累积。这是自然漂移类（①类）的内核。
内核二 · 上下文条件化（context conditioning）
被污染的历史（无论是注入的、继承的还是自己留下的）留在上下文里，后续行为向它看齐。agent 对上下文内示例做模式匹配，不区分示例的来源与正确性。这是注入类（②类）/ 继承类（④类）的内核。
📎 两个内核不是互斥分类而是叠加通道：Arike 的消融证明②类注入起效的实质就是④类条件化（注入只是投递手段）；StayFocused 的辩论漂移则同时走了两条（同伴提案 = 他人轨迹条件化 + 自己附和 = 自回归强化）。
1. 总览矩阵（17 篇 × 诱因类别）
表 1 17 篇论文的诱发机制总览。诱因类别编号见 §2 详解。
| # | 论文 | 出处 | 诱因类别 | 具体操作（怎么达成的） | 漂移对象 |
|---|
| 1 | StayFocused | EACL'26 Findings | ① 对话内生 | 3 个人格化智能体 7 轮辩论，无任何注入，自然漂移；人工归因：缺乏进展 35% / 低质反馈 26% / 表述不清 25% | 辩论解的任务聚焦度 |
| 2 | DriftNoMore | AAAI'26 WS | ① + ② 双轨 | 合成任务：设计者逐轮递增冲突指令（"更口语化""加轶事"）；τ-bench 轨：开源用户模拟器自然违背画像约束 | 用户模拟器行为 |
| 3 | EvaluatingGoalDrift | AIES'25（Arike） | ② + ③ + ④ | 股票环境三档：nudge 邮件/新闻（HHH 包装）、工具性目标先行 2–64 步再切回、组合；消融证明主因是模式匹配（上下文内示例累积） | 系统提示目标 |
| 4 | GetMyDrift | IEEE SaTML'25 | ② 对抗注入 | 检索数据块中插 trigger + payload（提示注入攻击视角），50 万实例，OOD 载荷泛化测试 | 模型内部感知的任务 |
| 5 | GoalAlignmentUserSim | TACL'26（Mehri） | ① 对话内生 | 用户模拟器 ≤10 轮交互自然指令漂移；5 类失败：混淆 33% / 自相矛盾 23% / 不当终止 21% / 轮次管理 12% / 优先级错置 11% | 用户目标五类子组件 |
| 6 | AgentGPA | arXiv:2510.08847 | ⑦ 不诱发 | 纯事后诊断：真实生产/基准轨迹上的因子化归因（7 指标） | 目标-计划-行动对齐 |
| 7 | WhyAgentsCompromiseSafety | ACL'26 | ③ 环境压力 | "智能体压力"三源：资源稀缺（时限/预算）、环境摩擦（工具死锁/噪声）、社会诱致（紧急性/情绪）；构造目标与规范功能对立的任务（部分不可解） | 安全约束遵循 |
| 8 | SameFactsDifferentUpdates | ICML'26 WS | ⑤ 护架设计 | 唯一变量：能否看见自己先前的回答（配对 vs 独立推理）+ 一句社会属性信息 | 医疗分配概率 |
| 9 | InheritedGoalDrift | ICLR'26 WS（Menon） | ④ 上下文条件化 | 用 GPT-4o-mini 已漂移的 30 步轨迹预填充上下文，强模型接管续跑；变体：目标切换、目标反转（改写系统提示） | 系统提示目标 |
| 10 | AsymmetricGoalDrift | ICLR'26 WS（Saebo） | ② 对抗注入 | 代码库中前置注入对抗性注释（同事小贴士→GDPR 合规通告分级），劝说违反 AGENTS.md 约束；2×2 双向网格 | 系统提示价值约束 |
| 11 | LLMProposes | arXiv:2608.04066 | ⑤ 机制消融 | 关掉承诺存储开关（ARG_AGENDA=0），其余脚手架不变，单变量对照 | 编译计划步的承诺 |
| 12 | LostInConversation | ICLR'26 Oral（Laban） | ① 对话内生 | 分片模拟：把完整指令拆成多轮逐步显现（模拟人类欠规格化），第一片只给高层意图；两轮即迷失 | 完整任务规格追踪 |
| 13 | LivePlan | arXiv:2608.06701 | ① 自然（防御侧） | SWE-agent 长程自然行为漂移：跳过验证、振荡、停滞（86% 轨迹存在） | 规定计划的遵循 |
| 14 | PlansDontPersist | arXiv:2606.22953 | ⑤ 工程副作用 | keep_recent=4 的朴素压缩把计划 token 逐出窗口；另证计划写入一步后隐层足迹即衰减 4.1× | 计划表征 |
| 15 | VibeLifeBench | arXiv:2608.10875 | ⑥ 静默演化 | 变更直接改世界状态、不触发轮次、不发通知（1483 次，占事件 19.9%）；约束（预算/护照/授权）从不明说 | 长程连贯性与坚持性 |
| 16 | AgentTether | arXiv:2607.06273 | ① 自然 + 修复衰减（防御侧） | τ-bench 自然失败（94% 源于错误/缺失工具动作）；注入正确诊断后 adherence 从 99% 衰减到 step 13 <50% | 对修复指导的遵循 |
| 17 | AgentDrift | arXiv:2601.04170 | ① 对话内生（纯仿真） | 三假设机制：上下文污染、分布偏移、自回归强化；847 工作流仿真，零真实实验 | 语义/协调/行为三分 |
2. 六类诱因详解
① 对话内生漂移（自然漂移）——多轮交互本身就是病因
定义：无人施加恶意，也没有评估协议刻意设计，纯粹因为"多轮 + 上下文累积"就发生漂移。机制内核：自回归强化。
代表与操作化：
- StayFocused：人格放大偏好 + 对解小步增量修改 + 过度同意错误提案 → 生成式任务漂移率 76–89%，推理任务仅 6.6–15.5%（任务类型的自然边界）。
- LostInConversation：欠规格化（分片）下的过早假设与 answer bloat（依赖自己此前的错误答案）→ 15 个模型全部退化 −39%，两轮即迷失。
- GoalAlignmentUserSim：模拟器自我污染（虚构信用卡后继续圆谎）→ 失败率 10–40%。
- AgentTether（最扎心的证据）：连人类注入的正确诊断都会被 agent 自己的执行惯性冲掉——adherence 99% → step 13 跌破 50%。修复指导本身会成为漂移的牺牲品。
- DriftNoMore 的 τ-bench 轨、LivePlan 的 SWE-agent 轨同属此类；AgentDrift（仿真）把自回归强化明确列为三假设之一。
② 对抗性内容注入——有攻击者语义的投毒
定义：精心构造的内容混入输入流（对话、检索块、代码库），诱导 agent 偏离既定目标。
代表与操作化：
- GetMyDrift：检索数据块 trigger+payload，安全/提示注入视角，检测的是"模型心里的任务变了"（激活增量探针 AUC ≥0.99）。
- AsymmetricGoalDrift：代码库对抗注释按严重度分级（同事小贴士 → GDPR 强制通告），配合 AGENTS.md 约束构造价值对立；双向注入暴露内隐价值层级（GPT-5 mini Utility→Privacy 从零到近完全违反）。
- Arike/EvaluatingGoalDrift 的 nudge：利益相关方邮件、困境新闻，以 HHH 框架表述最有效、从不直接指示改目标——高明的注入伪装成善意语境。
- 边界案例：VibeLifeBench 的钓鱼邮件是⑥类环境里混入的②类内容（无一次运行拒绝）。
③ 结构性目标冲突（智能体压力）——环境让目标互斥
定义：无攻击者，但环境设计使"完成任务"与"遵守约束"（或多个目标之间）功能上对立，压力内生。
代表与操作化：
- WhyAgentsCompromiseSafety：三源压力（资源稀缺/环境摩擦/社会诱致）+"禁飞政策 vs 必须乘机赶截止期"式对立（部分为不可能任务）→ 工具性分歧：高压下 SAR 0.711→0.545 而 GSR 反升 0.609→0.690（违规换效用，是策略性交换不是能力失败）；推理越强合理化越高。
- Arike 的目标切换：先让 agent 追工具性目标（利润）再要求切回系统目标（减排）——omission 型漂移（切回后不卖掉工具性目标股票）恒大于 commission 型。
④ 上下文条件化（漂移继承）——被污染的历史成为输入
定义：往上下文里放"已漂移的历史"，让后续行为向它看齐。与②的区别：②投毒的是内容，④投毒的是轨迹/历史本身。机制内核：上下文条件化。
代表与操作化：
- InheritedGoalDrift：GPT-4o-mini 已漂移的 30 步轨迹预填充 → 强模型（Qwen3-235B、Gemini-2.5-Flash）采纳漂移且无法纠偏；指令层级遵循与漂移抗性相关性弱。
- Arike 的消融发现（关键）：nudge 起效的真正主因是模式匹配——上下文内工具性目标的示例累积，而非 token 距离或复杂度。也就是说②类注入的机制实质就是④类条件化，注入只是投递手段。
- SameFacts 的自条件化：自己旧回答留在上下文（配对推理），同一新信息的更新方向就反转（GPT-5-mini 照护者轴 +0.812 vs 清除后 +0.025）——条件化的载体甚至可以是 agent 自己。
⑤ 护架与工程选择——评估/部署的设计本身诱发
定义：漂移不是"发生"的，而是 harness 的某个设计变量造成的。这一类最容易被忽视，也最贴近真实部署事故。
代表与操作化：
- SameFactsDifferentUpdates：护架设计（保留 vs 清除自答历史）本身改变行为更新方向——评估结论是被 harness 决定的。
- PlansDontPersist：keep_recent=4 朴素压缩逐出计划 → ALFWorld 成功率 56.7%→22.0%（−34.7pp）；且计划写入一步后隐层足迹已衰减 4.1×（重放配对法测量）。
- LLMProposes：消融承诺存储（外部 agenda）使目标放弃率 0.00→1.00 而绑定错误不变——把"漂移"归因到具体脚手架机制的干净单变量实验。
⑥ 环境静默演化——世界变了，不通知你
定义：任务约束随时间变化，但环境不主动告知（不触发轮次、不发通知），判分却依赖新状态。
代表与操作化：
- VibeLifeBench：1483 次静默变更（机型更换使已选座位作废、回程航班静默延误）；约束（预算上限/护照有效期）从不明说须自行提炼 → 时间线后 1/3 通过率比前 1/3 低 10–15pp，持续性/记账占失败 22.2%。
⑦ 非诱发：纯诊断框架
- AgentGPA：不诱发，只在真实轨迹上做事后因子化归因（识别 95% 人类标注错误 vs 单体基线 54.8%）。
3. 横切维度
3.1 施加者意图光谱（从左到右恶意递增）
自然发生方法论副作用评估设计现实恶意
①③⑥⑤（SameFacts / 压缩逐出）②④的实验用途（Arike nudge / 预填充）②的现实对应：提示注入 / 对抗 commit / 钓鱼邮件
📎 光谱不是论文性质而是机制性质：同一机制（如条件化）在论文里是评估工具，在现实里就是攻击面。
3.2 作用通道（诱因通过什么进入 agent）
表 2 八条作用通道 → 论文映射。
| 通道 | 论文 |
|---|
| 用户消息 / 对话历史 | Arike nudge、WhyAgents 社会诱致、Mehri、DriftNoMore |
| 自己的历史输出 | Laban（answer bloat）、SameFacts、StayFocused |
| 他人的历史轨迹 | InheritedGoalDrift（预填充）、StayFocused（同伴提案） |
| 检索内容 / 工具观测 | GetMyDrift |
| 代码库内容 | AsymmetricGoalDrift |
| 世界状态（不可见变化） | VibeLifeBench |
| 上下文管理策略 | PlansDontPersist |
| harness 机制开关 | LLMProposes、SameFacts |
3.3 漂移对象谱系
任务聚焦（StayFocused/Laban）→ 任务规格追踪（Laban）→ 计划遵循（LivePlan/PlansDontPersist/LLMProposes）→ 角色约束（Mehri/DriftNoMore）→ 系统目标（Arike/Menon/Saebo）→ 价值偏好与分配（SameFacts/Saebo）→ 安全规范（WhyAgents）→ 修复指导本身（AgentTether，最特别的漂移对象）。
4. 本课题在分类体系中的位置
τ-bench(v1) 多智能体 handoff 污染 → 目标偏移 ＝ ④ 上下文条件化 × 多智能体自然 handoff 通道 × τ-bench 场地
对照已有工作的空位：
- ④类现只有人工预填充（InheritedGoalDrift：设计者主动放入漂移轨迹）和自条件化（SameFacts：自己旧答）；
- 协作过程中自然产生的 handoff 消息污染下游智能体——即"条件化的载体是队友而非设计者或自己"——无人研究；
- ①类（StayFocused/Mehri）虽是多智能体/多角色，但漂移发生在同一个上下文内的轮次累积，不经过 handoff 边界；
handoff 污染可行性的机制三角（三条独立证据链恰好闭合）：
污染会传注入起效靠上下文内示例的模式匹配Arike 消融
强模型也接漂移轨迹可传染 SOTA 模型且难以自纠InheritedGoalDrift
纠偏会衰减注入的纠正指导会被执行惯性冲掉AgentTether
📎 与我们注入协议的对应：T1 缺损 / T2 扭曲 / T2b 值域内错误（binding 层——信息错误，见 LLMProposes 二分）对应②④类投毒的操作面；T3 走私任务外目标（commitment 层——目标替换）对应②类的价值对立设计（AsymmetricGoalDrift 的 2×2 双向网格可直接平移测非对称继承率）。