会议: AAAI 2026 Workshop（Personalization in the Era of Large Foundation Models）——注意是 workshop 论文，非主会
arXiv: 2510.07777（v2 2025-11-21）
作者: Vardhan Dongre, Ryan A. Rossi, Viet Dac Lai, David Seunghyun Yoon, Dilek Hakkani-Tür, Trung Bui（UIUC + Adobe Research，一作为 Adobe 实习工作）
领域: 对话系统 / Agent 可靠性
关键词: context drift, KL divergence, equilibrium, restoring force, goal reminders, user simulator
把 context drift 形式化为可控的平衡态现象而非必然衰减：漂移 = 测试模型与"目标一致参考模型"（GPT-4.1）每轮的 token 级预测分布 KL 散度；提出随机递归模型 $D_{t+1} = D_t + g_t(D_t) + \varepsilon_t - \mu_t$，实验发现漂移不发散而是稳定在有限噪声平衡态（有恢复力：回归斜率 $b < 0$，Spearman < −0.7），且简单的目标提醒（reminders）能下移平衡态（KL 降 6–12%，judge 涨 16–27%）——多轮漂移是可测量、可估计、可调控的动力学过程。
领域现状：LLM 部署需要持续多轮交互（助手、copilot、agent），用户的偏好/指令/约束要跨轮保持。但模型输出会逐渐偏离目标一致行为——摘要器慢慢丢失指定语气、用户模拟器忘记自己的目标。
主流直觉与本文的反直觉： prevailing view 认为漂移随对话变长无界累积（记忆有限→信息丢失→误差复合→对齐必然恶化）。本文实验观察到相反模式：漂移稳定在有限水平，且轻量干预可下压。需要一个动力学框架来解释这个观察。
概念澄清（术语贡献）：
缺口：已有诊断类工作（Laban 2025 多轮退化、Abdelnabi 2024 激活态任务漂移检测、Mehri 2025 用户模拟器指令漂移）都停在"量化漂移"，没有对时间动力学给理论说明。本文补：漂移 = 有界随机过程 + 稳定不动点 + 可控干预。
测试模型与参考模型看同一段演化历史 $x_{
（每轮上下文分歧）
其中 $g_t$ 为系统性偏置（记忆/表征不完美），$\varepsilon_t$ 为有界随机扰动（$|\varepsilon|\leq\delta$），$\mu_t \geq 0$ 为矫正性干预（如 reminders）。平衡态 $D^*$ 定义为不动点：
理论边界（解释性而非普适证明）：
两条读法：① 无干预时漂移收敛到噪声限制的平衡态；② 干预强度 $\bar{\mu} > \delta$ 时平衡态下移。
对每模型每条件拟合（OLS + bootstrap 95% CI）。$b < 0$ ⟺ 恢复力存在（偏差异大、后续增量越小）。$R^2$ 0.28–0.72，Spearman$(\Delta D, D)$ 强负（< −0.7），残差有界轻尾——支撑"噪声限制平衡"假设。
| 框架 | 设计 | 测什么 |
|---|---|---|
| 合成受控任务 | 固定约束（恰好 3 个 bullet、学术语气、100–200 词）+ 逐轮递增的冲突指令（"更口语化""加个人轶事"…）；3 模型 8 轮，turn 3/6 注入干预 | 约束可客观判分 → 平衡态理论的 ground-truth 验证 |
| τ-bench 用户模拟器 | retail + airline 两域；用户模拟器由测试模型扮演（LLaMA-3.1-8B/70B、Qwen-2-7B），与工具型 agent 交互；GPT-4.1 为参考策略 | 真实任务对话中的漂移动力学 + o1 judge（5 分制：画像一致性/目标对齐/上下文恰当） |
两框架都跑 free-running（自然漂移）vs intervention-controlled（turn 4/7 注入目标提醒）两种条件，记录全历史 + 输出分布 + 逐轮 $D_t$。
| 模型（合成任务） | 平衡态 D* | 说明 |
|---|---|---|
| GPT-4.1（参考/自检） | ≈ 0.7 | 自散度极低，锚有效 |
| LLaMA-3.1-70B | ≈ 15.0 | 稳定带内波动 |
| LLaMA-3.1-8B | ≈ 17.5 | 同上，无指数增长 |
τ-bench 中 KL 全程稳定在 5.8–6.9 窄带内；turn 8 所有模型出现"普遍适应"（冲突指令不可调和时的共同行为）。
| 模型 | KL 基线→提醒 | Judge 基线→提醒 | 平衡态 $\hat{D}^*$ 基线→提醒 |
|---|---|---|---|
| LLaMA-3.1-8B | 5.827→5.392（−7.5%） | 2.837→3.302（+16.4%） | 20.39→17.57 |
| Qwen-2-7B-Instruct | 6.818→6.378（−6.5%） | 2.855→3.375（+18.2%） | — |
| LLaMA-3.1-70B | 6.877→6.065（−11.8%） | 2.686→3.422（+27.4%） | 14.79→15.71（略升，本来已低） |
Qwen-2-7B 的 judge 后期达满分 5.0；部分模型干预后后续轮漂移回弹（模型特异的上下文丢失敏感性）。
所有条件下拟合斜率 b 均显著为负（LLaMA-8B 基线 b=−1.432，提醒下 b=−2.444——干预还增强了恢复力）；GPT-4.1 自身 b=−0.957/−1.250。大偏差异致后续下降 = 系统有自我修正倾向，这是"平衡态"解释成立的关键证据。