版本勘注：本文未查到 arXiv 版本，唯一公开源为 OpenReview（ICML 2026 AIWILD workshop 收录）。本地 PDF 文件名前缀 "215" 为 proceedings 合集中的编号。OpenReview 自动化访问会被浏览器验证拦截（curl/API 均不可用），引用时以 OpenReview 页面为准。
与本课题的关系（编者批注，非原文内容）：本文自称量化/预测 goal drift（goal drift 一词贯穿全文，与 AgentGPA 那类"仅引用不自称"的工作不同），是 8.30 调研所述"已占 probing 漂移坑"的确认。但它走的是白盒机制层路线（残差流线性探针），且为单智能体、ALFWorld 环境、预测二值失败——与本课题（多智能体 τ²-bench、连续目标偏移量化 GD、传播链）正交。对本课题的可借资产有三：① 其混杂控制方法学（步数索引残差化 + 中段窗口 LOSO）可直接搬到我们"漂移 vs 任务长度/轮次"的归因分析；② 其"目标表征在残差流中可解码且跨层稳健"的发现，为我们 §6 白盒假说裁决（H1–H4，27B 逐位置 KL）提供了同范式先例；③ "提前 K 步预警"框架与我们的 Verifier 检查点时机设计互补。划界一句话：他们预测"即将失败"（二值、白盒、单智能体），我们量化"偏了多少、如何传播"（连续 GD、黑盒为主、多智能体）。
LLM 智能体日益被部署于跨越数十个观察-行动循环的任务——虚拟环境导航、软件工程工单、工具调用编排。与单轮生成不同，智能体设定要求模型在长上下文流中维持一个稳定的内部目标表征。当这一表征漂移时，智能体以特征性的方式失败：进入动作循环、反复选择错误对象、或产出与原始指令毫无关系的"看起来连贯"的输出。本文将这一失败模式称为 goal drift（目标漂移）。
当前智能体可靠性几乎完全靠行为评估——我们观察智能体做什么，而非它表征什么。本文提出一个互补问题：goal drift 能否在显现于动作之前，就从智能体的内部激活中被检测出来？肯定答案将带来一个廉价、零延迟的监视器，提前数步标记即将到来的失败，为重规划或人工升级打开大门。
方法刻意从简：在生产级指令跟随模型的残差流上训练两类线性探针，考察它们能解码什么、泛化得多好。五点贡献：
作者明确定位：贡献是方法学与实证的，不是理论的——不对模型做干预，也不主张因果解释。头条结论是操作性的：多轮 LLM 智能体的 goal drift 在失败动作发出之前就部分可见于残差流，模型内部监视器可以用单层线性运算实现。
ALFWorld 是文本化家务环境（具身 ALFRED 数据集的文本渲染），智能体通过文本动作完成自然语言任务指令（如"把热苹果放进冰箱"），共六种任务类型：Pick&Place、Clean&Place、Heat&Place、Cool&Place、Examine、PickTwo&Place。评估用 valid_unseen 划分（134 个独特游戏），其家居布局与物体配置在 prompt 示例中未见过。ReAct 将 Thought: 推理轨迹与 Action: 命令交错，是 LLM 智能体的默认脚手架；作者在每个 prompt 前置两个少样本示例（Heat&Place 与 Examine 各一）以稳定 7B 模型的格式，示例任务从评估分布中留出。
激活提取位置（关键设计）：把模型完整上下文（少样本 + 任务指令 + 此前观察/动作历史）作为每步输入，在最后一个 prompt token 处提取残差流激活——具体是 Qwen 的 <|im_start|>assistant\n 生成前缀的最后一个 token——它编码模型整合全部上下文之后、生成任何输出 token 之前的状态。
残差流观点（Elhage et al., 2021）把每层视为向共享工作区的加性写入；线性探针已从中恢复惊人丰富的内容：事实关联、有限状态追踪器、合成输入上的世界模型、高层语义属性（真实性、情感、拒绝行为）。本文把这套工具箱带入多轮智能体设定，瞄准一个本质上时间性的现象：跨越多次前向传播的目标漂移。
用 TransformerLens 对 Qwen2.5-7B-Instruct（28 层，dmodel=3584）插桩，在 ALFWorld valid_unseen 上跑 500 条 ReAct 轨迹（每条至多 30 步，温度 0.8）。每个智能体步 t 记录四个层深 ℓ∈{6,13,20,27} 最后 token 的残差流激活 h(ℓ)t，共 14,903 个步级激活。每步标注四元组：(i) 任务类型 g∈{1,…,6}；(ii) 轨迹级二值成败 y；(iii) 相对时间位置 pt=t/(T−1)；(iv) 近失败指示符
轨迹级 85/15 划分训练/测试（同轨迹的所有步属同一侧）。该智能体在此困难分布外的成功率为 0.8%（500 条中仅 4 条完成）——极端类别失衡是被研究智能体的属性，也是后文无混杂分析采用"留一成功"交叉验证的原因。
四个层深各拟合三个线性探针（前置逐特征标准化）：
| 探针 | 模型 | 预测目标 | 报告指标 |
|---|---|---|---|
| 目标类型探针 | 多项逻辑回归（L2，C=1，lbfgs） | g∈{1,…,6} | 平衡准确率、macro F1 |
| 进度探针 | Ridge 回归 | pt=t/(T−1) | Pearson r、R² |
| 混淆探针 | 平衡类逻辑回归 | 近失败标签 c(K)t | ROC-AUC、AP（K=1..5） |
撤销标准化后，权重向量定义混淆方向：
当类条件协方差一致时它退化为 Zou et al. (2023) 的均值差方向；与质量均值探针同族。行为基线为动作重复启发式：cbeht = 1[最近三个动作不全相异]。
近失败标签 c(K)t 在构造上与 t 相关（多数失败轨迹跑满预算），朴素 AUC 有风险只是步数索引解码器——一种标签泄漏。两项互补控制：
(a) 中段留一成功轨迹交叉验证（LOSO）：训练与评估都限制在步索引 t∈[3,15]（两类样本共存），训"成功 vs 失败"二值探针；因只有 4 条成功轨迹（长 5–7），固定 85/15 划分退化，改用 4 折 CV（每折留出一条成功轨迹 + 随机 20% 失败子采样），报均值 AUC。
(b) 步数索引残差化：对每层每特征在训练轨迹上拟合 hd = ad + bd·t + εd，在两个划分上用 εd 替换 hd；在测试集上验证步数索引已无法从残差线性恢复（每层 r ≤ 0.06），然后在 ε 上重拟合混淆探针并重测 AUC。任何存活的信号都不可能来自线性步数解码器。附加：测量 d̂⁽¹³⁾ 与目标/进度探针方向的余弦相似度以刻画关系。
留出任务类型（6 选 5 训练）、跨种子（seeds 1337、7 不重训练直接评估）、跨分布（~970 条 valid_seen 轨迹）、跨模型（Llama-3-8B-Instruct，200 轨迹全流程重跑）。失败轨迹分类：循环（3+ 连续相同动作）＞ 错误对象 ＞ 无目的游走（5+ 导航动作无产出交互）＞ 其他（按此优先级）。基线四件套：仅步数索引、六个人工轨迹特征、随机单位向量投影（N=200）、轨迹级标签置换（N=200，机会下限）。
数据规模：500 轨迹 → 每层 14,903 步级激活（总计 59,612 个 3584 维向量）。轨迹级 85/15（seed 42）：训练 425 条（12,653 步）/ 评估 75 条（2,250 步）。K=3 时近失败标签阳性 1,984/14,903 步（13.3%）。
目标类型探针在层 6/13/20/27 分别达平衡准确率 85.6% / 83.4% / 81.8% / 85.8%（随机 16.7%；层 13 的 95% bootstrap CI [0.77, 0.89]，500 次重采样）。层间可比——六类任务身份从残差流稳健可解码，与深度无关。探针在成功与失败轨迹全程维持接近第 1 步的准确率（目标表征持续而非立刻衰减），失败轨迹后段有可测下降——混淆探针更直接捕捉之。相对时间位置同样线性可解码：Ridge 回归 Pearson r = 0.998/0.994/0.987/0.990（R² ≥ 0.97 处处），证实模型维持隐式步数计数器。
| 方法 | K=1 | K=2 | K=3 | K=4 | K=5 |
|---|---|---|---|---|---|
| 混淆探针 AUC | 0.982 | 0.987 | 0.989 | 0.993 | 0.993 |
| 混淆探针 AP | 0.825 | 0.895 | 0.920 | 0.953 | 0.966 |
| 动作重复基线 AUC | 0.692 | 0.696 | 0.698 | 0.701 | 0.705 |
无混杂缩减 1 · LOSO：限制 t∈[3,15]、训"成功 vs 失败"，层 13 得 AUC 0.737——高于任何纯步数解码器在该限制下坍缩到的 0.5 机会线。
| 层 6 | 层 13 | 层 20 | 层 27 |
|---|---|---|---|
| 0.961 | 0.737 | 0.652 | 0.766 |
LOSO 估计折间方差大（层 13 单折 AUC 0.448–0.999，取决于留出哪条成功轨迹；每折测试集 ~1,287 失败步中仅 ~3 成功步）——收集更多分布内成功轨迹是 future work 的主要动机。头条 K=3 AUC 0.989 应读作"步数索引成分（无限制任务免费提供）+ 残差表征成分"之和，后者由无混杂探针分离出来。
无混杂缩减 2 · 步数索引残差化：残差化表示上线性步数解码器 Pearson r ≤ 0.06（原始激活上 ≥ 0.99），混淆探针在残差化激活上训练仍达 每层 AUC ≥ 0.939（与无限制值差 0.014–0.042）。这比 LOSO（仅部分去相关）强得多：移除全部线性步数信息至多损 0.042 AUC → 残差流携带丰富的、独立于步数索引的即将失败表征。
| 层 6 | 层 13 | 层 20 | 层 27 | |
|---|---|---|---|---|
| 原始 AUC | 0.997 | 0.989 | 0.976 | 0.983 |
| 残差化 AUC | 0.983 | 0.966 | 0.939 | 0.941 |
| Δ（损失） | 0.014 | 0.023 | 0.037 | 0.042 |
留出任务类型：6 选 5 训练、留 1 评估，全部 24 个（层, 任务）组合 AUC 0.96–1.00，层 13 均值 0.988——排除"混淆方向只是编码任务身份"的解释。双控组合（残差化 + 留出任务）后层 13 仍达均值 AUC 0.955、全部 24 组合 ≥ 0.89。两大混杂同时消除后仍 ~95% AUC。
几何：混淆方向 d̂⁽¹³⁾ 与目标探针权重矩阵主轴余弦 0.006、与进度方向余弦 0.253——与两者低-中度对齐，表明它是独立的表征方向，不是目标或进度信号的复述。
四个探针族在四个深度的比较：目标准确率层间差 < 5pp；进度相关每层近饱和（r ≥ 0.987）；混淆 AUC 每层 ≥ 0.976。无混杂步匹配探针揭示惊人的层解离：层 6 达 0.961，远高于层 13（0.737）与层 20（0.652）。这一模式在原始指标（处处近天花板）中不可见——解释：早期残差流表征编码任务相关先验（初始计划质量、物体识别） informative 于最终成败，而后期层日益反映与步数索引相关的长程执行动态。部署含义双倍：(i) 从业者无需猜测"正确的监视层"；(ii) 对步数相关敏感的应用，早层探针可能是最可靠信号。
| 模式 | 条数 | 占比 | AUC | 最小余弦 |
|---|---|---|---|---|
| 循环（loop） | 307 | 62% | 0.779 | 0.792 |
| 无目的游走 | 27 | 5% | 0.837 | 0.792 |
| 其他 | 158 | 32% | 0.733 | 0.907 |
| 错误对象 | 4 | 1% | —（过少） | 0.926 |
| 全部失败 | 496 | 100% | 0.989 | — |
循环主导（62%）。关键发现：各模式探针方向两两余弦全部 ≥ 0.79（循环-其他 0.937，其他-错误对象 0.965）——单一混淆方向捕获共享的"即将失败"表征签名，与表面失败机制无关；部署监视器无需模式专属检测器。
| 方法 | AUC |
|---|---|
| 混淆探针（本文） | 0.989 |
| 仅步数索引 | 1.000 |
| 轨迹特征（含步数索引） | 1.000 |
| 动作重复启发式 | 0.698 |
| 随机方向（均值） | 0.467 ± 0.170 |
| 置换零假设（均值） | 0.499 ± 0.018 |
两个含步数索引的基线在原始标签上 AUC=1.0——不是对探针的反驳，而是步数混杂的赤裸量化确认（99.2% 轨迹跑满 30 步预算、4 条成功轨迹长度仅 5–7 → 步数索引本身即近乎完美预测原始标签）。这正是必须看 LOSO 步匹配分析的原因。动作重复启发式只能抓最外显的循环。随机方向投影均值低于机会——确认混淆方向是残差流几何的特异特征而非任意线性读出的性质。探针 AUC 超过置换零分布 99 分位（0.535）。
| 指标（层 13） | 分布内 | → seed 1337 | → seed 7 |
|---|---|---|---|
| 目标平衡准确率 | 0.834 | 0.606 | 0.580 |
| 混淆 AUC (K=3) | 0.989 | 0.887 | 0.897 |
| 进度 Pearson r | 0.994 | 0.961 | 0.971 |
混淆探针跨种子干净迁移（每层每集合 AUC ≥ 0.875）；进度探针同样稳健（r ≥ 0.94）；目标探针退化较多（0.51–0.68，仍 3–4× 机会 0.167），层 6 泛化最好（又一早层先验证据）。跨分布（训 valid_unseen、测 ~970 条 valid_seen，4 配置汇合、34,697 步级激活）：混淆 AUC 每层 0.875–0.897；进度 r∈[0.93,0.98]；目标探针掉到 0.43–0.55——任务身份解码对跨划分的每环境每任务布局细节敏感，而失败方向反映任务无关现象。
| 指标 | Qwen2.5-7B | Llama-3-8B | ||||||
|---|---|---|---|---|---|---|---|---|
| 层6 | 层13 | 层20 | 层27 | 层6 | 层13 | 层20 | 层27 | |
| 混淆 AUC (K=3) | 0.997 | 0.989 | 0.976 | 0.983 | 0.974 | 0.977 | 0.975 | 0.978 |
| 残差化 AUC | 0.983 | 0.966 | 0.939 | 0.941 | 0.979 | 0.979 | 0.981 | 0.990 |
| 进度 Pearson r | 0.998 | 0.994 | 0.987 | 0.990 | 0.994 | 0.993 | 0.990 | 0.993 |
混淆探针发现干净复现：两模型每层 AUC 差 < 0.03；残差化控制数字几乎一致。唯一实质差异是目标探针（Llama 0.53–0.64 vs Qwen 0.82–0.86）——归因于 Llama-3-8B 未经 ALFWorld 调优；但它产生的失败轨迹的残差流表征同样携带线性可解码的"即将失败"方向，幅度与抗混杂性与 Qwen 相同。
(i) 任务身份高层解码且全程稳定；(ii) 混淆方向提前数步预测失败，同时挺过留一成功控制与步数残差化（≥ 0.939）；(iii) 信号每层可及，实用监视器不依赖猜"对的层"；(iv) 混淆方向跨全部失败类型共享（余弦 ≥ 0.79）；(v) 基线套件暴露步数混杂严重（仅步数索引在原始标签上 AUC 1.0），训练探针仍超置换零 99 分位；(vi) 跨种子（0.88–0.91）、跨划分（0.88–0.90）、跨任务（均值 0.99）、跨模型家族（0.97–0.98）全部迁移——失败方向是残差流的稳定、任务无关、模型无关属性，不是训练轨迹、种子、任务类型或模型的伪影。
三条线：transformer 机械探针（Alain & Bengio 2016 起的线性探针传统；Elhage 2021 残差流框架；事实关联/归纳头/世界模型/有限状态追踪器；tuned lens、自动电路发现、信息论探针度量）——本文把该谱系扩展到多轮智能体执行，瞄准本质上时间性的现象。表征工程与转向（Zou et al. 2023 高层语义概念线性编码；Li et al. 2023b 真实性转向；Marks & Tegmark 2023 真实方向几何；Burns et al. 2022 无监督对比）——本文目标是检测而非转向，不做激活干预，因果验证留给未来。LLM 智能体、脚手架与可靠性（ReAct、SWE-agent、AgentBench/AgentBoard/WebArena、Voyager、过程奖励模型）——行为度量无法完全诊断长程执行失败；本文的层 13 探针可作为零附加 rollout 的监视器，在失败前数步触发，无需标注的过程监督即可支持重规划或人工升级。
结论：7B ReAct 智能体残差流上的线性探针，以近乎零附加推理成本，给出全程稳定的高保真目标类型解码器 + 一个混淆方向——线性移除全部步数信息后 AUC 仍 ≥ 0.939，完全留出任务类型 ≥ 0.96，独立种子集合 0.88–0.91，独立划分 0.88–0.90，Llama-3-8B 上 0.97–0.98。信号每层可及；层 13 头条数字可直接部署为模型内部监视器。
局限与 future work：仅验证两个指令微调模型（扩展到 GPT-/Gemini-/Mistral-类及更大 Qwen/Llama 变体是自然下一步）；仅 ALFWorld（SWE-bench、WebArena、AgentBench 及替代 prompting 策略待测）；主集合 4 条成功轨迹太短 → LOSO 在层 13 噪声大，故以步数残差化为更决定性的无混杂测量；分析是诊断性的而非因果性的——有希望的后续是 Meng et al. (2022) 式 activation-patching 实验；失败模式分解与"单一共享方向"相容，更丰富的分类学或非线性探针可能揭示更细的模式子结构。
更广影响：机械监视器是可靠性与监督的工具；共享的滥用担忧是残差流线性方向原则上可被反用来驱动不良行为而非检测之——作者发布代码、配置与结果 JSON 供社区审计、复现与双向扩展。
| 附录 | 内容要点 |
|---|---|
| B 实验细节 | Qwen2.5-7B-Instruct（HF revision a09a3545，Apache 2.0）bfloat16 经 TransformerLens 2.17.0；激活取 blocks.{6,13,20,27}.hook_resid_post 的最后 token，存 float32（每层 14903×3584）。探针全部 scikit-learn 1.6.1（逻辑回归 C=1.0/lbfgs/max_iter 1000，Ridge alpha=1.0，混淆探针 class_weight='balanced'）。计算量：头条 500 轨迹采集 ~12 A100 小时（激活提取是瓶颈）；跨分布 4 集合各 ~7；跨种子 ~5；Llama ~10；bootstrap ~4 CPU 小时；全部探针训练/基线/残差化分析在 CPU 笔记本（~15GB 内存）约 40 分钟累计墙钟完成；项目总计 ~250 GPU 小时（A100 级）。 |
| C 数据分布 | 496/500（99.2%）跑满 30 步预算；4 条成功长度 5/5/6/7 步——极端长度失衡正是原始标签与步数索引混杂的根源（t ≥ 27 的步几乎全部来自失败轨迹）。六任务类型大致均衡（Clean&Place 最多 113 条，Examine 最少 64 条）。 |
| D 激活几何 | 层 13 激活前两主成分（合计 46.4% 方差）：六任务类型形成部分重叠但可区分的簇（与 83.4% 一致）；成功轨迹激活散布于失败云中而非独立区域——成功在头两主成分中不可分，混淆方向位于更高维子空间。 |
| E LOSO 折间方差 | 轨迹 54 在每层完美分离；轨迹 331 最难（层 20 AUC 低至 0.027）。直接源于仅 4 条成功轨迹（每条在 [3,15] 窗贡献 ~3 步）——单个错排的成功步即可大幅摆动 AUC。层 6 跨折最稳（全部 ≥ 0.905）。 |
| F/G 探针诊断 | AUC 与 AP 随视界 K 单调上升（内部失败信号随失败临近增强）；六任务类型 AUC 全部 ≥ 0.997；混淆方向与目标轴余弦 0.006、进度轴 0.253。目标探针混淆矩阵：Examine 完美分离（100%），Cool&Place 最弱（65%，21% 误分为 Heat&Place——两者共享"温度操作+放置"语义结构，支持探针恢复的是有意义的任务类型表征而非表面动作统计）。 |
| H bootstrap CI | 层 13 五百次轨迹级重采样：目标探针 [0.765, 0.886]；混淆探针 (K=3) [0.979, 0.993]；进度探针 [0.983, 0.995]——三者 CI 窄；步匹配 LOSO [0.106, 1.000] 极宽（500 个重采样中 360 个测试折零成功样本被剔除）——是样本量限制而非对信号的反证。 |
| I 跨种子全表 | 种子 {1337, 7} 各 40 轨迹（步预算 50 而非 30；平均轨迹长 ~49 vs 原 ~29.6——隐式的更长时程分布外测试）。混淆探针每层 ≥ 0.875；步匹配 LOSO 跨种子 0.33–0.53（样本量告示，非反证）。 |
| J 可复现性 | 代码/配置/结果 JSON：anonymous.4open.science/r/goal-rep-agents-D1D5（README 给出每个结果的精确命令）；激活张量（~1.4GB）不打包但可从轨迹采集脚本按指定种子与配置逐比特再生。 |
| 中文 | 英文 | 一句话释义 |
|---|---|---|
| 目标漂移 | goal drift | 智能体内部目标表征失稳导致的特征性失败（动作循环/选错对象/输出与指令无关）——本文研究对象 |
| 残差流 | residual stream | transformer 各层共享的加性工作区，探针的读取对象 |
| 线性探针 | linear probe | 在冻结激活上训练的线性分类/回归器，用于检验信息是否线性可解码 |
| 混淆探针 / 混淆方向 | confusion probe / confusion direction | 预测"距失败 ≤ K 步"的二值探针；其权重方向即"即将失败"轴 |
| 目标类型探针 | goal-type probe | 解码当前 pursued 的六种任务类型中的哪一种 |
| 进度探针 | progress probe | 回归相对时间位置 p_t = t/(T−1)，检验隐式步数计数器 |
| 近失败标签 | near-failure label | c_t^(K) = 1[y=0 ∧ T−t ≤ K]：失败轨迹中距末尾 ≤ K 步的步 |
| 预测视界 | prediction horizon | K：提前多少步预警失败 |
| 步数索引残差化 | step-index residualization | 对每个激活维度回归掉步数 t、用残差重训探针——最强的混杂排除控制 |
| 留一成功轨迹交叉验证 | leave-one-success-trajectory-out (LOSO) CV | 仅 4 条成功轨迹时轮流留一作测试折的评估方案 |
| 置换零假设 | permutation null | 打乱轨迹级标签 200 次得到的经验机会下限（99 分位 0.535） |
| 激活修补 | activation patching | 把激活片段替换重放以建立因果的干预方法——本文明确留给 future work |
编者方法论批注（对本课题最值钱的三点）：① 步数索引残差化是通用统计工具：本课题量化 GD_t 时同样面临"漂移 vs 轮次深度"的混杂（长轨迹更易被判偏），把轮次索引从每个特征线性回归掉再测 GD——本文 §3.3(b) 的操作可直接平移；② "仅步数索引基线 AUC=1.0"的诚实报告：作者主动展示混杂基线打到满分再给控制后数字——这种"先承认免费信号再分离增量"的写法是审稿人最信服的模式，我们报告 GD 与 Pass^k 的相关性时应同款处理（Pass^k 里的不稳定可能只是轮次效应）；③ 早层最干净：层 6 的无混杂信号最强（0.961）——若我们做 27B 逐位置 KL 定位（方案 §6），不要默认中后层，早层先验（初始任务单质量）可能才是传播链上最干净的信号源。