1 引言
上下文管理正在成为 LLM 智能体的承重结构。为了让长程任务在有限窗口内运行，部署方会压缩、摘要并逐出旧上下文，赌的是"被丢弃的 token 不会改变行为"。这个赌注是否安全，取决于信息到底存在哪里：是在上下文时态记忆（context-time memory，窗口内的文本，每一步重新读取）中，还是在文本消失之后依然存活的持久内部状态中。智能体的计划是最尖锐的情形：它只写一次、写在早期，因此最先被逐出。如果计划保存在内部状态里，丢弃其文本毫无代价；如果它只是每步被重新读取，那么丢弃它就会在无声中击垮一个智能体——而这个智能体在文本仍然可见时通过了所有行为测试。在上下文还很短、什么都不会滚出窗口的年代，这件事无关紧要；现代上下文管理让它变得紧要。究竟哪种机制在起作用，就是本文要回答的问题。
ReAct（Yao et al., 2022）、思维链（Wei et al., 2022）、思维树（Yao et al., 2023）与 Reflexion（Shinn et al., 2023）等规划框架都默认同一件事：智能体写下一个计划，这个计划引导它接下来做什么。行为对齐指标也确认了这一点。但仅凭行为无法区分两种机制。计划可能作为内部状态沿整条轨迹保存在隐层状态中（内化），也可能只作为窗口里的文本存在、每一步被重新读取（上下文时态）。只要计划文本仍然可见，两种机制产生相同的动作；只有当文本离开窗口时它们才分道扬镳——而那正是上下文压缩、摘要与 KV-cache 逐出发挥作用的地方。
为了把两者分开，我们使用重放配对（图 1）。对每条轨迹，我们运行两个匹配的条件：条件 A 在历史中保留计划；条件 B 重放同一条轨迹但移除计划。计划保真信号（plan-fidelity signal）定义为每一步两个隐层状态之间的余弦距离，它度量的是"把计划从历史中拿走时，隐层状态改变了多少"。需要说明，这个信号也混入了位置、历史长度与语篇结构等因素（§3）；长度匹配与内容匹配的对照是主要的后续工作（§9）。
在 ALFWorld（Shridhar et al., 2020）上的 Llama-3.1-70B ReAct 智能体中，计划信号在 step+1 跳升到 0.453，在一个"动作—观测"循环内下降 4.1×，到 step+5 时稳定在约 0.027。HotpotQA 衰减得更快（12.4×）。一个位于峰值层（L32）的 Ridge 探针以 R² = 0.875 预测该信号，以 AUROC 0.999 区分"活跃计划"与"已衰减计划"，并且无需重训练即可迁移到 HotpotQA。一个注意事项：步序索引在这里同样几乎可以被完美解码（L32 处 R²=0.978），因此 AUROC 的一部分反映的是轨迹相位而非计划内容。我们还没有运行能区分两者的混合效应对照（§5）。但无论哪种方式，主结论都成立：计划存在信号是一个在一步之内消退的上下文窗口效应，而不是智能体保有的状态。
范围。本文的主张是表征层面的，不是行为层面的：严格剥离对任务成功的影响很小且不显著，均匀的 L32 转向（steering）是一个零效应。内容特异的对照与更强的因果检验仍是未来工作。
贡献。
1. 证据表明计划是一个上下文时态对象：在标准 LLM 中，它在一个步内就从隐层状态中衰减 4–12×，并具有跨域复制与同家族复制。
2. 一项压缩压力测试：朴素计划逐出使 ALFWorld 成功率下降 34.7pp，而探针门控的重新浮现无法将其恢复（§8）。
3. 重放配对作为一种测量方法，外加推理轨迹混淆及其修复"严格剥离"——它在 R1 上恢复 +163% 的 step+1 信号，并在非推理 Llama 上被验证为无操作（no-op）。
4. 探针迁移与自身探针证据表明，修正后的隐层状态携带计划相关信号，且 R1 使用与 Llama 不同的隐层状态方向。
2 相关工作
上下文时态 vs. 权重时态记忆。越来越多工作追问：模型使用的信息究竟在哪里——是在上下文时态记忆（推理时提供的窗口文本）中，还是在权重时态记忆（吸收进参数）中。检索头（retrieval-head）分析表明，长上下文事实性由一小撮注意力头承载，它们从窗口复制而非从参数复制（Wu et al., 2024）；多轮研究发现，当相关内容分散在多轮中而非被重新陈述时，模型会"迷失"（Laban et al., 2025）。上下文压缩、摘要与 KV-cache 逐出都押注某些 token 可以被丢弃而不改变行为。我们的计划保真测量正是对这一赌注、针对一类重要 token 的直接检验：它追问计划是每步从窗口重新读取，还是保存在持久状态中——并在标准 LLM 中发现了前者。计划没有权重时态备份，这把它稳稳放进上下文时态机制，而在这个机制里逐出是不安全的。
LLM 智能体的规划与忠实性。标准范式交错进行推理与行动（Yao et al., 2022; Wei et al., 2022; Yao et al., 2023; Shinn et al., 2023; Huang et al., 2022）。这些框架默认显式计划能改善行为，行为指标也确认了这一点，但它们没有检验计划影响后续步骤的机制。重复运行研究显示，多步智能体在相同输入下可能早期发散，而一致性会同时放大正确与错误的解读（Mehta, 2026a;b）。我们问的是一个互补的问题：计划表征本身是否在这些步之间持续存在。我们把计划忠实性分析扩展到表征层面，发现高行为对齐可以与高达 12× 的表征衰减共存。
隐层状态表征。LLM 隐层状态线性编码许多语义属性（Burns et al., 2023; Marks & Tegmark, 2024; Zou et al., 2023）。电路追踪（circuit tracing，Ameisen et al., 2025）与 Tuned Lens（Belrose et al., 2023; nostalgebraist, 2020）考察的是单次前向传播内的层级维度。重放配对作用在另一根轴上：多步智能体行为的时间维度。问题是计划信息如何跨越前向传播持续存在。
干预与推理模型探针。激活转向（Turner et al., 2023; Zou et al., 2023）、推理时干预（Li et al., 2023）与自我精炼（Madaan et al., 2023）都作用于隐层状态或上下文。对推理模型，若干工作在单轮设置下探测 R1 隐层状态（Liu et al., 2025; Wang et al., 2025a; Chen et al., 2025）；Wang et al.（2025b）报告推理轨迹内部的指令遵循很差，Wu et al.（2025）提出 Thinking Intervention；Stolfo et al.（2025）在单轮上应用激活差分。我们新增的部分是：识别出在多轮智能体循环中击中配对轨迹方法的污染，并给出修复。
3 方法
3.1 智能体设置
我们把两类模型作为 ReAct 智能体运行（Yao et al., 2022）。非推理模型是 Llama-3.1-70B-Instruct（Grattafiori et al., 2024，主模型），并用 Llama-3.1-8B-Instruct 做同家族复制。推理模型是 DeepSeek-R1-Distill-Llama-70B（DeepSeek-AI, 2025），一个从 DeepSeek-R1 推理轨迹蒸馏而来的 Llama-3.1-70B 底座，它在每个动作前产生显式的 <think>…</think> 块。我们在生成时注入一个 <think>\n 前缀，使推理轨迹总是以正确的标签开头（Llama 的聊天模板自身不会输出开头的 <think>）。
主环境是 ALFWorld（Shridhar et al., 2020），一个文本化家居环境，智能体通过自然语言动作空间（go_to、pick_up、put、heat、cool、clean、examine）导航房间、操作物体来完成任务。它覆盖六类任务，计划步数从 3–4 步到 6–8 步不等。我们使用纯文本（非视觉）变体，遵循标准的 ReAct-on-ALFWorld 基线（Yao et al., 2022）。次环境是 HotpotQA（Yang et al., 2018）。我们用同一重放配对协议（§4）、同一模型与提示配置采集了 30 对轨迹，用于直接的跨域比较。模型运行在 8×H200 GPU 上，采用流水线并行。每次前向传播都在最后一个 token 位置捕获完整隐层状态（ℝ8192）。
3.2 计划引出
要研究计划忠实性，首先需要一个显式计划，因此我们注入一条守卫消息（guard message），要求智能体给出多步计划：
"在继续之前，请陈述你完成该任务的完整计划。按顺序描述每一步：你要去哪里、拿什么、执行什么动作、把物体放到哪里。"（原文为英文提示）
智能体回复一个顺序计划，该计划随后在任务的剩余部分留在历史中。我们在 ALFWorld 的 step 2 注入（HotpotQA 为 step 4）：足够晚，智能体已看到任务与初始上下文；又足够早，留出较长的计划后轨迹供测量。
3.3 重放配对
对每次智能体运行，我们构造两个匹配的条件。
条件 A（计划存在）。智能体正常运行并在 step 2 收到守卫消息，计划进入历史。我们在每一步 s、每一层 ℓ 捕获隐层状态 hsA,ℓ。
条件 B（剥离计划的重放）。我们重放 A 的精确轨迹（喂入 A 的观测与动作输出），但把守卫交互从历史中剥离，并在这个无计划的历史上调用 LLM 得到 hsB,ℓ。B 的输出被丢弃；由 A 的轨迹驱动对话。
两个条件看到相同的"动作—观测"序列；它们唯一的差别是计划交互是否在历史中。step s、层 ℓ 上的计划保真信号定义为：
其中步序索引相对于守卫计：step 0 是守卫步，step +1 是下一个智能体回合，依此类推。计划前各步（s < 0）充当验证基线：守卫触发之前 A 与 B 完全相同，因此 step −2 与 −1 的信号应为零；实践中它低于 10−3（附录 A）。
3.4 面向推理模型的严格剥离
标准重放配对假设 A 与 B 之间的隐层状态差异只反映条件输入（即计划）。对推理模型这一假设失效。当模型逐步处理后续动作时，它会在 <think>…</think> 块内、也在较小程度上在保留的 Thought:/Action: 文本中，重新陈述计划的部分内容。当这些回合被逐字重放进条件 B 时，被重新陈述的计划内容就会再次出现——即使原始计划交互已被剥离——于是两个条件仍然都编码了计划，余弦距离因此低估真实的计划遵循信号。
严格剥离是对协议的一个小改动：除了从 B 的历史中移除计划交互之外，还从每个先前的助手回合中移除所有完整的 <think>…</think> 块。</think> 之后的内容（Thought: 与 Action: 行）被保留，使 B 仍然看到与 A 相同的外部"动作—观测"序列。该协议有两项健全性检查，均在 §7 中检验：在不输出 <think> 内容的模型上它应当是无操作；在推理模型上，严格剥离后的计划信号应当大于标准计划信号。
3.5 探针与任务划分
为了把计划信号变成检测器，我们在峰值层 ℓ∗（§4）上、以"计划存在"的隐层状态训练一个 Ridge 回归探针，回归标量的计划信号幅值 ys = PlanSignal(s, ℓ∗)；一个阈值 τ 把预测转换为触发/不触发的决策。我们用回归而非二分类，因为仅凭步序索引就能从残差流中被平凡地解码出来（附录 A）。我们从 80 个 ALFWorld 任务（50 训练、30 留出）、30 对 HotpotQA，以及用于污染分析的 5+5 个 R1-Distill-70B ALFWorld 任务中采集计划信号数据；所有划分互不相交（附录 A）。
4 实验：计划信号衰减
4.1 总体衰减曲线
图 3 展示了 ALFWorld（80 个任务）上计划信号相对守卫注入的步偏移。计划前各步是健全性检查：守卫之前 A 与 B 相同，我们观察到 step −2、−1 的平均信号 < 10−8（浮点噪声），确认重放配对实现正确。step +1 计划信号跳升到 0.453 ± 0.039，step +2 降到 0.110 ± 0.032（一个循环内 4.1×），到 step +5 稳定在约 0.027。初始幅值与 HotpotQA 几乎一致（0.453 vs. 0.445），但 HotpotQA 衰减更快（12.4×，§6）。用上下文管理的语言说：计划在隐层状态中的足迹在一步之内几乎消失，因此任何下游需要计划的东西都必须从窗口把它读回来。
4.2 层级与任务类型分布
step +1 计划信号在第 32 层出现尖锐峰值（信号 0.686 ± 0.024），L28/L36 构成一个较宽的网络中层峰值；早期与晚期层较低。我们以 L32 作为 ℓ∗。按任务类型分层，全部六类 ALFWorld 任务都显示出几乎匹配的尖峰（0.445–0.474）与衰减率（4.0–4.4×）：复杂计划（6–8 步）的衰减与简单计划（3–4 步）完全一致，因此该动态是架构性的，不是任务层面的（图 2）。
5 检测：计划衰减探针
5.1 探针性能
我们在 80 个 ALFWorld 任务（1360 个计划后步）的第 ℓ∗ 层隐层状态上训练 Ridge 回归探针，使用 5 折分层交叉验证。探针回归计划信号幅值，阈值 τ 把预测转换为二值触发决策。表 1 报告 ℓ∗=32 的结果以及对 HotpotQA 的零样本迁移。
| 指标 | ALFWorld | HotpotQA L32 | HotpotQA L40 |
|---|---|---|---|
| R² | 0.875 ± 0.016 | 不适用 | 不适用 |
| AUROC | 0.999 | 1.000 | 1.000 |
| F1（τ=0.15） | 0.898 | 0.678 | 0.968 |
| 精确率 | 0.985 | 0.513 | 0.938 |
| 召回率 | 0.825 | 1.000 | 1.000 |
在 ALFWorld 上，探针以 R² = 0.875 ± 0.016 预测计划信号幅值，远低于一个平凡泄漏特征所能给出的 R² = 1。在 τ = 0.15 处导出的二值决策达到 AUROC 0.999，精确率（0.985）与召回率（0.825）较为均衡。把 ALFWorld 探针方向零样本应用于 HotpotQA，在 L32 与 L40 都得到 AUROC 1.000。
跨域迁移比域内 AUROC 更有信息量。在 ALFWorld 截断 τ = 0.15 处，L40 在 HotpotQA 上迁移得很干净（F1 0.968）；L32 保持满召回，但会在 HotpotQA 特异的方差上误触发（精确率 0.513），一次短的等渗再校准（isotonic recalibration）可将其提升到 F1 0.920。计划存在方向中有一部分成分的跨域泛化超出了步序索引能解释的范围，但工作点需要按域校准。
5.2 探针有效性、分级性与校准
三项对照支持该探针（完整数字见附录 A）：打乱标签对照与步序索引回归器确认残差拟合（R² = 0.875）捕捉到了超出 L32 处 R² = 0.978 步序索引基线的结构；一个 4 类步分类器达到宏 F1 = 0.862 且混淆严格单调；主二值探针接近完美校准（Brier ≈ 10−6）。
5.3 滞后分析：早期预警
探针只有在行为失败之前触发才有用。定义滞后 lag = sdeviate − sprobe_fire（偏离 deviation = 由 Claude Opus 4 评判器给出的计划对齐分首次低于 0.3 的动作）。80 个任务中有 31 个发生偏离；在这些任务上，探针平均提前 4.45 步（中位数 5 步）触发，并在 74.2% 的案例中先于偏离发生。4–5 步的提前量完全落在 ALFWorld 的 20 步上限之内，因此上下文管理器可以用探针来决定何时把计划重新浮现到窗口中。
6 跨域与跨模型验证
我们沿两根轴检验标准 LLM 的结论：域（HotpotQA）与规模（Llama-3.1-8B）。
7 推理模型中的计划维持
在标准 LLM 机制中，计划不跨步存储，而是从上下文重新读取。推理模型表现不同，而标准重放配对看不到这种不同。
表面上的缺陷。在一个 5 任务 ALFWorld 子集上，DeepSeek-R1-Distill-Llama-70B 的标准重放配对给出 step +1 计划信号 0.022，而同一批任务上 Llama-3.1-70B 为 0.099，因此 R1 看起来弱 4.5×。按字面理解，一个输出显式 <think> 轨迹的推理模型，编码计划的程度反而低于一个标准指令模型。
三个假设，一个原因。稀释假说（R1/Llama 信号比在深度上均匀）被排除：该比值随层变化 4.4×，且两个模型的峰值层不同（L72 vs. L32）。位置错配很小（在每个匹配位置上 Llama 都超过 R1）。剩下的原因是再推导带来的污染：先前 <think> 块内被重新陈述的计划内容重新出现在 B 的历史中，于是两个条件都编码了计划内容（附录 A）。
严格剥离的修正与验证。用严格剥离重跑条件 B，step +1 计划信号从 0.022 升到 0.058，变化 +163%；样本内每个任务都朝同一方向移动（附录 A.5、表 4），R1 与 Llama 的差距从 4.5× 缩小到 1.7×。五个未见类型的留出任务给出 +153%。在非推理的 Llama 上，严格剥离是 +4.8% 的无操作，排除了"一般性推理历史"机制。恢复幅度很大但不完全：残余的 1.7× 差距与计划内容也被重新陈述在保留的 Thought:/Action: 文本中相一致，而严格剥离并不移除这部分；在计划片段出现的任何位置都进行遮蔽是更干净的后续工作（§9）。
探针迁移。把 Llama 训练的 L32 探针零样本应用于 R1 严格剥离状态（n=19）达到 AUROC 0.748（p=6×10−4，95% CI [0.62, 0.87]）；R1 自身探针（n=85）达到 1.000，其方向与 Llama 的 L32 夹角为 89.3°（余弦 0.012，表 5）。R1-Distill-Qwen-32B 结果相同（自身探针 1.000，n=85）。在第三个家族 Qwen3-32B 原生（enable_thinking=True；n=15，270 个步对）上，L26 自身探针以 R²=0.997 拟合每步计划保真度，但其"尖峰 vs. 衰减"的二值 AUROC 只有 0.616：Qwen3 原生表现出持续的计划条件漂移（余弦距离从 step +2 的 0.030 升到 step +19 的约 0.13），而非"尖峰后衰减"。因此，计划存在的线性编码在全部三个推理家族中都成立；"尖峰—衰减"的时序模式是蒸馏 R1 特有的。
行为检验（跨家族，n=25）。在 R1-Distill-Llama-70B、Qwen3-32B-thinking（Qwen Team, 2025）及其非推理基线上，行为效应很小且不显著：两个推理模型原始均为 0/25；严格剥离把 Qwen3-thinking 移到 2/25（与其不思考的孪生模型持平），而 R1 保持 0/25（Fisher p=0.49）。我们的主张是表征层面的而非行为层面的，它建立在上述配对轨迹与探针迁移数字之上（完整 Phase-1 细节见附录 B、表 8）。
8 当上下文管理失败：一项压缩压力测试
衰减结论给出一个可证伪的操作性预测：如果计划是一个没有内部备份的上下文时态对象，那么逐出计划 token 的压缩策略应当急剧损害任务成功，而早期预警探针（§5.3）应当能及时重新浮现计划以避免损失。我们在 30 个 ALFWorld 任务上检验这两点（×5 次运行 = 每策略 150 次运行，Llama-3.1-70B，20 步上限），在匹配预算下比较四种上下文策略（keep_recent=4 条消息加系统提示）：none（不逐出）；naive（系统提示 + 最近 4 条消息）；plan_protected（在 naive 基础上始终钉住计划片段）；probe_gated（naive 基础上只在探针触发的步重新注入计划）。显著性用配对置换检验（10k 次）与 bootstrap 95% 置信区间（附录 C 表 9）。
9 讨论与局限
对上下文管理的启示。计划是一个一般性问题的案例研究：智能体可以安全丢弃哪些 token。同样的重放配对检验适用于其他可能只存在于上下文中的 token，例如安全指令、约束条件与工具 schema。推理模型增加了第二种机制：它们的 <think> 轨迹逐步重新推导计划内容，部分替代了把计划留在窗口中（这也是朴素重放配对在它们身上低估的原因）。既然探针门控的重新浮现未能恢复静态计划的损失（§8），这样一个自我刷新的草稿本是否比静态块更能挺过压缩，是一个我们希望社区接手的开放问题。
我们尚未确立的东西。本贡献是方法论与表征层面的，不是行为层面的。尚未完成的对照包括：计划内容特异性 vs. 位置/长度/语篇；正交的 R1 方向究竟是一个独立概念还是一种旋转后的编码；严格剥离的特异性；keep_recent 预算扫描；超越步序索引的探针因果性（规模 n≥100）；以及在我们模型与域之外的复制。
附录要点（A–C，节译）
以下为附录各节要点中文摘译，数值原样保留。完整提示词、全部附表与实现细节见原文（arXiv:2606.22953）。
附录 A 实现细节
模型、解码与基础设施。Llama-3.1-70B-Instruct、Llama-3.1-8B-Instruct 与 DeepSeek-R1-Distill-Llama-70B 部署在 8×H200 GPU 上，流水线并行。配对轨迹实验（§4–§7，n=80 ALFWorld 与 n=30 HotpotQA）及早期预警分析使用温度 0.7、top-p 0.9、max-new-tokens 512、每任务单次运行。跨模型行为扫描（§7）中推理模型 nruns=3、T=0.7，非推理基线 nruns=1、T=0。非推理基线采用确定性解码是为了让方差不进入非推理主数字；推理模型默认非确定，因此改为多次运行取均值。两种设置是有意为之，Phase 1 的非推理条件是唯一用 T=0 的。使用 ReAct 双样本（two-shot）提示模板（pick_and_place_simple、pick_heat_then_place_in_recep）。隐层状态取最后一个 token 位置；层采样在 24–56 层步长 4、其余步长 8（70B 采样 15 层，8B 采样 9 层）。
算力预算。8×H200 上各实验墙钟时间：ALFWorld 配对轨迹采集（n=80 ×2 条件，带隐层缓存的单遍重放）约 36 H200 小时；HotpotQA 跨域重放（n=30 对）约 8；R1 严格剥离恢复（n=10 对 ×4 模式）约 22；Phase 1 跨模型行为扫描（6 条件 × n=25）约 58；R1-Distill-Qwen-32B 与 Qwen3-32B-thinking 探针迁移扩展合计约 14；转向扫描（n=150 配对观测）约 18；探针训练与分析（CPU）约 2 CPU 天。论文报告合计约 156 H200 小时；计入未进入论文的预研与探索性运行，整个项目约为其 3 倍，约 450–500 H200 小时。
探针训练。逻辑回归（二值 / 边界 / 4 类）用 lbfgs 求解器、C=1.0、max_iter=5000，在 L2 归一化特征上做 5 折分层交叉验证；Ridge 回归 λ=1.0。工作阈值 τ=0.15 在验证折上按最大化 F1 选取。
有效性对照（完整数字）。L8：真实 AUROC 1.000，打乱后 0.297（差距 0.703），同步内 0.588，步序索引 R² 0.998。L32：步序索引 R² 0.978。L8 与 L32 的前 10 个特征维度互不相交（IoU = 0.0）。
分级探针逐类（4 类，L32，5 折 CV，每类 80 例）。精确率/召回率/F1：step+1 为 0.988/1.000/0.994；step+2 为 0.876/0.888/0.882；step+3 为 0.728/0.738/0.733；step+5 为 0.857/0.825/0.841。错误严格集中在相邻衰减类上。
跨域校准。等渗回归在 10 个 HotpotQA 校准任务（93 步）上拟合，在 20 个留出任务（145 步）上评估；划分固定且与 ALFWorld 训练集不相交。
严格剥离（推理模型）。从条件 B 中每个先前助手回合移除所有完整 <think>…</think> 块；</think> 之后的 Thought:/Action: 行保留。该协议在不输出 <think> 内容的 Llama-3.1-70B 上是无操作（+4.8%，在噪声范围内）。
干预支架与评判器。干预支架以标准 DQN 评估模式运行 ALFWorld，用 info["won"] 报告成功；探针在每步最后一个 token 位置查询；当预测计划信号低于 α=0.10 时触发再锚定干预。一个工作示例（pick_heat_then_place）：探针在 step 5 触发（0.041 < α），施加再锚定，轨迹在 step 7 以 won=True 结束。行为对齐评分用单一 LLM 评判器（Claude Opus 4 家族），温度 0；"偏离"的对齐阈值在 [0,1] 刻度上取 0.3。
跨模型范围（负结果）。Phi-3-Medium 与 Qwen2.5-72B 的存档隐层状态采自单次运行机制，同一问题的步级激活跨重放逐位相同；计划信号是配对对比，因此在这些数据上无定义，我们不基于现有语料对非 Llama 架构做任何主张。最有信息量的下一步实验是在混合专家模型与 RL 调优的推理模型上做重放配对采集，两者都需要按架构重新采数。
A.1 层级分布与任务类型衰减
层级分布与逐任务类型衰减曲线被提升为正文图 2，因为它们展示了核心稳健性检验：峰值局部化在 L32，且六类 ALFWorld 任务在计划长度不同的情况下衰减动态几乎相同。
A.2 探针有效性对照与泄漏分析
由于计划信号按构造在 step +1 最大、之后逐步变小，在该对比上训练的探针有学会"这是第几步"而非"存在多少计划"的风险。表 2 报告两项对照：打乱标签对照（打破真实关系但保留步结构）与步序索引回归器（从相同隐层状态预测步序索引）。在 L8，真实二值 AUROC 为 1.000，打乱后降至 0.2971，步序索引回归器 R² = 0.998——L8 表征几乎携带了平凡分类器所需的全部步序索引信息。在 L32，步序索引 R² 仍高（0.978），但回归目标（计划信号幅值）具有分级结构（step +1、+2、+3、+5 分别为 0.453、0.110、0.060、0.027），是步序索引本身无法预测的；探针的残差拟合（R² = 0.875）正是这个非平凡成分。
| 层 | 真实 AUROC | 打乱 AUROC | Δ | 步序索引 R² |
|---|---|---|---|---|
| L8 | 1.000 | 0.297 | 0.703 | 0.998 |
| L32 | 1.000 | 不适用 | 不适用 | 0.978 |
A.3 分级探针混淆矩阵
L32 上的 4 类探针（{+1, +2, +3, +5}），每类 80 例、5 折 CV，总体准确率 0.863、宏 F1 = 0.862、宏 AUROC 0.976（表 3）。混淆是单调的：错误集中在相邻步，从不落在远端步，与探针正确排序一个一维"计划存在量"相一致。
| 真实类＼预测类 | +1 | +2 | +3 | +5 | F1 |
|---|---|---|---|---|---|
| +1 | 80 | 0 | 0 | 0 | 0.994 |
| +2 | 0 | 71 | 9 | 0 | 0.882 |
| +3 | 0 | 10 | 59 | 11 | 0.733 |
| +5 | 1 | 0 | 13 | 66 | 0.841 |
A.4 探针校准
L32 的 Brier 分数与 10 桶期望校准误差（ECE）见图 6。主二值探针（step +1 vs. step +3）接近完美校准（Brier = 2.5×10−6，ECE = 0.0002），在两类间计划信号差距悬殊的情况下这并不意外。更难的边界探针（step +2 vs. +3，计划信号 0.110 vs. 0.060）存在中度失准（ECE = 0.0657），通过按域等渗再校准解决。
A.5 严格剥离的逐任务恢复
R1-Distill-Llama-70B 上的逐任务严格剥离恢复见表 4。每个任务都呈正恢复；跨任务均值为 +0.036（+163%）。五个留出任务覆盖两个不在样本内集合中的任务类型，给出 +153%。
| 任务（类型） | 标准剥离 | 严格剥离 | Δ |
|---|---|---|---|
| task_000（pick_heat） | 0.029 | 0.067 | +0.038 |
| task_002（pick_two_obj） | 0.020 | 0.062 | +0.042 |
| task_003（pick_clean） | 0.020 | 0.053 | +0.033 |
| task_004（pick_and_place） | 0.018 | 0.054 | +0.036 |
| task_006（pick_and_place） | 0.023 | 0.055 | +0.032 |
| 均值 | 0.022 | 0.058 | +0.036（+163%） |
A.6 推理模型逐层计划信号（稀释检验）
为检验稀释假说（推理模型把表征更薄地摊到各层，预测 R1/Llama 信号比在深度上均匀），表 6 报告 5 任务 ALFWorld 子集上 step +1 的逐层计划信号。R1/Llama 比值随深度变化 4.4×，且两模型峰值层不同（R1 为 L72，Llama 为 L32）。强形式稀释被排除。
| 探针 | 评估目标 | AUROC | n |
|---|---|---|---|
| Llama L32 | Llama ALFWorld | 0.999 | 80 |
| Llama L32 | Llama HotpotQA | 1.000 | 25 |
| Llama L32 | R1 原始（迁移） | 0.600 | 5 |
| Llama L32 | R1 严格剥离（迁移） | 0.748 [0.62, 0.87] | 19 |
| R1 L32（自身） | R1 严格剥离 | 1.000 | 85 |
| R1-Qwen L32（自身） | R1-Qwen 严格剥离 | 1.000 | 85 |
| Qwen3 L26（自身） | Qwen3-thinking | 0.616 | 15 |
注：Qwen3 行为 enable_thinking=True、270 个步对，回归 R²=0.997。
| 层 | L8 | L32 | L40 | L48 | L56 | L72 | L80 |
|---|---|---|---|---|---|---|---|
| R1-Distill-70B | 0.002 | 0.023 | 0.026 | 0.030 | 0.032 | 0.039 | 0.022 |
| Llama-70B | 0.031 | 0.184 | 0.129 | 0.113 | 0.096 | 0.070 | 0.044 |
| 比值 | 0.07 | 0.12 | 0.20 | 0.27 | 0.33 | 0.56 | 0.50 |
A.7 跨规模多模型面板
表 7 汇总 §6 引用的跨模型衰减结果，图 7 给出图形化总结。
| 模型 | Step+1 | 残差 | 衰减 | 峰值层 |
|---|---|---|---|---|
| Llama-3.1-70B | 0.453 | 0.027 | 4.1× | L32（40%） |
| Llama-3.1-8B | 0.382 | 0.035 | 10.9× | L12/32（37%） |
| Phi-3-Medium | 不适用（非重放配对） | |||
| Qwen2.5-72B | 不适用（非重放配对） | |||
A.8 干预扫描与注意力头级分析
上下文级再锚定。在 30 个留出 ALFWorld 任务（max_steps=200）上，对照、探针触发与先知式总是重规划（oracle always-replan）三种条件彼此相差不超过 1 个任务。这是一个干净的 30 任务零效应，也正是"上下文内检索"解释所预测的。
残差流转向（nruns=5 配对，n=150 池化）。在 L32 上以 α ∈ {0.5, 1.0, 2.0} 在 30 个留出任务 × 5 配对运行上扫描。α=0.5 时池化配对对比是干净的方向性零效应：Δ = +1.33pp（成功率 54.7% → 56.0%；配对 Wilcoxon p=0.97；McNemar 帮助/损害/平局 = 11/12/7，p=1.00；95% bootstrap CI [−8.0, +11.3]）。各重复内部 α 符号跨越零：nruns=3 时 +8.9pp，新 nruns=2 重复时 −10.0pp；池化解决了它们。α=1.0 与 2.0 都相对基线下降 −3.3pp。沿 L32 计划方向的均匀残差加法在该规模上不是行为旋钮，这正是群体编码观点预测的方向性零效应：沿"计划存在对比"的单一轴推压，并不能作为干预起作用。
头级结构。确定性的头级分析显示计划方向分布在 L32 的 64 个头上、前三名符号混合：前 3 头捕获 Σ|ch| 的 23%，前 10 头捕获 55%。一个尊重 ch 符号的头感知干预（n=90 配对，α=1.0）在有效幅值 0.094 时给出 +3.3pp（有方向性但在噪声内）；α=2.0（有效幅值 0.188）时翻转为 −4.4pp。把头感知方式缩放到与 α=0.5 相同的有效幅值（约 5.3）会使生成失稳：模型在 LLM 调用预算内停止输出终止 token。相同有效幅值下的均匀加法运行正常但落在上述 n=150 的零效应上。两种干预形态（等幅均匀、低幅头感知）都无法可靠移动任务成功。这种不对称性恰好把群体编码对比隔离为"哪些头携带生产性 vs. 拮抗性计划信号"的测量，而不是一个可任意缩放的旋钮。
A.9 为什么 ALFWorld 比 HotpotQA 衰减得慢？
ALFWorld 衰减（4.1×）与 HotpotQA 衰减（12.4×）之间约 3× 的差距——在初始信号几乎一致（0.453 vs. 0.445）的条件下——在观测本身中有一个合理的结构性解释。ALFWorld 的观测（"你到达台面 1。在台面 1 上，你看到一个番茄 1。"）与计划（"去台面，拿番茄，加热它"）直接相关，因此计划相关特征跨步留在残差流中。HotpotQA 的观测（关于无关实体的维基百科段落）在信息上与计划正交（"搜索 X，取回 Y"），允许更快的表征覆写。如果这一解释正确，计划衰减速率应与计划内容与观测内容的语义重叠相关。这是未来工作可检验的假说。
附录 B Phase 1 跨条件计划信号后处理
Phase 1 跨模型扫描（§7）使用独立轨迹架构：六个条件（r1_raw、r1_strict、qwen3_think_raw、qwen3_think_strict、llama_70b、qwen3_nothink）各自在每个任务上运行自己的前向智能体循环（推理条件 nruns=3，非推理基线 nruns=1）。行为任务成功结果见表 8。§7 中 5+5 配对轨迹的重放配对语义（条件 B 逐 token 重放条件 A 的动作与观测）无法直接移植到 Phase 1，因为任何两个 Phase 1 条件都不是按构造配对的。
| 条件 | 解决数 | 任务成功率 |
|---|---|---|
| 非推理基线 | ||
| llama_70b | 3/25 | 12.0% |
| qwen3_nothink | 2/25 | 8.0% |
| Qwen3-thinking 家族 | ||
| qwen3_think_raw | 0/25 | 0.0% |
| qwen3_think_strict | 2/25 | 8.0% |
| R1-Distill-Llama 家族 | ||
| r1_raw | 0/25 | 0.0% |
| r1_strict | 0/25 | 0.0% |
为在 Phase 1 数据上计算严格剥离恢复，我们使用一个跨条件后处理器：对每个具有匹配运行索引 r 与步 t 的 (task, r, t)，从匹配的 raw 与 strict 目录加载保存的隐层数组（r1_raw/task_NNN/run_RR/hs_step_TT.npy vs. r1_strict/task_NNN/run_RR/hs_step_TT.npy），并计算逐层余弦距离：
它度量与配对轨迹计划信号相同的概念量（可归因于是否施加污染修正的表征变化），代价是两条轨迹并非动作重放配对。我们把比较限制在 raw 与 strict 轨迹执行了相同步数、未被环境截断的 (task, r, t) 单元上，并只在这些单元上报告跨任务平均信号。模型内的 strict-vs-raw 恢复用匹配的逐任务均值上的配对置换检验评估。配对轨迹的 +163% 主数字不受该后处理器影响，仍是方法学主张的主要证据。
行为结果不依赖该后处理器：表 8 只用每条件 maxt score(t) > 0 的计数，直接从保存的轨迹结果计算，无任何跨条件配对。原始日志中的逐次运行成功标志与目标完成解耦（它会在步数上限截断时触发），这就是 §7 全程把真实成功重定义为 maxt score > 0 的原因。
附录 C 上下文压缩压力测试细节
我们在 30 个 ALFWorld 任务（任务索引 50–79）上评估四种上下文策略，每任务 5 次运行（每策略 150 次运行），Llama-3.1-70B 作为 ReAct 智能体、20 步上限。所有策略共享预算 keep_recent=4 条保留消息加系统提示；智能体完整消息列表在内部保留，但每次调用只发送压缩视图给模型。probe_gated 使用的探针是 §5 的 L32 Ridge 探针，阈值 τ=0.15；触发时该步重新注入被钉住的计划片段。每策略成功率按 maxt score(t) > 0 计算。比较使用 30 个任务上的配对置换检验（10,000 次置换）与 95% bootstrap CI；全部结果经 30 任务 × 4 策略 × 5 运行完整性检查，无出错或零步运行（表 9）。
| 策略 | 成功率 | SE | Δ（相对基线）[95% CI] | p | Resurf. |
|---|---|---|---|---|---|
| none（不逐出） | 56.7% | 4.0% | 参照 | 不适用 | 0.0 |
| naive（朴素逐出） | 22.0% | 3.4% | −34.7（vs. none）[−44.7, −24.7] | < 0.001 | 0.0 |
| plan_protected（计划保护） | 20.7% | 3.3% | −1.3（vs. naive）[−10.7, +8.0] | 0.89 | 0.0 |
| probe_gated（探针门控） | 24.7% | 3.5% | +2.7（vs. naive）[−6.7, +12.0] | 0.67 | 6.1 |
参考文献
参考文献与原文一致（约 30 条），此处从略。主要包括：Yao et al. 2022（ReAct）、Wei et al. 2022（思维链）、Yao et al. 2023（思维树）、Shinn et al. 2023（Reflexion）、Shridhar et al. 2020（ALFWorld）、Yang et al. 2018（HotpotQA）、DeepSeek-AI 2025（DeepSeek-R1，Nature）、Grattafiori et al. 2024（Llama 3）、Wu et al. 2024（检索头，ICLR 2025 Oral）、Laban et al. 2025（多轮迷失）、Burns et al. 2023 / Marks & Tegmark 2024 / Zou et al. 2023（隐层表征与表征工程）、Ameisen et al. 2025（电路追踪）、Belrose et al. 2023（Tuned Lens）、Turner et al. 2023（激活转向）、Li et al. 2023（推理时干预）、Madaan et al. 2023（Self-Refine）、Stolfo et al. 2025（激活转向改进指令遵循，ICLR 2025）、Liu et al. 2025 / Wang et al. 2025a;b / Chen et al. 2025 / Wu et al. 2025（推理模型探针与 Thinking Intervention）、Mehta 2026a;b（智能体行为一致性）、Qwen Team 2025（Qwen3 技术报告）等。详见 arXiv:2606.22953。