2026 年 8 月十篇最新论文详解

1.1 主题概览

agent_papers_2026 十篇论文主题概览（2026 年 8 月 arXiv 最新长程智能体论文）

由 10 个并行智能体各自总结生成，详细总结见 E:\Harness Engineering\agent_papers_2026\summaries\。 本文件是主会话基于各智能体返回的浓缩结论。

总表

主题分布（按篇数）

1. 上下文/记忆管理：6 篇（ReTree、LoongReflect、HyMem、Sleeping Agent、VibeLifeBench、轨迹归因）— 最拥挤
2. 技能学习/自进化：3 篇（MedClaw、OpenLoopEvolve + 间接 TRCA）— 与用户 skill 库积累同频
3. RL 训练（信用分配）：2 篇（TRCA、LoongReflect）
4. 新 benchmark/评估：4 篇（MICROVERSE、MedClawBench、轨迹归因、VibeLifeBench）— 评测创新点从"结果成功率"转向"过程级/机制级测量"（归因、漂移、记账、一致性衰减）

评测环境使用统计

• 多跳搜索 QA（HotpotQA/2Wiki/Bamboogle/FRAMES/MuSiQue）：3 篇
• GAIA / Browsecomp 系：1 篇
• ALFWorld / WebShop：仅 1 篇（TRCA，RL 训练线，成功率已 90+，接近饱和）
• LoCoMo（长对话记忆）：1 篇
• 自建环境：4 篇 —— 2026 年的趋势是自建"活世界/专用环境"而不是挤经典 benchmark

五个横向观察（对定切入点的含义）

1. "长程"的定义正在迁移：从"多步"（ALFWorld 30 步）走向"多轮+多天+多周"（VibeLifeBench 多周、YC-Bench 一年、MICROVERSE 300 tick）。经典环境在变短。
2. 失败模式被精确定位：持久化记账（22.2% 失败）、后段一致性衰减（-10~15 分）、状态污染、时间锚点丢失——全部指向记忆/状态维护，而非规划或工具调用。
3. 方法层共识：经验资产化 + 验证门控 + 回滚治理（OpenLoopEvolve、MedClaw HSD）——与用户 skill 库 2026 年三共识完全一致。
4. ALFWorld/WebShop 的角色：已从"主战场"降级为 RL 训练线的"附带验证"（TRCA 用它们但贡献点在信用分配）。
5. 评估创新是蓝海：过程级归因、静默 mutation 检测、一致性衰减曲线——"测什么"比"刷什么"更缺人做。

1.2.1 ReTree：自纠正树状记忆（上海交中）

论文总结：Self-Correcting Long-Horizon Search Agents via Tree-Structured Memory

1. 基本信息

2. 一句话核心贡献

提出 ReTree——一个带源绑定（provenance）与依赖一致修订的自纠正树状工作记忆：当新检索到的证据推翻早前声明时，回溯定位引入该事实的节点、替换证据并重生成摘要、剪除所有受牵连的后代分支再续搜，从而在每步推理上下文保持有界的同时阻断检索引发的错误级联。

3. 研究问题与动机

• 搜索型 LLM agent 通过多轮「检索—观察—决策」循环回答问题，保留完整轨迹会使每步推理上下文随搜索深度无界增长并混入噪声。
• 现有压缩手段（滚动摘要、重建报告、observation masking）虽能控制上下文，却带来第二个隐患：反复合成会抹掉「哪个事实来自哪段原文」以及「下游结论建立在哪条事实之上」。
• 当后续检索到的证据与早前结论矛盾时，现有记忆只会原地替换那条错误事实本身，而不会使由其派生的下游中间结论失效，导致错误沿轨迹级联传播（error cascade）。
• 因此一个可靠的搜索工作记忆需同时满足三个联合要求：① 有界上下文；② claim-to-source 可追溯；③ 依赖一致的修订（revision 必须使其依赖态失效）。第三个是本文的形式化核心贡献，思想源自经典 truth maintenance system（Doyle, 1979）。

4. 方法（技术路线）

4.1 问题形式化

设问题 q，t 为检索更新步骤，M_t 为外部记忆；上下文构造函数 C_k 在证据预算 k 下从 M_{t-1} 产出有界策略上下文；策略 π_θ 选择搜索动作或 Stop；每次检索返回段落 P_t 并由抽取器产出源绑定的原子证据 ΔE_t = {(j, x_j, u_j)}（j 稳定标识符、x_j 自包含事实语句、u_j 来源 URL）。依赖一致性约束形式化为：被修订证据 e_j 的全部直接或传递依赖组件 Deq_{t-1}(j) ⊆ I_t ∪ G_t(e'_j)（必须被作废或在修正值下重生成）。

4.2 证据树状态（Evidence-Tree State）

• M_t = (T_t, n_t)：T_t 是外置根树，n_t 是当前活动节点。每个节点 n = (s_n, E_n, H_n, p_n)：
• s_n：≤140 词的紧凑任务状态摘要（记录要求的答案槽位、已解析的中间槽位、剩余开放槽位、未决候选）；
• E_n：本节点局部引入的原子证据（含稳定 ID 与源指针）；
• H_n：修订历史；(p_n)：父指针。
• 节点可用证据是其 root-to-node 路径上证据之并 A(n)；证据对象不复制进摘要，ID 与 URL 在树内及运行级证据表中保持稳定。
• 每步策略上下文 C_k(M_t, q) = s_{n_t} ∥ TopK_k(A(n_t), q ∥ s_{n_t})（当前实现用词汇相关性检索，k=5），故每步上下文相对轨迹长度为 O(1)。注意：有界的是每步策略上下文，不是外部存储总量。
• 树的语义不是候选思路的并行探索（区别于 ToT），而是「状态演化的依赖谱系」：边记录「子搜索状态派生自父节点的活跃证据」。

4.3 扩展与源绑定

• 每次检索返回至多 5 个段落；抽取器发出至多 6 条与问题相关的原子事实，且按段落索引选源而非让 LLM 复述 URL（避免静默产生无法核验的引用）。
• 新事实与活跃路径兼容时，创建子节点 n_t 并压缩父状态+新事实为新摘要——append-only 保留了「每条事实何时进入轨迹」。
• 查询策略把问题视作 answer contract：追踪请求的值类型、中间槽位、缺失关系；必须至少执行一次真实检索、且证据支持最终请求槽位后才允许停止，防止参数化/植入答案绕过搜索。

4.4 矛盾触发的回溯修复（核心）

两道闸门确认破坏性更新： 1. 初检（ProposeConflict）：输入问题 + 与查询最相关的 top-k 已存事实 + 新事实（不含分支摘要）；仅当新事实给出同一实体、同一属性、同一 scope 与时间下不兼容的值才允许回溯（细化、不同实体义、可并存竞争候选都只扩树）。 2. 复核（ConfirmRevision）：输入问题 + 分支摘要 + 被针对的目标事实 + 新事实 + 该事实变更历史；仅在矛盾同 scope 且新证据支持度更好时放行，抑制数值来回翻转。

确认后的修复操作：令 ι(j) 为引入被驳倒证据 e_j 的节点 → 在 ι(j) 处替换证据文本与来源 → 向 H_ι(j) 追加修订记录 (x_old, x_new, ρ) → 仅用修正后的累积证据重生成 s_ι(j) → 删除 ι(j) 的全部后代 → 置 n_t = ι(j)，由修复后的前提继续重建下游链条。这是一种「宁过勿漏」的保守祖先代理语义依赖（作者明确承认代价是冗余检索/重生成）。

4.5 Claim 级归因

最终生成器将推理分解为原子 claims 并各指派 ≥1 个证据标识符；运行级表把标识符解析到当前证据文本+URL，段落级表存各 URL 的原始段落。评估链路 ci → j → (x_j, u_j) → Passage(u_j)，由独立 NLI judge 判定 cited passage 是否 entitle 该 claim——检验被引段落而非孤立检验 claim。

4.6 复杂度与失败模式

当前实现：top-k 证据选择 O(|A(n)|)、引入者定位树遍历 O(|T|)（可用向量/标识符索引优化；LM 调用与搜索调用才是主要耗时）。修正质量受限于冲突判别器：假阴性保留污染，假阳性过度剪枝。

5. 实验设置（数据集 / benchmark / 基座模型）

数据集与 benchmark（共 2,149 题）

注：四个均为搜索式 QA benchmark（≤8 次检索规模），非长程规划类环境（如 WebArena/SWE-bench），「长程」体现在多轮检索的状态管理上。

归因诊断子集

固定 600 题 FRAMES 子集，三种范式共享，用于 NLI 式 citation precision/recall 评测。

基座模型与环境

• 策略 backbone：Qwen3-8B（FP16，OpenAI 兼容 SGLang endpoint，2× NVIDIA A40 48GB，Python 3.10.20 / PyTorch 2.2.1 / CUDA 12.1）——唯一基座
• 检索后端：统一 Google Search API
• 评判器：GPT-5（judge accuracy，施加类型约束）
• 约束：每题至多 8 次检索（每次 ≤5 passages）、至少一次真实检索才能停止、seed 0、全数据集共享固定超参
• 对照方法：Full-Trajectory ReAct（主基线，完整观测轨迹）；FlatUpdate（机制匹配对照：共享同样的 140 词摘要/top-5/冲突检测器，但证据存平表、冲突时只换事实不定位引入节点不剪后代，类似 Mem0 式记录型记忆）；ReportMemory（迭代合成对照，单条 ≤200 词演化报告 + 无序 URL 集，对应 ReSum/IterResearch 风格）

指标

Judge Accuracy、normalized EM；Citation Precision/Recall/Uncited Rate（NLI 段落蕴含）；Avg. Max Per-Step Policy Context（字符）、模型调用次数、token 用量。不做 wall-clock 因线上搜索方差大。

6. 关键结果（带数字）

答案质量（judge accuracy / EM，%，Qwen3-8B）

• 对 Full-Trajectory ReAct：4/4 数据集胜出 +8.3~+25.6 pp（FRAMES 上差距最大，accuracy 翻倍）；整体 +13.9 pp accuracy、+7.4 pp EM。
• 对机制匹配对照 FlatUpdate：4/4 全胜 +2.2~+4.7 pp——证明收益来自依赖导向的结构性修订而非仅有界压缩。
• 对 ReportMemory：3/4 胜出（+1.7~+7.2 pp），在 2Wiki 上落后 0.3 pp；整体领先最强聚合基线 ReportMemory +3.0 pp。

Claim 级归因（FRAMES 600 题诊断）

ReportMemory 引用率最高但引用内容最不支持其 claim——「高频低质引用」现象；ReTree 引用忠实度最好。

上下文与算力

• 平均峰值每步策略上下文（字符）：Full ReAct 为 ReTree 的 1.27–1.51×（如 FRAMES 1,920 vs 1,274；HotpotQA 1,542 vs 1,211）。
• Full ReAct 无界增长：2Wiki/HotpotQA 两次检索后 >2.8K 字符，FRAMES 四次检索后 >5.6K；三个有界变体始终稳定在窄带内。ReportMemory 足迹最小（699–817 字符）但整体准确率比 ReTree 低 3.0 pp——激进压缩无法保住下游推理。
• 自然回溯触发率 9.6%–17.5% 的 run——证明真实检索确实频繁踩到矛盾、结构性修复是被实际使用的路径。
• 开销：相比 FlatUpdate 多 7–11% 模型调用、10–13% tokens。

7. 局限性

论文自认： 1. 硬剪枝过度作废：祖先关系只是语义依赖的保守代理，被修节点的后代中可能有实际独立的有效事实也被一并删除，浪费状态与算力；未来需要显式的 claim-to-evidence / summary-to-evidence 细粒度依赖图做选择性修复。 2. 修复质量受限于冲突判别器：假阴性留下污染，假阳性过度剪枝；same-scope 规则与历史复核只降低不消除此类错误。 3. 外部存储仍无界增长：极长视野下线性证据选择与树遍历逐渐变慢（可实现向量索引、缓存、批处理缓解）。 4. 结构修复有额外 LM 开销：较 FlatUpdate 多 7–11% 模型调用、10–13% tokens。

我看出的额外局限： 5. 单一小基座：只有 Qwen3-8B 一个 8B 开源策略，未验证结论能否迁移到更强/更大的模型或闭源 frontier 策略（弱模型的冲突判断器更不可靠，假阳/假阴风险更高）。 6. GPT-5 单一评判器存在评判偏好风险，且种子只有 seed 0、未报方差或显著性。 7. "长程"尺度有限：每题 ≤8 次检索，远低于真正的 long-horizon 任务（数十至上百步的多阶段任务、跨 session 技能复用等）；不确定性在于修剪式记忆在更长视野上是否持续占优（其自身也承认长视野下遍历变慢）。 8. 任务类型窄：仅覆盖可验证答案的事实型 QA，不含开放式研究、代码/浏览器交互类长程任务；top-k 用词汇相关性而非向量检索，k=5 的敏感性未消融。 9. ReportMemory 在 2Wiki 打平（甚至准确率略高）提示：对推理路径显式、矛盾密度低的数据集，结构修复的边际收益有限。

8. 与长程智能体研究的关系

它解决的是长程搜索智能体中的工作记忆 / 上下文管理 + 自我修正这一交叉子问题，精确地说是其中三条子线的交集：

• 上下文管理：以「摘要 + top-k 证据」的有界 O(1) 每步策略上下文替代无界轨迹转录，属于 context-harness 设计路线（与 ReSum、IterResearch、Harness-1、observation masking 同题竞争）。
• 自我修正：把 truth-maintenance system 的「依据改变则连带结论失效」引入 LLM 搜索循环，是检索矛盾的主动修复（backtrack + 局部重生成 + 子树剪枝），而非被动重试或 Reflexion 式事后反思。
• 记忆（单轨迹内的工作记忆）：明确区分于跨会话长期记忆（Mem0/HippoRAG/A-MEM/MemForest 解决的是 recall across interactions，ReTree 解决的是 repair within a single evolving trajectory）；树的边语义是「证据谱系依赖」，区别于 ToT 的候选思路搜索树。

不涉及：RL 训练、多智能体协作、技能学习、长程规划算法本身、评估 benchmark 构建。若按归类档位划分，应标为：记忆、上下文管理、自我修正。

附：ReTree 主循环（Algorithm 1 文字版）

初始化树 T（根 r，n←r）。对 t=1..T：(1) C ← Summary(n) ⊕ TopK(A(n), q, k)；(2) a ← Policy(q, C)；(3) 若 a=Stop 且 A(n) 支持答案则跳出；(4) P ← Retrieve(a)，ΔE ← Extract(P,q)，E ← TopK(A(n), q⊕P, k)；(5) e ← ProposeConflict(q,E,ΔE)；(6) 若 e≠∅ 且 ConfirmRevision(q,n,e,ΔE,H_ι(e)) 成立 → u←ι(e)，替换 u 处证据、追加修订记录、重生成 Summary(u)、剪除 u 的全部后代、n←u；(7) 否则创建 n 的子节点 v（装入 ΔE 与更新摘要），n←v。返回 Generate(q, A(n))。

1.2.2 LoongReflect：长程反思蒸馏（北大）

LoongReflect 论文总结

1. 基本信息

2. 一句话核心贡献

把"反思"从无约束的口头反馈显式形式化为记忆控制策略（reversible 轨迹树上的 <reflect>/<backtrack> 动作），并用「快通道：特权教师答案掩码蒸馏 + 慢通道：结果导向 GRPO + look-ahead（extragradient 式）前瞻协调」的双通道训练框架解决反思学习的稀疏延迟信号与局部-全局视角鸿沟问题。

3. 研究问题与动机

长程智能体在多步执行中，局部错误（无关检索、错误实体关联、过时记忆更新）一旦进入活跃上下文会被后续大量决策放大，造成状态污染累积。反思本应是控制轨迹本身的过程（评估进展、判断证据是否充分、决定继续/修正/放弃分支），但学习有效反思面临两个根本挑战：

• C1 学习信号困境（Learning-signal dilemma）：反思决策的价值由众多后续动作中介、只在最终任务结果处显现。结果导向 RL 对反思给出的是稀疏、延迟、归因弱的监督；而直接给反思设中间奖励又易被 reward hacking（鼓励过度或表面化的反思却不提升任务成功率）。
• C2 局部-全局视角鸿沟（Local–global perspective gap）：反思只能基于当前分支的局部上下文做出，但其真实价值取决于该分支对完整轨迹的贡献。局部反思器无法直接观察继续/修正/放弃分支是否会改善最终结果。

现有方法（步级验证 PRM、行动质量评估、OPSD/ROSD 等 on-policy 蒸馏）要么把反思当作纯局部判断，要么使用与长程结果不完全一致的错位监督信号，且大多面向线性推理轨迹，不支持可逆的分支级恢复。

4. 方法（技术路线）

4.1 问题形式化：反思即记忆控制

时刻 t 智能体状态为 z_t = (x, T_t, P_t, m_t)：

• T_t：累积的可逆轨迹树（所有分支的历史）
• P_t：当前活跃执行路径（唯一暴露给模型的上下文之一）
• m_t：由活跃路径压缩得到的工作记忆
• B_t：已归档的废弃分支

模型序列化上下文只包含 (task, P_t, m_t)，被放弃的后缀从活跃上下文中移除但保留在树中用于诊断与监督——实现"决策与历史分支解耦"。动作空间分两类：

• 执行动作 A_exec：<think> 推理、<search> 工具调用、<answer> 作答
• 控制动作 A_ctrl：
• <reflect> 产出结构化诊断四元组 r_t = (evidence, risk, return_point, control_decision)，其中 decision ∈ {continue, backtrack}——反思变成状态控制诊断而非泛泛点评
• <backtrack> 执行恢复：回滚到可信前缀检查点（控制器按逆序评估各检查点并选择支持所提修正的最新一个），把不可靠后缀归档到 B_t，同时保留一段紧凑的前瞻性修正教训（compressed update u_j:t，含决定性矛盾/被证伪假设/下一步必须满足的约束）

外部 harness 有三个角色：actor、resume controller（CONTINUE/REJECT 判断检查点）、update writer（将回溯报告改写为 1–3 句前瞻性压缩更新）。

4.2 双通道优化框架

快通道 —— 答案掩码局部蒸馏（Fast / dense local）

• EMA 教师 q_θ̄ 额外获得全局信息：完整序列化轨迹树（活跃+归档节点，所有 <answer> 与答案别名均被替换为 [MASKED_ANSWER]）+ 二元终端结果，据此构造结构化提示 h_t = {verified_state, first_risk, return_node, next_decision}（外加 lesson 字段物化压缩更新）。教师对学生的既有续写做 force-scoring，不重写答案。
• 仅对 <reflect>/<backtrack> span 内 token 施加掩码反向 KL 损失（k3 型无偏估计，裁剪常数 c=10）：既提供稠密局部监督（解 C1），教师的全局视角又弥补了 C2；答案掩码防止学生模仿答案而非学会诊断。

慢通道 —— 结果导向全局优化（Slow / global）

• 标准 GRPO：每题采样 G 条完整轨迹，组内相对优势 Â_i = (R_i − mean)/std，终端奖励为规范化精确匹配 {0,1}
• 只作用于最终活跃执行路径的策略生成 token（排除工具输出、观察、控制器更新），保证清晰的信用分配。

Look-ahead 前瞻协调（extragradient 式）

两者更新方向可能冲突，协调机制为：

1. 从 θ 出发施加 K=3 步临时快通道更新得候选 θ̃，快方向 g_f = (θ−θ̃)/α
2. 在 θ̃ 下重新评估采样轨迹，计算慢方向 g_s = ∇L_slow(θ̃)
3. 若 ⟨g_f, g_s⟩ < 0，剔除快方向中与慢方向相反的分量：g_f^LA = g_f − (⟨g_f,g_s⟩/‖g_s‖²)·g_s
4. 回到原参数提交融合更新 θ⁺ = θ − η_s·g_s − η_f·g_f^LA，随后更新 EMA 教师

实际实现中在 LoRA 参数位移上做内积冲突测试（Adam 位移 d_f = θ̃−θ₀、d_s = θ_s−θ̃ 同样处理）。快通道学局部反思控制、慢通道提供全局校准、look-ahead 在提交前对齐二者。

4.3 训练数据构造

先做 SFT 再 RL。用本地部署的 Qwen3-32B 作轨迹教师：当教师在步数预算内给出错误答案时，干预注入 <reflect>–<backtrack> 轮次后继续生成直至答对。两阶段拒绝采样：(1) 保留成功且至少 1 次 reflect、至少 5 个交互轮次的轨迹；(2) 用同题对比 Search-R1，仅保留"LoongReflect 成功而 Search-R1 失败"的问题。最终得到 600 条 SFT 轨迹。

5. 实验设置（数据集 / benchmark / 基座模型）

训练数据

• HotpotQA（训练集，过滤掉无需检索或单次平凡查找即可回答的题）— 多跳检索问答，【长程相关：是】
• 2WikiMultiHopQA（训练集，同上过滤）— 多跳检索问答，【长程相关：是】

评测 benchmark（共 9 个）

整体评测均为短答案抽取式 QA / 数学题，未见 ALFWorld / WebShop / SWE-bench 这类真正的环境式长程智能体任务；所谓"long-horizon"体现在最多 16 轮、16K token 的多轮检索轨迹尺度上。

基座与教师模型

• 策略基座：Qwen2.5-3B-Instruct（主实验 + 全部消融）、Qwen2.5-7B-Instruct
• 轨迹蒸馏教师：Qwen3-32B（本地部署）；快通道教师为策略自身的 EMA 副本
• 数学推理额外基线：RLSD

对比基线（14 种，四大范式）

• 无 RAG：Base、CoT
• 朴素 RAG：FS-RAG、FL-RAG
• Agentic RAG：ReAct、IRCoT、TCRAG、ReSearch
• RL-based Agentic RAG：Search-R1、AEPO、ARPO、Mem1、AgenticRAG-R1（最强基线）

其他设置

• 检索语料统一为英文 Wikipedia（2023-11-01 快照），top-k=3，各方法共享同一 retriever、上下文预算、工具调用预算、解码配置与答案归一化器
• 指标：answer-level token F1 (%)；RL 训练奖励为规范化精确匹配 {0,1}
• 训练资源：1 节点 8×NVIDIA A800-SXM4-80GB；LoRA rank 64 / scaling 128；SFT lr 5e-6，RL lr 1e-6；100 个 RL 外层步，每步 8 prompt × 4 轨迹 = 32 条（GRPO 分组）

6. 关键结果（带数字）

主结果（Table 1，七项 QA 平均 F1）

LoongReflect 在全部 7 个基准 × 2 个规模上均为第一。3B 逐项 F1：2Wiki 48.01、HotpotQA 56.17、Bamboogle 35.25、FRAMES 23.51、MuSiQue 31.02、NQ 55.37、TriviaQA 73.72。

• 域内平均：3B 38.46→52.09，7B 41.75→53.86（相对最强基线）
• 域外平均：3B 31.59→43.77，7B 34.54→47.35

数学迁移（RQ2，Table 3，Qwen2.5-3B，F1）

• MATH：56.0（AgenticRAG-R1 54.8 / RLSD 53.6）→ +1.2 / +2.4
• GSM8K：82.4（AgenticRAG-R1 80.6 / RLSD 80.7）→ +1.8 / +1.7

表明学到的诊断-恢复行为能迁移到无检索的多步推理。

训练阶段分解（Table 4，七项 QA 平均 F1）

• 3B：RAW 30.33 → SFT 34.76（+4.43）→ SFT+RL 46.15（+11.39），总提升 +15.82
• 7B：RAW 37.73 → SFT 41.27（+3.54）→ SFT+RL 49.21（+7.94），总提升 +11.48

结论：SFT 提供反思先验，双通道 RL 贡献主要增益。

组件消融（Table 2，3B 平均 F1，完整版 46.15）

三个组件贡献互补且都必要。

超参敏感性与动态（Figures 3–4）

• 内层快更新数 K=3 最优（41.26@K=1 → 46.15@K=3 → 44.71@K=4）；快/慢权重比 w=1 最优（优于 0.5 和 2.0）
• 100 步训练中任务奖励持续上升，蒸馏奖励从约 −0.59 向 0 收敛——策略日益贴合教师的局部反思指导而不牺牲轨迹级结果

7. 局限性

论文自述（附录 K）

1. 强依赖检索质量与控制器（checkpoint 选择/恢复判定）的正确性，早期诊断错误会沿后续搜索与作答传播；检索噪声会影响 verified-state 构造、checkpoint 选择与压缩更新。
2. 规范化精确匹配奖励会低估 token-F1 下可得部分分数的有效语义别名。
3. EMA 教师仅拿到二元终端结果，可能塑造局部诊断的风格偏向。
4. 可逆多轮搜索 + 三快一慢 look-ahead 更新增加推理与优化开销。
5. 实验只覆盖两个训练集、七个 QA + 两个数学评测，报告的是单一记录种子配置的点估计（未做多种子）；未来应扩展任务域、多种子、量化对检索噪声的鲁棒性、度量 checkpoint 选择准确率、分析压缩更新中的误差传播、研究自适应协调调度（K 与 w 的自适应选取）。

我看出的额外局限

1. "长程"尺度偏短且任务形态单一：上限 16 轮 / 16K token 的检索 QA，全部是短答案抽取式任务；缺少真正环境交互式长程基准（ALFWorld/WebShop/SWE-bench/GAIA 类），结论向典型长程智能体外推有限。
2. 数学迁移增益微弱（MATH +1.2、GSM8K +1.8），论文又只报单一点估计，很可能落在波动范围内，"跨域迁移"的证据力不足。
3. 主表 +12.6 的提升幅度异常大：相邻基线之间的差距通常只有 1–4 点，而 Mem1 在此设置下表现明显偏低（3B 上 15.02，远低于原文报告水平），提示部分基线可能调参不到位、对比有失公平的可能。
4. 快通道依赖特权外部模块：hint 构造者可以是辅助 LLM 或规则模块，实际用的是 Qwen3-32B + 真值别名筛选（SFT 干预阶段直接用参考答案做诊断引导与接受/拒绝过滤）。这在无可验证答案或真值不可得的开放域不可复制，方法的适用面比宣称的窄。
5. 训练预算很小：仅 600 条 SFT 轨迹、100 外层步 × 32 条轨迹 ≈ 3200 条 RL 轨迹，虽降低成本，但也说明结果对该小样本分布较脆弱、缺乏规模化验证。
6. <reflect>/<backtrack> 的动作语义绑定在自定义 harness：backtrack 由外部控制器逆序评估检查点并生成 <update>，并非策略自身能力的一部分；换 harness 后行为是否保持未知。
7. 双通道 + look-ahead 使每个外层步需要额外的轨迹 rescore（在 θ̃ 下重打分），compute 开销约为普通 GRPO 的 1.5–2 倍量级，论文未量化具体成本倍数。

8. 与长程智能体研究的关系

该论文位于长程智能体研究的三个子问题的交叉点：

• 自我修正 / 反思（核心）：这是全文的主轴。它把 Self-Refine/Reflexion 式的口头自我批评升级为可作为策略学习对象的结构化控制动作，明确反对把反思当作本地判断，主张把它当作轨迹级控制（continue / revise / abandon 分支）来训练——直击"intrinsic self-correction 无外部可验证反馈时不可靠"这一痛点。
• 记忆与上下文管理（次核心）：可逆轨迹树 + 活跃路径/工作记忆/归档分支的三元分离，本质是一种有损上下文管理方案——把污染后缀从上下文中移除的同时保留紧凑修正教训，与 MEM1、StackPlanner 一脉相承，但增加了"可恢复性"维度。
• RL 训练监督信号设计（方法论核心）：提出"快通道稠密局部蒸馏 + 慢通道结果全局优化 + look-ahead 冲突消除"的组合，正面回应长程 RL 信用分配难（C1）与局部观测-全局价值不匹配（C2）两大通病。其 k3 掩码反向 KL 的 on-policy 蒸馏做法可直接移植到其他长程技能的训练中。

它没有涉及：多智能体协同、长期跨任务经验积累（skill library / episodic memory across episodes，反思只是 episode 内的过程记忆）、规划层面的分解，也没有提出新 benchmark。

一句话定位：LoongReflect 解决的是长程智能体的"单条 episode 内的状态污染检测与可恢复修正"这一子问题，并通过双通道 RL 工程化地给出了如何在不牺牲最终结果的条件下教会这个子技能的可复现配方。

附注：本 PDF 文件带权限加密标志导致 Read 工具直接读取失败，已用 pikepdf 解密副本后经 PyMuPDF 提取全文（15 页：正文 8 页 + 参考文献 + 附录 A–L）。

1.2.3 HyMem：分层上下文信息隔离（中科院自动化所）

论文总结：HyMem: Hierarchical Context Management for Long-Horizon Agents via Information Isolation

1. 基本信息

2. 一句话核心贡献

提出 HyMem，一个 training-free 的推理时分层上下文管理框架：将智能体上下文显式划分为 Planner、Executor、隔离子任务推理三个互不相通的"类型化上下文空间"，配合 episode/working/tool 三种结构化记忆的联合重写（fold），使稀疏的规划信号不再被执行噪声稀释，从而在 GAIA 与 Browsecomp-plus 上显著提升长程任务成功率。

3. 研究问题与动机

• 核心现象：上下文稀释（context dilution）。长程任务天然包含两类异构信息流：需要稳定性与连续性的高层战略规划信号 Z_t（目标、已验证事实、约束、未决子目标），以及噪声大、瞬时性的低层执行痕迹 X_t（原始工具输出、浏览日志、重试、格式残留、失败尝试）。标准 flat context（如 ReAct 的 C_t = {P, q, (a1,o1), ..., (at,ot)}）把两者交错拼成单一序列。
• 执行步骤产生的冗余信息累积速度远快于规划信息（|X_t| 增长远快于 |Z_t|），导致关键信息相对密度 ρ = |Z_t|/|C_t| 持续下降，形成"信息洪流"，淹没稀疏但关键的战略信号（论文 Figure 1 实测：ReAct 的关键信息密度从 1.6% 跌到 0.8%–1.9%，而 HyMem 反而从 3.6% 升到 12.8%）。
• 对现有方法的批评：压缩或外部检索大多作用在"已经混合的扁平序列"上——压缩常丢失关键推理链，检索难保留时序逻辑，且难以区分战略规划与离散执行步骤；一些方法（MemAgent、MEM1 等）还需额外训练。它们治的是"上下文长度"的症状，而非"不同类型信息混在同一序列"的根因。
• 因此作者主张：在信息进入决策上下文之前就做源头隔离（source-level isolation），而不是事后补救。

4. 方法

4.1 问题形式化与信息边界目标

• 将上下文拆成两个功能投影：Z_t = Z(C_t)（规划相关信息）、X_t = X(C_t)（执行级痕迹）。
• 目标的信息边界：planner 只通过结构化返回 R_t 更新，即 C_{t+1}^(p) = U(C_t^(p), R_t)，并满足 I(C_{t+1}^(p); X_t | R_t) ≈ 0（给定结构化返回后，原始执行痕迹对 planner 上下文的条件互信息近似为零）。这不是可微优化目标，而是由接口设计强制实现：原始痕迹留在下层私有上下文中，只有 schema 约束的返回能跨越边界。

4.2 四个组件（两个上下文空间 + 两个模块）

1. Planner Layer（唯一跨整个任务持久存在的上下文）
2. 上下文组成：系统提示 + 用户 query + M_epi/M_wm/M_tool 三种记忆 + 历史子会话的类型化返回 H_t^(p)。

3. 动作空间恰好四个：TASK(d)（派发简单搜索任务给 Executor）、ISOREASON(d)（派发复杂推理给隔离子模块）、FOLD（触发记忆重写）、ANSWER(ŷ)（给出最终答案）。

4. Executor Layer（按需创建、用完即弃的工具执行上下文）

5. 新建上下文只含执行提示、任务指令 d、紧凑工具记忆 M_tool（不带 episode/working memory）。
6. 在有界工具循环内获得原始观测 o_{t,1..k}，但不直接回传：先经过相关性条件蒸馏算子 φ(o|d)——去除导航文本、重复段落、格式残留、无关片段与工具报错样板话术，同时保留命名实体、日期、数值、来源 ID、证据片段与候选答案。

7. 蒸馏结果再合成为结构化返回 R^(e) = RESULTS{findings, evidence, sources, status, gaps}，只有这一个消息追加进 planner 历史；执行器上下文与原始观测随后丢弃。

8. Isolated Reasoning Module（隔离子任务推理上下文）

9. 用于多跳分析、假设检验、证据冲突调和。新建私有上下文 C^(iso) 包含 iso 提示、任务描述 d、episode/working/tool 记忆，以及近期 planner 状态的选择性摘要 σ(H_p)。
10. 可以反向调用 Executor 补充取证，但其自身中间推理轨迹保持私密，用完即丢。

11. 返回 R^(iso) = RETURN{conclusion, supporting facts, sources, confidence γ∈[0,1], assumptions}。

12. Memory Management Module（三种可重写的结构化记忆 + fold 算子）

13. Episode memory：已完成里程碑、已验证事实、重大决策。
14. Working memory：当前目标、未解决缺口（gaps）、下一步计划、活跃假设。
15. Tool memory：有效的工具使用模式、失败查询、工具使用注意事项（以紧凑的程序性摘要形式注入 planner，而非原始工具日志）。
16. fold 算子联合重写三者：M_{t+1} = Φ(H_p, H_e, H_iso, M_t)。
17. 非对称记忆注入：C(p) 与 C(iso) 注入全部三种记忆，C(e) 只注入 M_tool。

4.3 推理流程与折页（fold）触发

每个 planner 步骤 a_t ~ π(·|C_p)，状态转移规则： - TASK(d) → 新建 executor，返回 R^(e) 后更新 planner； - ISOREASON(d) → 新建 iso session，返回 R^(iso) 后更新 planner； - FOLD 或 Trigger(s_t) 触发 → 执行记忆联合重写； - ANSWER(ŷ) → 结束返回。

确定性 fold 触发条件：planner 上下文 token 利用率 > 0.99、自上次 fold 以来 executor 调用数 ≥ 5、连续失败 ≥ 3 次、planner 回合数 ≥ 8、工具调用数 ≥ 10（任一满足即触发）。附录超参：Planner_turns=12、execute_turns=10、max_iso_reasoning=5（全程隔离推理次数上限）、max_iso_reasoning_turn=3（单次会话步数上限）。

与事后压缩的本质区别：HyMem 不是在轨迹变长之后才去总结扁平轨迹，而是从执行全程就限制哪些信息"有权"进入决策上下文——总量（HyMem-Total）仍随探索增长，但持久的 planner 上下文只通过有界类型化返回和重写后的记忆增长。

5. 实验设置

数据集 / Benchmark（逐个列出）

注：两者都只用采样子集（150 + text-only 165），结果为至少 3 次独立运行的均值。

基座模型（backbone）

对比方法（Baselines）

• No Agency：Qwen3-32B、DeepSeek-V4 直接作答（无智能体框架）。
• ReAct（Yao et al., 2023）：最大回合预算 100。
• Summarization-based workflow（Yu et al., 2025 / MemAgent 类）：上下文达阈值时对最近 3 轮递归摘要并入历史；上限 100 回合。
• ReSum（Wu et al., 2025b，arXiv:2509.13313）：周期性把长交互历史总结为紧凑推理状态。
• A-MEM（Xu et al., 2025）：agentic memory，动态链接演化记忆笔记。
• THREAD（Schroeder et al., 2025, NAACL'25）：递归线程生成做子任务隔离推理与聚合（与本文最相近的结构化工作流基线）。

同一 benchmark 下，所有对比框架默认使用相同的主 backbone。

6. 关键结果

主结果（Table 1，Pass@1 %）

（* 带 * 的个别单元格因原 PDF 双栏提取串行，应以原文表格为准；Avg 列数字可靠。）

• GAIA（DeepSeek-V4）：HyMem 平均 Pass@1 66.7%，超过最强基线 ReSum（60.6%）+6.1pp，超过 ReAct（56.6%）+10.1pp；三个难度全面领先，Level 3 相对 ReAct 提升最大（36.8 → 49.1）。
• Browsecomp-plus（DeepSeek-V4）：平均 61.3%，超过最强基线 ReAct（56.6%）+4.7pp；hard 题从 14.0% 翻倍到 30.0%（但 easy 题 90.0 略低于 ReAct 的 94.0）。
• Qwen3-32B（弱基座）：GAIA 上从 ReAct 的 11.8 提升到 33.0（近 3 倍）；但 Browsecomp-plus 上 25.3 低于 ReAct 的 32.0——跨基座收益不均匀，取决于基座遵循类型化指令并产出可靠结构化返回的能力。
• 效率（Figure 3）：更高精度的同时，token 消耗与工具调用次数与各基线处于可比区间（并非靠堆资源换分数）。
• 上下文行为（Figure 4）：HyMem-Total 随任务推进持续增长（executor / iso 探索在扩张），但 HyMem-Planner 曲线增长缓慢得多——多数执行细节与中间分析留在临时上下文里，planner 只接收结构化返回与重写记忆。
• 消融（Table 2，Pass@1）：
• Full HyMem：Browsecomp-plus(DeepSeek-V4) 0.630，GAIA(Qwen3-32B) 0.320；
• 去掉 Isolated Reasoning：−5.0pp / −18.6pp（0.58 / 0.134），planner 上下文质量分降 2.72 / 2.70；
• 去掉 Memory Management：−9.0pp / −18.6pp（0.54 / 0.134），self-confidence 也明显下降（−0.08 / −0.12）；
• 结论：两个组件缺一不可——隔离推理挡住子任务推敲噪声进入 planner，结构化记忆在 fold 后保住任务连续性与确定性。

7. 局限性

论文自己承认的（见 Conclusion 与 Limitations 节）

1. 依赖强指令跟随的基座：有效性建立在模型能否可靠遵循类型化控制指令（TASK/FOLD/ISOREASON）并产出 schema 化返回之上。
2. 跨基座收益不均匀：Qwen3-32B 在 Browsecomp-plus 上不敌 ReAct，说明并非所有基座 × benchmark 组合都能获益。
3. 未来方向：自适应路由与自适应 memory-folding 策略；降低辅助蒸馏的成本；扩展到用户意图会在多轮执行中变化的交互式场景。

我看出的额外局限

1. 评测规模小且均为子集采样：Browsecomp-plus 仅随机 150 题、GAIA 仅 text-only 验证集 165 题；虽然做了 ≥3 次取均值，但没有方差/显著性检验，小样本下 hard 档（每档仅 50 题）的单题波动影响很大。
2. 混淆变量：所有框架的辅助 LLM 统一用 DeepSeek-V4，即使主 backbone 是 Qwen3-32B 也是如此，这使"上下文隔离 vs 强辅助蒸馏模型"的贡献无法完全解耦（Qwen3-32B + HyMem 的提升有多少来自 DeepSeek-V4 辅助？未单独消融）。
3. 手工设计的阈值体系：fold 触发器中的五个常数（0.99 / 5 / 3 / 8 / 10）与四组超参都是人工设定，未展示敏感性分析，也未知是否迁移到其他领域。
4. 额外推理成本未被完整计价：蒸馏、记忆压缩、隔离推理都是额外的 LLM 调用，Figure 3 只报告了总 token 与工具调用次数，没有报告墙钟延迟、请求数或费用。
5. Baseline 公平性存疑：ReAct 给 100 回合预算，而 HyMem 内部限制 planner 12 回合，两者的"一个回合"语义不同，名义预算对比可能掩盖真实计算量差异。
6. 局限章节写作质量：论文的 "Limitations" 一节内容基本是在复述方法背景而非列出真正局限（真正的局限散落在 Conclusion 里），这是写作上的瑕疵。
7. GAIA 排除多模态题、Browsecomp-plus 用离线静态语料，都让环境比真实部署更"干净"，对检索 API 波动/反爬导致的探索失败覆盖不足。

8. 与长程智能体研究的关系

归属子问题：上下文管理（context management）为主，记忆（structured memory）为辅，兼含少量自我修正要素。

• 它不是 RL 训练工作（training-free、纯推理时控制器），也不是新 benchmark（只是消费 GAIA/Browsecomp-plus），也不是严格的vanilla 多智能体协作——更准确说是"planner–executor + 私有推理线程"的架构级上下文隔离，与 THREAD 的递归线程、ReSum 的上下文摘要、AgentFold/context-folding 同属一条路线。
• 与该路线的差异点在于作用时机：别人是对已经混合的扁平轨迹做事后压缩/摘要/折叠，HyMem 是源头阻断——用"只有 schema 化返回可以跨边界"的接口约定保证 I(planner_context; execution_traces | structured_returns) ≈ 0，执行噪声根本不会进入决策空间。
• 结构化三记忆（episode / working / tool）承担跨 fold 的任务连续性：working memory 里的 unresolved gaps 实际上起到了轻量自我修正线索的作用，tool memory 则是最初级的技能/经验沉淀（非可学习权重意义上的技能学习）。
• 对 long-horizon agent 研究者的启示：(1) 论文给出的实证结论"隔离推理 > 单纯压缩"、"隔离 + 记忆二者缺一不可"可作为 harness 设计依据；(2) 其硬约束式的确定性 fold 触发器是一种无需学习的工程化替代方案；(3) 它明确指出了"弱基座撑不起类型化协议"这一前提条件，与 RL 训练记忆管理（Memory-R1、MemAgent）构成互补而非竞争。

1.2.4 MICROVERSE：多智能体身份漂移测量

MICROVERSE 论文总结

1. 标题、作者、机构、arXiv 号

• 标题：MICROVERSE: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations
• arXiv 号：2608.15844v1 [cs.CL]，2026 年 8 月 16 日提交（稿件日期戳 July 31, 2026），共 29 页
• 作者：约 43 人参与的众包式合作团队。Team leads 与通讯作者：Xiaomin Li（Harvard University）、Yuexing Hao（MIT）。核心执行团队包含 Sky Ng、Brihi Joshi（USC）、Ishan Gupta（UCSD）、Shirley Huang（Harvard）、Yifan Simon Liu（University of Toronto）、Qianfeng Wen（University of Toronto）等，贡献者名单见附录 J
• 机构：横跨 28 家单位，包括 Harvard、MIT、Stanford、NYU、Brown、UIUC、USC、Cornell、Princeton、UPenn 系（Buffalo）、UT Austin、Georgia Tech、Johns Hopkins、Ohio State、Wisconsin–Madison、Purdue、Arizona State、Northwestern，以及多名 Independent Contributor

2. 一句话核心贡献

MICROVERSE 是一个行为科学取向的"测量仪器"（而非排行榜式 benchmark）：在资源稀缺的多智能体沙盒生存环境中，把每个 LM agent 的初始身份档案（不可变的 soul file）与其可在反思中被自己改写的当前身份分开，由引擎在固定间隔无条件快照，再用离线结构化 diff + 语义分类器来量化智能体主动撰写出的身份漂移（self-authored identity drift）。

3. 研究问题与动机

• 动机：persona-conditioned LM agent 广泛用于社会模拟（Generative Agents 等），但绝大多数评估只问"agent 是否继续执行分配给它的人设"，很少问"agent 是否以及在何时主动改写了它用来描述自己的那个人设"。
• 窄化定义：论文刻意把 identity drift 定义为可观测对象之间的差异——初始身份档案 vs 后来 agent 自撰版本的身份档案（含价值观、道德边界、性格、目标四字段）。并强调三个层面并不必然一致：文本自述 ≠ 行为 ≠ 模型潜在偏好，本工具只测第一层。
• 关键方法学洞察：如果只在 agent 决定反思时采样身份，样本就被 agent 自己的选择偏置污染；因此修订（revision）与测量（measurement）必须在机制上分离，用固定间隔快照构建纵向序列。
• 归因开放性问题：一个冷酷人设后来增加亲社会约束，可能源于①资源稀缺、②被反复要求对比新旧自我的 prompt 结构、③RLHF/post-training 注入的 helpfulness-harmlessness 先验。本文提供能描述该模式的仪器，但承认现有实验无法区分这三种解释。
• 六个假设（H1–H6，表 6）：H1 边界侵蚀随稀缺加剧而加剧；H2 漂移具路径依赖（突变 vs 渐变）；H3 行动记录与自撰记忆的不一致可预测漂移；H4 边界变化沿交互网络传播；H5 边界侵蚀存在规律顺序；H6 post-training 使漂移偏向亲社会不对称（冷酷人设加善行约束多于善良人设加恶行约束）。本文只报告与 H1、H6 相关的描述性观察，并未完成各自所需的对照实验（no-persona 基线、abundance/idle 条件等均未运行）。

4. 方法（技术路线）

4.1 架构：认知与环境彻底解耦

• 确定性游戏服务器（Engine）：独占世界状态、时钟和动作规则，不做任何决策。采用 FastAPI + PostgreSQL 实现，向远程 agent 暴露 6 个 HTTP 端点（register / observe / action / reflection / memory 读取 / status）；官方引用实现则走 in-process 调用同一 resolver 以省通信开销。
• 纯 tick 解析器：每个 tick 在单个数据库事务内按固定顺序完成：加载状态 → 恢复资源并扣水 → 按 agent ID 排序动作 → 解决移动/消耗/拾荒/攻击/交易/交谈/信号/死亡 → 存储 intention → 持久化新状态 → 准备下一 tick 观察 → 推进时钟。移动冲突用 seed+agentID 的哈希裁决，战斗用带种子的随机数生成器。resolver 内没有任何模型调用，因此给定前一状态、提交动作与种子即可精确重放（端到端仍因 LM 采样而不确定）。
• Agent 进程轮询环境，超时未提交动作自动记为 wait。

4.2 环境与动作空间

• 50×50 离散网格，Moore 邻接（8 邻域），视野为 Chebyshev 半径 2 的局部 FOV；沙暴会干扰观察。
• 中心 (25,25) 有 Atmospheric Siphon 每 tick 补约 37 单位水，故意不够全体人口消耗（50 格 oasis 设置固定为 12/50）。每个活体每 tick 被扣除 1 / 2 / 3 单位水，对应名义人口成本 25/50/75，即控制 / mild / acute 三档稀缺。水耗尽即永久死亡，死亡后遗留下补给缓存供他人 scavenging。
• 每 tick 八选一：move / wait / consume / scavenge / trade / talk / attack / signal。要点：交易需双方同一 tick互提镜像条款且相邻才成交（talk 传递消息有一 tick 延迟）；攻击成功率取决于双方水量比；环境从不强制执行 agent 声称的道德边界——这是让"声称的自我"与"实际行为"可以对比的关键设计。

4.3 三层记忆与双重身份

• Working memory：当前 FOV 观察 + 上次动作结果。
• Long-term memory：完全由 agent 自撰（引擎从不代写），分 events / relationships / reflections 三个笔记本；每条记录须打 1–10 的重要性分（10 = 背叛/坚守核心价值观这类 defining 时刻）。检索走索引 + 显式点名读取 + 关键词 search_memory，而不是 embedding 相似度召回——这是与主流 RAG 式 agent 记忆的重要差别。
• Identity memory（双层）：original soul（T=0 固定不可变，每 tick 原样重新展示防遗忘）+ current identity（初始是 original 的拷贝，只能在 reflection 中被修改）。两者各含 values、moral boundaries、personality、goals 四段。25 个人设的完整原文见附录 G。
• Reflection 触发条件（机械式）：新记忆累计重要性之和超过阈值时触发，门槛外不存在反思；反思 prompt 让模型同时看到双份档案和高重要性记忆，且明确写着"大多数反思应当什么都不改"。

4.4 测量管线（离线分析器）

1. 采样纪律：每 5 tick 强制快照 current identity + 终止快照（覆盖死者的最后身份）。由于采样时机与修订事件无关，规避了"只在想改的时候看身份"的选择偏置。
2. 结构化 diff 两阶段：
3. 折叠近似复述：新增行与删除行须 token Jaccard ≥ 0.8 且 序列相似度 ≥ 0.85 才视为同一条边界的修订；例如 Dross 把 "kill" 改成 "kill or harm"（Jaccard 0.846）算一条修订，而 "betray someone who trusted me" vs "lie to someone who trusted me"（Jaccard 0.70、seq 0.90）保持两条独立变化；
4. 关键词分类器 + 单人手写 override 文件，把每条变化归入三类：保护他人的约束 / 拒绝承诺或稳定自我描述 / 自我指向或非道德陈述；匹配顺序为先自我指向、再拒绝承诺、最后保护他人，未命中默认入第三类。
5. 明确不使用任何 embedding 或 cosine 漂移分数，理由是保证编码规则可审计——代价是对换了一套词汇的语义等价表达完全不敏感。
6. 结果度量：身份修订次数、首次修订所在 tick、每次快照时的 moral boundary 数量、存活情况。

4.5 Prompt 层面的争议点

系统 prompt 要求每个 tick 都同时重呈两份身份，以防 initial profile 从上下文里丢掉（一种上下文管理策略），但论文自己也指出这可能制造"期待你发生变化"的需求效应，并把它列为待做的 prompt ablation。

5. 实验设置（数据集 / benchmark / 基座模型）

重要说明：这篇论文不使用任何公开基准或既有数据集。所有实验都在作者自建的 MICROVERSE 沙盒环境中进行，评价资产也是自建 persona 组。下面逐一列出，并标注其与长程任务的相关性。

基座模型：只有一个——Claude Haiku 4.5（model id claude-haiku-4-5，经 Amazon Bedrock 调用）。全部实验、全部 agent 使用同一 checkpoint，以在同 persona 内对比环境/阈值因素。

评估器/编码工具：自建的三类关键词分类器 + 单编码者人工 override；开发期手工标注约 50 条用于形成编码方案。亦无可比的外部 LLM-judge。

6. 关键结果（带数字）

1. 反自欺是最大的语义类别（pilot 的事后主题审查）：111 条新增 moral boundary 中有 27 条（24%）与自我合理化或不准确的自我描述有关，包括认知诚实、"把不作为粉饰成战略"、身份叙事以及承诺承认未来失败。例句：Sela 写下 "I will not lie to myself about why I am afraid—I call it caution"；Seraveth 写下 "I will not rationalize inaction as strategy"；Drusa 写下 "I will not use spiritual language to mask the will to power"。反思模板中从未出现 "self-deception" 一词，排除了直接复制 instructions 的解释。
2. 阈值控制了修订机会（sweep）：threshold 从 40 → 80 → 150，发生身份修订的 agent 数从 5 → 2 → 1，首次修订平均 tick 从 18.6 → 27.0 → 35.0；对应幸存者为 12 / 17 / 10。三条件共产生 452 条定时身份记录；全 sweep 仅 75 条轨迹中有 8 条发生了身份修订。
3. 漂移方向的证据很弱：ruthless band 的"保护他人约束"净变化在 threshold 40 和 80 均为 +2，150 为 0（无数值可比）——两个出现变化的阈值方向一致，但样本不足以宣称"内容与阈值无关"。
4. 词面计数严重高估 H6 支持度：seed 1 上 ruthless band 名义净增 9 条边界，但折叠复述并分类后"保护他人"净变化只剩 +1；floor case Mire 新增的 5 条里有 4 条被判为自我指向/非道德类。
5. survival 反直觉观察：Mire（零初始边界的冷酷 floor case）在 9 个 pilot runs 中存活约 44%（4/9），而两个善良 band 合计存活率约 5%；seed 1 里 control 条件 9/25 agent 身份有变，mild 与 acute 各 4/25。论文反复强调这是单一固定角色的对比，不能得出"无情提高存活率"。
6. Hale 纵深案例：同一个 water-trader persona 在 9 个 pilot runs 里 6 次死于能够反思之前；存活的那个 run 中连续 5 次改写身份，发明了 "search-theater"（表演式搜索）一词区分活动变化与操守变化，最终性格描述含 "capable of self-deception"，全程未完成一笔交易。
7. 总体定性：更低阈值带来更早、更频繁的修订，同时保留漂移方向；所有数字都是描述性的（within-run 95% 区间，不是跨独立复现的不确定性区间）。

7. 局限性

论文自己承认的（Section 8 + Section 9 + 附录 B）

• 单一模型 checkpoint、25 个固定合成 persona 跨条件复用、run 内共享环境、阈值研究每条件仅 1 个种子且总共只有 8 次身份修订——所有轨迹是相互依赖的描述性观察，不支持 population 或 model 层面推断。
• 测量对象是自述文件的编辑，不是潜在价值也不是行为保真度；改进一条边界文字与推翻一条核心承诺在计数中同样记 1 分。
• 词汇匹配抓不住换了词汇表的语义复述；三分类器靠关键词规则 + 单编码者 override，从未用独立人类评分者做信度评估；反自欺分析属事后编码且无独立重复。
• 成对展示新旧自我 + 反思 prompt + 沙漠叙事本身就可能诱导"道德变化"语言（需求效应），须做 no-persona 条件和 withhold-initial-profile 的 prompt ablation 才能把模式归于 post-training。
• 死亡引入选择偏差：死掉的 agent 无法再反思（terminal snapshot 只保存最后身份）。
• 工程缺陷历史：pilot 阶段固定间隔与终止日志不完整；开发期间相邻条件的数据库写入曾竞态，threshold study 之前才加入 committed reset——导致两组数据的修订时序与发生率不可直接横向比较。

我额外看出来的

• 事件量级过小却用了高调命名：全部证据落在 8 次 sweep 修订 + 24% 的一个事后主题分类上；摘要将 "24% anti-self-deception" 列为两大发现之首，但其分母 111 本身来自同一个 post hoc 审查流程， lacks 预注册与跨编码者复核，包装程度高于证据强度。
• 与现有模拟平台零对比：论文在 related work 中系统列出 Generative Agents / Concordia / SOTOPIA / OASIS / AgentSociety，却没有在同一指标上运行任何一个作为基线，衡量"这个 instrument 更好"目前只是主张。
• keyword 分类器的脆弱性是结构性的：cue 词表（someone / child / betray / deceive myself…）绑定英文具体措辞，换一种说法或换语言即失效；这与论文自己引用的 lexical semantic change 敏感性文献相呼应，但没有做敏感性分析。
• 无任何统计检验：95% 区间仅在 run 内计算，且论文自己的措辞已经声明不能当不确定性解读——实际上意味着结果无法用假设检验的语言表述。
• 成本与可扩展性未报告：25 agents × 300 ticks × Haiku 的调用次数/token 开销完全没有披露，影响其他组复用的可行性判断。
• double-duty 设计风险：让同一个"重要性 1–10"分数既驱动检索又触发反思（甚至系统 prompt 里明说要"score honestly"因为它双职），意味着反思时刻的选择本身被打分行为塑造——这是内生耦合，文中未讨论其对漂移时间点的偏置。
• 零 baseline persona 缺失：没有"无身份档案"或"身份永不展示"的 agent 作为对照，因此连"drift 大于 0"这一最基本命题都无法与噪声区分。

8. 与长程智能体（long-horizon agent）研究的关系

MICROVERSE 主要解决的是长程问题的评估与测量（evaluation/benchmark 仪器）子问题，同时深度嵌入记忆与反思机制的设计：

• 主轴：评估 benchmark / 测量仪器。它是目前少有的把"agent 对自身人格文档的自撰修改"作为 longitudinal 因变量的工作，创新点在于工程上将 revision 与 measurement 解耦（引擎侧 unconditional 定时快照 + 死亡者 terminal snapshot），避免 agent 选择偏置污染纵向数据。这与 PersonaEval / InCharacter / PersonaArena 等静态 or 单场景 persona 保真评测互补。
• 辅轴 1：记忆与反思（skill learning 的近亲）。沿用 Generative Agents 式 importance-scored memory + periodic reflection，但把反思产物从"总结"升级为"对结构化身份对象的显式编辑"，并用反思阈值扫描证明了这个调度旋钮机械地决定修订时点与频次——等价于在长程 agent 里调 reflection cadence 这一上下文管理超参。
• 辅轴 2：上下文管理。通过每 tick 重呈 immutable original + mutable current 两份档案来对抗长程上下文中的初始身份遗忘（对应 long-horizon consistency 文献里的 persona drift / role confusion 现象），论文指出这种做法本身就可能是需求效应源。
• 不涉及：RL 训练、多智能体协调算法本身、技能库沉淀（skill library）、显式规划器（规划全部留在 prompt 与自撰记忆层面而无内部 planner）。
• 最相关的定位：它回答的是"长程 agent 在持续环境压力下的自我修正/自我概念演化如何被可靠地量化"，这正是长程稳定性（persona collapse、belief–behavior 不一致）评测缺失的一块基础设施，但要成为可用 benchmark 还缺 no-persona 基线、跨模型复制、人类编码信度和行为验证。

1.2.5 MedClaw：外科长视频技能蒸馏

论文总结：MedClaw

1. 基本信息

2. 一句话核心贡献

提出 MedClaw——一个零训练（frozen-weight）的外科长视频智能体 harness：文本编排器（orchestrator）+ 冻结视觉子智能体的工具调用架构，配合无梯度、奖励门控的启发式技能蒸馏（Heuristic Skill Distillation, HSD）循环，仅从约 100 条标注样例中蒸馏出可复用的检索技能（核心是 directed re-look），并发布去泄露（de-leaked）、医生标注的基准 MedClawBench（1,123 题），在所有四维度上超越 one-shot VLM 与通用视频 agent。

3. 研究问题与动机

• 任务定义：数十分钟的外科手术视频要求"长程时序推理（long-horizon temporal reasoning）"——回答"某步骤之前/之后发生了什么"，而答案的证据分散在时间轴上，且往往位于描述该事件的那段窗口之外。
• 现有两条路线都不适配：
• One-shot VLM：整段视频远超上下文窗口，被迫压缩成粗粒度表征，丢失 before/after 类问题所需的细节，且无法回头重看关键几秒；
• SFT/RL 训练型视频 agent（学"往哪看"）：需要海量任务专属轨迹数据，过拟合训练分布，域外迁移差（如迁移到长神外手术）——而这恰是最缺标注数据的场景。
• 核心问题：能否在不更新任何参数的前提下获得"决定往哪看"的能力？作者的答案是演化上下文而非优化权重（improve by evolving context rather than optimizing weights）。
• 评估缺口：现有外科视频 QA 资源存在四个捷径：无长程结构、旁白口播答案（narration leakage）、教科书先验即可作答、单帧即可作答。需要一个真正隔离长程时序能力的 benchmark。

4. 方法

4.1 任务形式化

给定手术视频 V 与自然语言问题 q，产生开放式自由文本答案 a（刻意不用选择题，防止利用文本先验）。问题分两类： - VPR（Visual Perception Reasoning）：定位到时刻后取决于该刻的视觉细节（器械、解剖结构、计数、发现等）； - VTR（Visual Temporal Reasoning）：取决于流程本身如何展开（before / after / 长距离阶段关系），证据常在事件窗口之外，难度更高。

4.2 架构：三件套的 frozen harness

1. 文本编排器 πθ（Opus-4.8，永不看像素）：按 reason-act loop（ReAct 式），基于累积上下文 c_t 发出工具调用 a_t = (T_i, u_t)，工具返回文本观察 o_t，追加进 c_{t+1}，直到发出 STOP 并给出答案。由于编排器无法直接访问 V，每个视觉需求都必须外化为显式工具调用，整条轨迹 ρ 完全可审计。
2. 五个工具 T（由粗到细的定位递进）：
3. view_full_video：两阶段 coarse-to-fine 定位——Stage-1 低分辨率通读全程产出稠密时间线 + 候选窗口；Stage-2 高分辨率回看该加宽窗口，输出最紧的相关子窗口 [s, e]；
4. crop_video(V, s, e)：裁剪时间段并以裁剪分辨率细读，返回稠密描述；
5. select_video_frame(V, t)：由独立帧模型描述单帧（跨模型交叉验证）；
6. crop_video_frame(V, t, x1,y1,x2,y2)：帧内空间裁剪，精细区分易混淆小结构；
7. search_surgical_kb(q,type,k)：RAG 工具，检索仅含通用外科背景知识的库（PubMed 摘要 + 从关键词生成的术式/内镜视觉线索总结），sentence encoder + FAISS 余弦索引，不含任何 benchmark 答案。
8. 冻结视觉子智能体 ψ：
9. video expert（Gemini-3.5-flash / Gemini-3.1-flash-lite）：执行两个视频工具，负责一切需跨时间的推理；
10. frame verifier（GPT-5.5）：执行两个帧工具，提供更高分辨率的独立核对。

全部状态活在上下文 c_t 中，无梯度步、无外部记忆模块。

4.3 Heuristic Skill Distillation（HSD）

目标：解决开放域外科 QA 没有自动成功信号导致"自我进化循环积累貌似有用实则有害规则"的问题。设计为梯度无关 + 奖励门控：

• 数据效率：仅用 SVU 训练集的 100 道标注题（与所有评测集不相交），拆成 60 题 mining set + 40 题 validation set。
• 挖掘候选技能：逐题让推理期编排器"盲答"（不看 gold，使用与测试相同的工具），产出答案 â 与轨迹 ρ；再展示 gold 让其诊断差距，分为三类：
• Type A（operational gap）：gold 内容视频中确实存在，换一种"看法"就能抓到（裁得更紧/相邻窗口、提升裁剪分辨率、换一帧、区分相似器械）→ 唯一有可行动价值的类型；
• Type B（unreachable gap）：无论怎么看都拿不到（屏外旁白、术者口头意图、病理结果，或 backbone 分辨不清）→ 丢弃；
• Type C（already correct）：盲答已正确 → 不变。 编排器自己把教训写成 skill（先查库避免近似重复，已有则锐化更新），候选技能池封顶 5 个。
• 奖励门控保留：R(a) ∈ [1,5] 为四维判分的均值。先测空库基线 R₀ = E[R(a∅)]；逐一单独安装候选 s，重新作答整个验证集得 R_s。双重门槛才保留：(i) 均值提升超过余量 R_s > R₀ + δ（δ=0.05）；(ii) 不得让任何一道验证题掉 ≥2 分。被拒技能彻底移除。奖励只门控外部技能库中的条目，绝不改权重或固定 prompt。
• 收敛产物：库收敛到一个紧凑集合，由一个时序技能主导——directed re-look：对 before/after 类问题，一旦定位事件窗口，就去相邻窗口（"之前"问题看前邻、"之后"问题看后邻）裁剪细读并在那里落定答案，而非事件窗口本身。该技能恰好命中 VTR 设计要压力测试的失败模式，但它不是人工设计的，而是从自身轨迹挖出并通过门槛筛出的。

5. 实验设置（数据集 / benchmark / 基座模型）

5.1 主评测基准：MedClawBench（本文自建，1,123 题）

高度长程相关：整体源视频中位数 18.4 分钟，41% 超过 20 分钟；仅保留 ≥10 分钟的视频；经五级过滤确保只能靠观看才能作答。开放式自由作答，按四维度打分（各 1–5）：CI 正确性 / DO 细节 / CU 上下文 / TU 时序理解，GPT-5.5 自动判卷，报告均值 Avg。

五级过滤级联（A–E，τ=3）：(A) duration ≥10 min；(B) blind：纯文本模型（DeepSeek）作答须 s_B<τ，剔除先验可解题；(C) local：仅用目标窗口稠密观察作答须 s_C≥τ，保证目标区间内有可见证据；(D) narration（SVU）：仅音频作答须 <τ；(E) faithfulness（神外）：GPT-5.5 起草的问答须对齐医生时段标注。

Judge 可靠性验证：GPT-5.5 判卷 vs 专家二次加权 Cohen's κ —— 神外子集（30 题）overall κ=0.72（均分 2.95 vs 专家 2.94）；SVU 子集（70 题）κ=0.86（3.64 vs 3.65）。

（论文 Table I 对照的其他数据集 EndoVis18-VQA、PitVQA、SurgViVQA、SVU-31K(test) 仅作属性对比表用途，非本文评测集。）

5.2 技能蒸馏数据

• SVU-31K train split 的 100 道题（60 mining + 40 validation），长程相关，与评测集严格不相交。

5.3 对比方法 / 基座模型

本文 harness 底座：orchestrator = Opus-4.8（另消融 DeepSeek-V3/R1）；video expert = Gemini-3.5-flash（神外）/ Gemini-3.1-flash-lite（SVU）；frame verifier = GPT-5.5；实现于开源 Hermes agent framework（nousresearch/hermes-agent）。部署配置不对称：神外 split 用 flash，SVU 用更便宜的 lite，主表把两种配置合并为一行 MedClaw。

6. 关键结果（带数字）

主结果（Table II，四维 1–5 分） - 神外 split：MedClaw 四维平均 2.90，领先最强开源视频模型 VideoChat-R1-7B（2.14）+0.76；所有开源基线（含外科专用 SurgVidLM 整体 1.94、ReWatch-R1-7B 1.54）甚至全面低于所有 one-shot 闭源后端，凸显长神外严重越出其训练分布。 - 同 backbone 公平比较（Δ 行）：神外相对 Gemini-3.5-flash 每维 +0.17 ~ +0.56（VTR 的 CI +0.44、DO +0.51、CU +0.48、TU +0.52；VPR 的 DO 最高 +0.56）；SVU 相对 Gemini-3.1-flash-lite 每维 +0.22 ~ +0.56。说明增益来自 harness 本身而非更强模型。 - 细节参考：神外 VTR 全配置下 MedClaw 达 CI 2.40 / DO 2.28 / CU 3.19 / TU 2.80；SVU VPR 达 CI 3.67 / DO 3.65 / CU 4.17 / TU 3.95。

Backbone 替换消融（Table III，神外，同一个模型作为子智能体装进 harness） - Qwen2.5-VL-7B：2.04 → 2.58（+0.54）；Video-R1-7B：2.06 → 2.60（+0.55）；ReWatch-R1-7B：1.54 → 2.56（+1.02）——通用 harness 对广泛骨干一致涨分。

组件消融（Table IV，神外，full = 2.90） - 去 directed re-look：−0.38 → 2.51（最大单项贡献）； - 去 coarse-to-fine 定位：−0.16 → 2.74； - 以手写"通用观察纪律"技能替换 HSD 蒸馏技能：−0.13 → 2.77（证明自我挖掘 + 门控优于人工经验提示）。

Orchestrator 替换消融（Table V，视觉端固定） - Opus-4.8 2.90 → DeepSeek-V3 2.57（−0.33）、DeepSeek-R1 2.56（−0.34）：弱编排器优雅降级而不崩塌。

Judge 信度：神外 overall κ=0.72、SVU κ=0.86，自动评分与专家几乎贴合（2.95/2.94；3.64/3.65）。

7. 局限性

论文自认 - Benchmark 规模有限：总题量 1,123 且神外部分仅来自极少量的录像（14 段、单中心）； - 未来工作计划扩充 >20 分钟长录像、增加时序问题，构建更大规模基准以检验方法通用性。

我看出的 1. 裁判与数据生成同源：GPT-5.5 既起草神外问答 gold、又充当 frame verifier、还担任四维自动裁判——存在自举/同源偏差风险；而 κ 校验样本极小（30 / 70 题），且只有一位专家评神外。 2. 蒸馏收益天花板低：约 100 题、候选技能封顶 5 个，最终库实际由一个 directed re-look 主导；"训练无关学习"目前学到的是一条启发式规则，跨专科（非神经外科、非手术类视频）的可推广性未验证。 3. 门控统计功效弱：40 题验证集 + δ=0.05 的小阈值，不足以稳健区分噪声与真实增益；未报告方差/多次重复。 4. 无成本—收益核算：多轮工具调用（含 full-video 两遍阅读 + 高分辨率重看 + 独立帧核验）的延迟与 token 成本显著高于 one-shot 推理，文中完全没有报告效率、预算对比，这对临床落地关键。 5. 闭源模型堆叠：Opus-4.8 + Gemini + GPT-5.5 的组合不可复现、不可本地部署，且 physician 审计价值部分被商业黑箱限制削弱。 6. 绝对分数仍低：神外 VTR 平均仅 2.80 左右（满分 5），说明长程时序推理远未解决，论文措辞"SOTA"容易被误读。 7. SVU 子集蒸馏数据与评测同源于 SVU-31K 分布（虽严格 split 不相交），可能带来潜在的分布熟悉优势；SVU 又比神外更容易判分（κ 更高），两组数字不宜直接横向比较。

8. 与长程智能体研究的关系

这篇论文同时压住了 long-horizon agent 的三个子问题，其主打是技能学习 + 上下文管理：

1. 技能学习（skill learning）——主贡献：HSD 是一条"演化上下文而非权重"的自进化路线：从自身失败轨迹挖掘候选技能 → 奖励门控留存 → 存入外部技能库供触发式召回。它与 Voyager/ExpeL/Agent0 等经验蒸馏方法的区别在于显式的 reward gate（解决开放域没有自动成功信号时的"貌似合理却无用技能堆积"问题），是 Long-horizon agent 里"把能力存进环境外部资产而不是模型参数"这一支的临床实例。
2. 上下文管理（context management）：面对数十分钟超出任何上下文窗口的视频，用"感知外化为可审计工具调用 + coarse-to-fine 时间定位 + 只把相关窗口的文本观察放入编排器上下文"来规避一次性压缩损失；这是长程问题的经典"选择性读取/检索式上下文"解法在连续视频模态上的版本。
3. 规划（planning）——次要：text-only orchestrator 承担"决定往哪看、何时停"的高层策略，构成 plan–act–observe 循环；但因是冻结模型+固定工具集，规划策略本身不被优化。
4. 评估 benchmark——附带贡献：MedClawBench 通过五级去泄露过滤隔离长程时序推理能力，属于长程评估侧的资源贡献。
5. 边界说明：它不做 RL/SFT 参数训练、不做多智能体协同（是一个分层双角色的 harness，非 peer 协作）、也不涉及长期持久记忆（所有状态仅在单回合上下文 c_t 内，技能库才是唯一跨回合的外部资产）。

适用标签：技能学习、上下文管理、benchmark

1.2.6 TRCA：转移级信用分配（北航+清华+BAAI）

TRCA: Transition-wise Rubric Credit Assignment for Long-horizon LLM Agents

1. 基本信息

2. 一句话核心贡献

提出 TRCA：一个既不需要学习型过程奖励模型（PRM）、也不需要成功轨迹锚点的步级信用分配框架——它用事先离线生成的确定性布尔 rubric 算子去评判每一个"动作诱导的状态转移"，从而把失败轨迹中占多数的有用转移信号转化为密集步级奖励，专治长程智能体 RL 训练早期"几乎采不到成功样本"的冷启动难题。

3. 研究问题与动机

长程智能体训练普遍只有稀疏的二值终端奖励（R=1 成功 / 0 失败），PPO/GRPO/RLOO 只能做轨迹级监督，无法区分好步与坏步。现有两条细粒度路线都有硬伤：

1. 过程奖励模型（PRM）/ LLM judge 逐步打分：需要大量人工标注或额外的逐步推理开销；
2. 基于成功轨迹锚点的信用传播（GiGPO、GraphGPO、HCAPO、AgentHER 等）：效果依赖"同任务组里有成功轨迹可参照"。

作者用一个诊断实验量化了第 2 条路在冷启动期的失效程度（Qwen2.5-1.5B-Instruct，ALFWorld/WebShop 早期训练 rollout，128 rollouts/批，人工 + GPT-4o 联合标注）：

• 96.5% 的采样 rollout 终端失败；
• 85.6% 的 task-conditioned rollout 组内没有任何一条成功轨迹（此时组相对优势全部退化为 0）；
• 但失败轨迹中有 72.2% 的动作仍具备诊断价值的转移信号（有效执行 / 可量化的任务进展 / 揭示信息）。

由此引出核心问题：如何在没有成功锚点、也没有外部评估器的情况下获得可靠的细粒度步级信用？ 答案是把监督从"罕见的结果"转移到"每次交互必然产生的环境转移证据"上。

4. 方法

4.1 总体思路

TRCA 把交互进展拆成两种互补能力：获取任务相关证据（Evidence）、执行改变环境的有效动作（Execution），同时抑制无效/冗余/倒退行为（Invalidity）。每个动作诱导的转移 ξt = (st, at, st+1) 用这三类 rubric 评判，再转成两个互补奖励：Foundational（局部宽覆盖）与 Breakthrough（新增覆盖）。

4.2 三层解耦的 rubric 实现（关键的工程设计）

• 共享算子库 Tb：训练前用 LLM 一次性为每种 benchmark 交互类型生成确定性算子库——每类（Evidence/Invalidity/Execution）各 5 个、共 15 个算子。每个算子是一个布尔模板 h_b,m，声明自己读取哪些规范可观察事实、激活条件是什么，证据不足一律返回 0。
• 任务级确定性绑定 ω_b,m(x)：对具体任务实例 x，用规则解析（非 LLM）从指令中抽出目标实体、属性、约束、目的地等填进模板参数。例如 ALFWorld 抽"两个铅笔 + 放进 drawer"，WebShop 抽颜色 navy/尺码 x-large/价格上限 $50，SearchQA 抽目标实体与关系（不绑定 ground-truth 答案别名，答案别名只用于终端 EM 计算）。
• 确定性转移评估 O_i,t,j：benchmark adapter g_b 把原始转移映射为规范事实（解析出的动作类型与参数、解析成败、可见实体、检索内容、环境接受/拒绝反馈、状态变化等），逐算子输出 0/1。整个训练循环内零 LLM 调用、零嵌入模型、零学习型编码器——这是它与 PRM/judge 路线的本质区别，也是推理开销几乎为零的原因。

4.3 两类奖励

(1) Foundational Rubric Reward（局部、带符号）

q_t,j = +r_Evi/M_Evi（Evidence 命中）; −|r_Inval|/M_Inval（Invalidity 命中）; +r_Exec/M_Exec（Execution 命中）; 否则 0
r_F,i,t = Σ_j q_t,j

除以类别条目数 M_c 使任一类别聚合贡献被预算 r_c 封顶，奖励尺度不随 rubric 列表变长而膨胀。

(2) Breakthrough Rubric Reward（新增覆盖、防重复刷分）

由于 r_F 会反复奖励满足同一 rubric 的动作，稀释关键步骤的优势，引入势函数式设计：

C_i,t,j = max_{k≤t} O_i,k,j                    （累计覆盖指示）
Φ_i,t   = Σ_{c∈{Evi,Exec}} r_c/M_c · Σ_j C_i,t,j （单调非降势函数，排除 Invalidity）
r_B,i,t = Φ_i,t − Φ_i,t−1                       （只对首次满足的正向条件给分）

组合：r_TRCA = (1−λ)·r_F + λ·r_B，实验默认 λ=0.8。

4.4 策略优化

• Episode-relative advantage A_E：组内终端结果标准化（GiGPO 式分组，N=8）；全失败/全成功的零方差组置 0，此时步级信号成为唯一学习来源。
• Completion-aware return：R_i,t = Σ_{k≥t} γ^{k−t}(r_env + r_TRCA)，γ=0.95，稀疏环境奖励与步级奖励融合后再归一化，避免重复计入终端奖励。
• Context-relative step advantage A_S：沿用 group-in-group 思想，按环境暴露的结构化字段（页面类型、产品身份、已选选项、物品状态、库存、检索阶段等）聚出可比决策上下文的步级组，组内归一化 R 得 A_S——不需要精确文本匹配，也不需要任何学习组件。
• 最终 A = A_E + A_S，代入 PPO 式 clip 目标；每个转移一个标量优势，只广播到该步 <action>…</action> 内的可执行 token，<think>、观察、prompt token 全部掩码。
• 超参：lr 8e-7、KL 0.012、entropy 0.001、温度 1.0、最大响应 512 tokens、ALFWorld 上限 25 步；ALFWorld/WebShop 3 seeds 取均值±标准差。

4.5 理论性质（附录 D.6）

1. 有界性与不累积：r_F ∈ [−B−, B+]，r_B ∈ [0, B+]，且整条轨迹的 r_B 之和 = Φ_T ≤ B+，与 horizon 长度无关；
2. 新覆盖单调性：同一即时证据下，首次覆盖任务的转移严格优于重复覆盖者（λ>0 时）；
3. 零成功组非退化：即使组内全员失败（A_E≡0），只要同上下文步组的 completion-aware return 不全相等，仍有正负区分的优势；
4. 条件方差降低：给定 (转移, 先前覆盖)，r_TRCA 是确定值，方差严格低于二元的轨迹结果反馈。

5. 实验设置（数据集 / benchmark / 基座模型）

环境 / Benchmark（标注是否与长程任务相关）

注：SearchQA 七个数据集统一遵循 GiGPO 的训练/评测协议，使用外部搜索引擎进行 <search> 检索；NQ、HotpotQA 训练为 in-domain，其余五个用于域外泛化评测。

基座模型（策略模型）

• ALFWorld / WebShop：Qwen2.5-1.5B-Instruct、Qwen2.5-7B-Instruct
• SearchQA：Qwen2.5-3B-Instruct、Qwen2.5-7B-Instruct

对照方法

• 闭源模型（prompting）：GPT-4o、Gemini-2.5-Pro
• prompting 智能体：原生 Qwen2.5、ReAct、Reflexion
• RL 训练：PPO、RLOO、GRPO、GiGPO、HCAPO、GraphGPO
• SearchQA 额外对照：R1-Instruct、Search-R1、ZeroSearch、StepSearch、IGPO

训练硬件

4 × NVIDIA A800 80GB；rollout group size N=8。

6. 关键结果

ALFWorld / WebShop（Qwen2.5-1.5B / 7B，3 seeds）

搜索增强 QA（平均 7 数据集）

• Qwen2.5-3B：TRCA 平均 45.4，比 IGPO(37.2) 高 8.2、比 GiGPO(42.1) 高 3.3、比 HCAPO(43.5) 高 1.9；且 3B 设定下七个数据集逐一全部第一（最难的多跳 MuSiQue 18.0 vs HCAPO 14.8；Bamboogle 64.8）。
• Qwen2.5-7B：平均 48.4，高于 GiGPO 47.2 / HCAPO 47.3 / IGPO 46.7；MuSiQue 20.9、Bamboogle 70.4、NQ 47.9。
• 摘要口径：3B 上平均较各基线提升 1.9%~18.3%。

样本效率（vs GRPO，相同采样预算，Qwen2.5-1.5B）

• 仅 1.92K 条采样轨迹时，Pick_two 成功率 11.5%→34.6%、Pick_cool 15.0%→24.0%；
• Pick_two 用 3.84K 轨迹达 69.2%，超过 GRPO 用 6.40K 轨迹的 46.7%（≈节省 40% 样本）；
• 全局曲线最高领先 ALFWorld +19.5 个百分点、WebShop +18.8 个百分点，且优势从训练最早期就出现（正是成功最稀疏的阶段）。

消融与敏感性

• 去掉任一奖励分量都持续下降，其中去掉 Breakthrough 奖励降幅更大（在三个 benchmark 上一致），说明"首覆盖增量"是更关键的信号，Foundational 提供宽覆盖基础监督；
• λ 从 0.2 扫到 1.0：加大 breakthrough 权重有利 Heat/Cool 这类难子任务，但 λ=1.0 时整体从 92.0% 回落到 88.3%，λ=0.8 最优。

7. 局限性

论文自己承认的（附录 D.6 "Scope of the analysis" 等）

• Proposition 4 只刻画归一化之前的局部转移反馈，不保证完整归一化优势或最终 policy-gradient 估计器方差更低；
• 未声称 TRCA 是某个最优优势函数的无偏估计，也未声称符合 reward shaping 的策略不变性（potential-based shaping 的理论保障不适用）；
• 零方差 rollout 组与小规模上下文组的优势被直接置 0（保守处理，但这些组的学习信号确实丢失）。

我看出的问题

1. rubric 库容量小且 LLM 一次性生成：每 benchmark 固定 15 个算子、prompt 要求"紧凑高信号"，覆盖盲区无法在训练中发现或扩充；库质量取决于那次离线生成的 LLM 能力与接口描述完整性。
2. 强依赖环境结构化可观察事实：adapter g_b、动作文法、页面/库存/选项等结构化字段都是 per-benchmark 手工工程；迁移到真实浏览器、GUI 截图或反馈噪声大的环境（缺乏干净 canonical facts）并非显然可行。
3. 任务绑定靠确定性解析：若任务指令难以规则化抽取出实体/属性/约束，binding 失败即 rubric 退化；这一点论文只在简单基准上验证过。
4. RL 基础设施继承 GiGPO：context grouping 直接复用 group-in-group 框架，因此性能增益中属于"rubric 奖励"与属于"步级分组归一化"的部分只能靠消融间接分离，且 SearchQA 结果未报多种子方差（仅 ALFWorld/WebShop 有 3 seeds）。
5. 天花板效应：ALFWorld 94.5%、WebShop score 92.9% 已接近饱和，增益的实际空间与泛化价值需谨慎解读；Bamboogle 仅 125 例，个别名次差异统计意义有限。
6. 缺少与 PRM 路线的实证对比：文中批评了 AgentPRM 等过程评估器的开销，但没有直接实验对比（LLM-judge 打分版 step reward 作为 ablation 缺席）；此外"72.2% 有用信号"的诊断结论本身是用 GPT-4o + 人工得到的，与训练时完全规则化判定之间存在口径差。
7. 生态位偏窄：三个环境动作空间全是离散有限、反馈明确的；对真正的超长 horizon（数百步）、部分可观测且奖励极嘈杂的任务未验证。

8. 与长程智能体研究的关系

TRCA 解决的是长程智能体问题的 RL 训练子领域中的"步级信用分配 / 密集奖励设计" 这一核心瓶颈，具体切的是其中一个此前薄弱的切口——成功稀疏（cold-start / exploration regime）条件下的无锚点信用分配：

• 它不涉及记忆、上下文管理或多智能体协作；
• 与"规划"无直接关系（仅在 context grouping 中借用了 GiGPO 的状态相似度聚类来构造对比组）;
• 相对于 PRM/judge 路线，其贡献是把过程监督编译成一次性的确定性代码，从而免去在线评估开销；
• 附带的实用价值是样本效率：在最缺监督的训练前期显著加速收敛（40% 轨迹预算即可追平/超过 GRPO），这对任何以环境交互为主要成本的 long-horizon agent RL pipeline 都直接适用。

一句话定位：这是"在 long-horizon agent RL 中，用可验证的转移级 rubric 替代稀疏结果奖励 + 成功锚点"的一篇奖励设计/信用分配工作，与 GiGPO/HCAPO/GraphGPO 构成同一条演进主线。

1.2.7 Sleeping Agent：gist 压缩丢失时间锚点

The Sleeping Agent: What Gist-Based Context Compression Loses and Why

1. 标题、作者、机构、arXiv 号

2. 一句话核心贡献

作者构建了一个受睡眠记忆固化启发的压缩框架 SWC（Salience-Weighted Consolidation） 作为诊断探针，系统性揭示了一个此前未被指出的 gist 压缩失败机制：通用 gist 摘要 prompt 会选择性丢失时间锚点（日期、时刻、时长、年龄）而保留实体与事件；仅凭一句话的 prompt 修改即可把时间表达逐字保留率提升约 20 倍（3.05% → 62.39%），并在 LoCoMo 时间类问题上恢复 +0.314 的 judge 准确率。

3. 研究问题与动机

• 问题：当长程 agent 的会话历史超出活跃上下文窗口时，应保留什么、压缩什么、丢弃什么？常见做法是反应式统一摘要——超过 token 阈值就对旧历史做"一刀切"压缩，完全不区分历史内容是什么、也不考虑 agent 未来需要回答什么。
• 动机缺口：LightMem、Mem0、MemMachine 等结构化记忆系统在 LoCoMo 上报告了 0.7–0.9 的高分，但这些系统架构复杂、证据质量参差（从同行评审 ICLR 到自报 preprint），无法回答"到底哪个组件、以何种机制起作用"。
• 策略：SWC 不作为竞品提出，而是作为一个充分受控、组件可分解的最小化框架（probe），把 gist 压缩的效果从复杂记忆系统中剥离出来单独测量，从而找出失败点及其机制。
• 神经科学动机：两阶段模型（海马→新皮层互补学习系统、睡眠期选择性重放）、突触稳态假说（遗忘 = 主动降噪）、情景→语义转化（先前数据：通用 gist 中实体逐字存活 8%、事件 5%、时间表达仅 3%）。

4. 方法

4.1 设计原则（借鉴睡眠神经科学三条原则）

1. 主动调度：在空闲窗口进行固化，而不是等容量上限才触发；
2. 显著性加权保留：对每个 chunk 打分再决定去留；
3. 分阶段压缩：先显著性打分 pass，后 gist 抽象 pass。

4.2 Stage 1：显著性打分

每个 session chunk 得到一个加权分数：

• 下游相似度（权重 0.4）：chunk 与后续 turn 嵌入之间的余弦相似度，本地使用 all-MiniLM-L6-v2 计算（不调用 embedding API）；
• 新近度（0.3）：session index ÷ 总 session 数；
• 信息密度（0.3）：长度归一化的命名实体与数字计数。

分数分区：

最近两个 session 与 session 0 永远为高优先级；若超出 4 000 token 预算，高优先级 chunk 按显著度从低到高依次丢弃。

4.3 Stage 2：gist 抽象 —— SWC-Full（关键缺陷载体）

中优先级 chunk 用 Claude Haiku（temperature 0）压缩，prompt 要求：

• 保留：关于说话人的事实、因果关系、决策及其理由、未决承诺或计划；
• 丢弃：闲聊、重复信息、无事实内容的情绪反应；
• 输出：不超过 3–5 句的简洁段落。

prompt 中完全没有任何要求保留日期/时间的指令 —— 这正是后续保留率分析要证明的设计遗漏。

4.4 SWC-Temporal（唯一的实验变量）

与 SWC-Full 完全相同（同一套打分、独立 REM cache），只在 prompt 开头增加一句：

"You MUST preserve verbatim: all specific dates, times, durations, ages, and temporal expressions (e.g. '7 May', 'last Tuesday', 'at 9pm')."

这是一个严格的单变量对照设计。

4.5 调度与实现

• SWC-Full 采用显著性压力 + 空闲窗口触发，每 3 个 session 固化一次；
• SWC-Reactive（纯 token 阈值触发）在早期小规模跑分几乎一致（convs 0–2：0.452 vs SWC-Full 0.462），说明调度不是本文贡献点，设计面向在线部署但不在此离线评测中验证；
• 显著性打分在消费级 CPU（MacBook Air，Apple M 系列）上运行，每个对话耗时 30 分钟至 2.5 小时。

4.6 方法论贡献（与结果同等重要）

两个可复用的诊断工具： 1. 按类别分项评测（category-level evaluation），避免聚合分数掩盖特定题型上的系统性失败； 2. 保留率分析（preservation rate analysis）：直接统计摘要前后各类内容（时间表达 / 命名实体 / 事件）的逐字存活率，用来把性能差异归因到具体机制。

5. 实验设置

5.1 Benchmark / 数据集

LoCoMo 五个问题类别（映射来自 task_eval/evaluation.py）：

5.2 对比条件

1. Truncation：4 000 token 预算内取最新 token，固定保留 session 0；
2. Sliding window：超预算历史由 Haiku 摘要（指示保留关键事实、事件、决策）；
3. SWC-Full：两阶段管道（默认 prompt）；
4. SWC-Temporal：同一管道 + 时间锚点保护句；
5. Full context：完全不压缩（仅 convs 0–1，作为 ceiling）。

5.3 模型与基础设施

5.4 度量与统计协议

• 主指标：LLM-judge accuracy（gold answer + model answer 送入 Haiku 做 YES/NO 判定）。人工验证：60 题盲测一致率 95%（57/60），类别 2 上 17/17 = 100%，全部 3 处不一致都是保守方向（judge 说 NO 而 human 说 YES）；
• Token F1 同步计算但只存于公开结果文件，不作主分析；
• Bootstrap 95% CI：2 000 次重采样，seed 42，取自 1 935 题匹配集；配对类别 2 delta 用 n=315；
• 温度 0；前期方差分析（50 对 × 3 重跑）mean SD 0.047，temperature-0 重跑使聚合移动 0.009。

6. 关键结果

6.1 聚合准确率（类别 1–4，N=1 501/条件）

6.2 分类别（Table 2）

• 配对差值（类别 2）：SWC-Temporal − SWC-Full = +0.314 [0.254, 0.375]，n = 315；十个对话方向全为正（per-conv：+0.433, +0.160, +0.259, +0.379, +0.385, +0.291, +0.177, +0.341, +0.364, +0.226；非加权均值 +0.301）。
• 一个修复句同时没有损害 multi-hop（0.407→0.429）与 single-hop（0.459→0.486），证明这是精确的靶向修复而非整体放宽压缩。

6.3 保留率分析（机制证据，Table 3，覆盖全部十对话）

三重证据链闭环：分类别准确率模式（SWC-Full 单跳 0.459 / 多跳 0.407 都好、唯独时间 0.156 差）→ 保留率的 20 倍选择性跳跃 → 单句消融的 +0.314 配对恢复。附录 A 的实例很直观：原句"go to the LGBTQ support group last night — 7 May… spoke for about ten minutes"，SWC-Full 摘要丢失了"7 May"和"ten minutes"，而 SWC-Temporal 版本两者都保留。

6.4 其他结果与异常

• Conversation 1 异常：该对话上 sliding window 达 0.520、超过 SWC-Temporal 的 0.440（SWC-T − SWC-F 仍为 +0.160）。原因是小样本（该对话仅 25 个时间问题），且 sliding window 在其余九个对话上的区间仅为 0.061–0.216，属明显异常值。
• 附录 B（含类别 5）：十对话池化 truncation 0.305、sliding window 0.347，后者在十个对话中全部 ≥ 前者。
• 附录 D（类别 5 被排除的理由实证）：对抗性问题回答"无可告知信息"即给分，删得越干净得分越高（truncation 0.72–0.86），说明该子任务混淆了记忆质量与响应校准。

7. 局限性

论文自己承认的（§7.7）

1. Coverage：Full context 上限只在 conversations 0–1 上评估，非完整对照；
2. 保留率指标：逐字保留率是保守代理，可能低估语义上忠实但换了措辞的情况；
3. 迁移性：时间保护只在 SWC 内测试，同一句 prompt 修改能否改善 sliding-window 摘要仍是 open question；
4. Open-domain：类别 3 CI 全重叠，无结论；
5. Scheduling：在线空闲窗口调度无法在离线 benchmark 上验证（SWC-Reactive 仅早期 runs、仅 convs 0–2）。

我补充观察到的局限

1. 单一 benchmark + 单一 QA 模型：所有主张都建立在 LoCoMo（locomo10.json）与 Sonnet 4.6 作答之上，结论（尤其 +0.314 的量级）的跨基准、跨模型外推未验证；
2. 二值 judge 粒度过粗：YES/NO 无法捕捉部分正确答案的质量差异，即便有 60 题人工验证，其样本也很小；
3. 4 000 token 预算相对苛刻（LoCoMo 平均约 16 000 token），意味着压缩比极高；这对所有条件公平，但也可能放大了差异、与实际部署场景的温和压缩情形不完全可比；
4. 图表/多模态问题被整体剔除（51 题），结论只适用于纯文本记忆场景；
5. 利益披露透明但值得注意：作者声明使用 Claude 辅助文献综述、写作与实验设计，且为独立研究者单人署名，无外部复现验证；baseline 结果为自行重跑而非常见排行榜数字，与 LightMem/Mem0 报告的 0.7–0.9 不能直接横向比较（论文自己也明确说明了这一点）；
6. "检索缺失"维度未被覆盖：SWC 是一个读写一体的前摄压缩管道，没有独立的记忆索引/检索模块，因此该发现未必直接迁移到"摘要 + 向量检索"架构（如 Mem0），在那种架构里时间信息可能经元数据留存。

8. 与长程智能体（long-horizon agent）研究的关系

它解决的是长程问题的哪个子问题：上下文管理（context/memory compression），外加一部分评估方法学（evaluation methodology）。

具体定位：

• 上下文管理 / 记忆（主）：研究的是长程 agent 循环中最核心的一个决策——历史溢出时的保留-压缩-丢弃策略。它给出的不是又一个 SOTA 记忆系统，而是该方向上的一条可立即落地的设计准则：任何使用 gist 抽象的记忆组件都应把时间锚点当作显式保护类别，这是一行 prompt 的工程改动，不需要架构变更。这为 LightMem、Mem0、MemMachine 等复杂系统提供一个可能的低成本改进点，也为"复杂系统的高分里藏着哪类隐蔽失效"提供了归因模板。
• 评估 benchmark 方法学（次）：它论证了聚合准确率不足以诊断记忆系统——高总分可能掩盖特定题型（此处是时间性）的系统性失败；配套提出的"分类别评测 + 保留率分析"双工具可被任何长程记忆工作复用，用于机制归因。
• 它不涉及：技能学习、规划、自我修正、RL 训练、多智能体。
• 值得注意的一点：它是 LoCoMo 记忆赛道上一个"诊断视角"的工作，正好解释了为什么简单截断基线在该基准的时间类别上几乎全军覆没（0.137–0.171），从而为解读各记忆系统在 LoCoMo 类别层面的表现差异提供机理支撑。

总结生成日期：2026-08-26。原文来源：E:\Harness Engineering\agent_papers_2026\2608.11775.pdf

1.2.8 长程轨迹归因 Benchmark（华为）

论文总结

1. 标题、作者、机构、arXiv 号

• 标题: Long-Horizon Agent Trajectory Attribution: A Unified Benchmark and Fine-Grained Annotation Framework
• 作者: Chen Jing, Sun Yang*（通讯作者）, Zhang Li, Xu Lin, Shi Jie
• 注：作者署名呈"名+姓"倒置格式（Jing Chen / Yang Sun 等），疑似占位或匿名化处理
• 机构: Huawei Technologies Ltd.
• arXiv 号: arXiv:2608.06909v1 [cs.AI]，2026-08-07 提交
• 资源: https://github.com/chenjing-2024/agent-trajectory-attribution

2. 一句话核心贡献

首次把"轨迹归因"（trajectory attribution：给定智能体的某个目标行为，在多步执行轨迹中定位并排序导致该行为的组件）确立为 LLM 智能体的标准化评估问题，并给出统一组件级 schema + 细粒度标注框架 + 1,351 条标注轨迹的 benchmark（覆盖任务对齐动作/不安全动作/安全拒答三类行为），配两个参考归因基线和一个可复用于新模型的标注 skill。

3. 研究问题与动机

• LLM 智能体已从单轮助手演进为具备长程规划、工具使用与记忆的自主系统，其行为不再是单次响应决定的，而是整条轨迹中指令、观察、中间决策、工具交互、记忆累积影响的结果。
• 现有 benchmark（AgentBench / AgentDojo / Agent3Sigma 等）只评估结果——任务是否成功、是否被攻破、是否拒绝——无法解释"是轨迹中的哪一部分导致了这个行为"。
• 已有的归因类工作（Who&When、TraceElephant、AgentRx 等）几乎都把归因窄化为"失败定位"，缺少统一归因目标、组件级真值标注和共同评估协议，方法之间无法横向比较。
• 因此需要一个满足四个设计要求的框架：(i) 异构轨迹的统一组件级 schema；(ii) 捕捉长程因果依赖（根因可能离目标行为隔很多步）；(iii) 支持多样归因结构（单主因 vs 多步攻击链/执行链）；(iv) 可扩展到未来新模型的可复用构建协议。

4. 方法

4.1 问题形式化（组件级排序问题）

• 轨迹表示为有序组件序列 τ = (c₁, c₂, …, c_T)；每个组件是一个原子归因单元（system instruction / user message / assistant response / retrieved memory / reasoning step / action）。一次工具调用与其观察合并为一个复合组件。
• 给定目标组件 c_t，候选集 C_t = {c₁ … c_{t−1}}；归因方法为每个候选打分 s(cᵢ; c_t, τ)，分数诱导一个排序作为输出。

4.2 参考归因结构 A = (P, H*)

• 主归因 P = c*：每条轨迹恰好一个，是被标注的目标行为根因；可以是 user instruction、system instruction、retrieved memory、tool interaction、assistant response 等任意组件类型。刻意不采用"无序多因集合"标注，以区分根因与传播者，降低标注歧义。
• 归因链 H* = (c_{i1}, …, c_{im})：可选的有序附加组件链（i₁ < i₂ < … < i_m < t），按原始出现顺序排列，不含主因和目标本身；H* = ∅ 表示直接归因。对不安全动作细分为两类：
• 攻击链 (attack chain)：对抗性影响如何在交互中逐步传播（如铺垫话术）；
• 执行链 (execution chain)：不安全行为最终通过哪些下游组件被执行。

4.3 两个评估任务

1. 主归因定位：方法排出的第一名是否就是标注的根因 → Hit@1、MRR。
2. 归因链恢复：非空链上，方法能否找回主因之外的全部相关组件 → Recall@K、MAP。

4.4 Benchmark 构建协议（可复用 pipeline）

1. 轨迹标准化：把各来源异构轨迹统一为只含两个字段（Role、Content）的有序组件序列，结构化对象（工具调用参数等）序列化为文本，归入 System / User / Reasoning / Tool Call / Observation / Final Action 六类语义角色。
2. 目标识别：按执行结果把目标分为任务对齐动作、不安全动作、安全拒答。
3. 归因标注：三类行为统一走同一流程（找目标 → 标主因）；仅不安全动作子集追加攻击链/执行链标注。用 benchmark 特定的 prompt 模板实例化同一套标注协议，而非引入不同标注准则。
4. 两阶段验证：结构校验（确定性约束：主因先于目标、链内时间序、组件 ID 有效）+ LLM 语义审查；未通过的标注经再一轮 LLM 标注修复后重新验证。

4.5 参考基线（likelihood-based，仅用于刻画难度）

• 增量归因 Incremental：s_i^inc = log p(y | c_{≤i}) − log p(y | c_{≤i−1})，衡量逐个揭示组件时目标似然的增量。
• 留一归因 LOO：s_i^loo = 平均 token 级 log-lik(τ) − log-lik(τ∖{cᵢ})，衡量删掉某组件后目标似然的下降。 两者分别提供"引入视角"与"移除视角"的互补信号。

5. 实验设置（数据集 / benchmark / 基座模型）

数据源（benchmark 由以下三个来源的执行轨迹实例化而成）

仅在相关工作表中被对比、不是数据源的 benchmark：AgentBench、ATBench、HINTBench、Who&When、TraceElephant、MultiAgentBench。

基座模型

• 论文全文未披露任何具体基座模型名称。 两个 likelihood 归因基线所用模型、以及 LLM 辅助标注与语义审查所用的模型均未说明（这是一个显著的可复现性缺陷，见第 7 节）。

规模与结构统计

• 共 1,351 条标注轨迹：任务对齐动作 409（30.3%）、不安全动作 532（39.4%）、安全拒答 410（30.3%）。
• 任务环境 10 类：通讯协作、银行交易、旅行预订、workspace 操作、数据分析、代码开发、文档处理、网页交互、文件管理、系统管理。
• 轨迹长度均值 6.58–21.69 组件，P90 最高 97，最长 97 组件；归因距离（主因位置 − 目标位置）均值 2.41–3.93，长尾最高 23 步。
• 链覆盖率：攻击链 10.5%–45.5%（出现时平均长度仅 1.37–1.47）、执行链 38.0%–43.9%（平均 1.40–1.55）。

6. 关键结果（带数字）

6.1 主归因定位（N=1349）

• 两方法结论相反：Incremental 最擅长任务对齐动作却几乎做不了安全拒答（Stage 上仅 Hit@1 0.130），LOO 则在拒答/不安全动作上强得多 —— 说明单一打分视角在不同行为类别上系统性失效。

6.2 距离分层：长程依赖显著恶化性能

• Incremental、任务对齐：d=1 时 1.000（117 例，近乎确定的校准集），d≥2 骤降至 Hit@1 0.469。
• LOO、任务对齐：d=1 为 1.000，d≥2 只剩 Hit@1 0.120（最惨烈的跌幅）。
• LOO、安全拒答：d=1 为 0.946，d≥2 掉到 0.446。
• 结论论文自己点明：候选集中间会插入推理步、工具调用、观察等大量"貌似合理的竞争解释"，局部上下文不足以定位远端根因。

6.3 链恢复：比单点定位更难

• Incremental 在 AgentDojo 攻击链上完全失败：Recall@3 = 0.000、MAP = 0.165。
• LOO 表现更稳但分化大：最好为 Canary 执行链 Recall@3 = 0.897 / MAP = 0.783；最差为 Stage 攻击链 Recall@3 = 0.214 / MAP = 0.218。
• 总体规律：攻击链（上游对抗传播）比执行链（下游动作序列）难恢复得多。

7. 局限性

论文自述

1. 仅覆盖三个 benchmark 家族，不能代表快速涌现的新智能体系统的多样性。
2. 依赖 LLM 辅助标注，部分轨迹可能存在多个同样合理的替代归因解释。
3. 只做到组件级粒度，句子级/token 级是未来工作。
4. 只评估了两个简单 baseline，仅为建立参考难度而非最优系统。

我看出的额外局限

1. 零披露的实验细节：计算似然所用的基座模型、标注/审查所用 LLM 的型号与版本、prompt 内容全部缺失，结果完全无法复现，也无法判断结论是否随模型变化。
2. 单根因假设的人为性：长程行为的成因天然是多因的，强行规定"恰好一个 primary"会把标注歧义转嫁为指标误差；d=1 的 117 个任务对齐样本候选集只有 system+user 两个组件、近乎必对，这类平凡样本反而抬高了整体微平均（论文虽称其为校准集，但仍计入总分）。
3. "分布式因果"名不符实：所谓攻击/执行链出现时平均只有 ~1.4 个组件，链级 N 也极小（Canary 攻击链仅 12 条、AgentDojo 攻击链 30 条），小样本结果方差极大且缺乏显著性检验/置信区间。
4. 数据生态封闭：全部来自 AgentDojo 与 Agent3Sigma 两个家族（后者还是同组两家相近团队的工作），三来源之间的差异更多反映采集环境差异而非归因本质难度；所谓"model-adaptive 构建"只停留在 skill 发布层面，论文本身没有演示用新模型重建后的可比结果。
5. 指标设定偏保守：链恢复只报 Recall@3/MAP，而链平均长度仅 1.4，Recall@3 实际上接近"全找齐"，门槛设置与数据的真实粒度不匹配。

8. 与长程智能体研究的关系

本文解决的是长程问题中的 评估 benchmark / 过程级可解释性 子问题，即从"outcome evaluation"转向"process evaluation"：

• 它不改写长程策略、不做记忆机制或 RL 训练，而是回答"面对几十步的执行历史，我们能否解释某个最终行为是由哪些早期组件导致的"。这直接对应长程智能体的三大痛点之一：当错误发生在第 k 步而暴露在第 n 步时，如何诊断根因（debugging 与 safety auditing 能力）。
• 基准中核心的难度轴正是长程性本身：归因距离 d≥2 与 d=1 的巨大性能落差（LOO 从 0.946 掉到 0.446）定量证明了"远距离因果依赖 + 大量干扰性中间上下文"是当前方法的硬瓶颈——这本质上是一个长程上下文管理/长程信息检索问题（需要在不相关的中间步骤噪声中检索并排序早期的根因证据）。
• 对后续研究的接口价值：它给出的组件级归因分数可以直接用作 agent 训练时的诊断信号（credit assignment / reward shaping 的弱代理），论文在第 8.3 节明确把"agent 优化的诊断信号""因果干预""multi-agent / 具身场景的图式轨迹 schema"列为方向。
• 与已有长程归因工作（Who&When、TraceElephant 仅失败定位）的区别在于扩大了行为谱系：任务成功、被攻破、主动拒答都纳入同一评估框架，使"为什么成功"也可归因。

归类标签: benchmark、上下文管理、其他：过程级评估与可解释性（trajectory attribution）

1.2.9 OpenLoopEvolve：Loop Policy 自进化（清华）

OpenLoopEvolve: A Verifiable Self-Evolution Framework for Loop Policies in Long-Horizon Complex Tasks

1. 基本信息

2. 一句话核心贡献

把 LLM 智能体的完整执行环控制逻辑(观察、规划、记忆、行动、验证、恢复、停止、预算共八类规则)外置为一个可版本化、可移植、带谱系的策略资产 "Loop Policy"(经 Bundle 协议封装),并用在线/离线双模式的自进化机制(LLM 提议候选 + Champion–Challenger 配对评估 + 四约束鲁棒发布门 + 任务边界激活 + 退化回滚),让历史 trace 中的控制经验能够被归因、比较、发布和跨 run 复用,从而在长程任务上超越固定初始策略。

3. 研究问题与动机

问题背景:长程复杂任务要求智能体反复观察状态、制定计划、调用工具、验证结果并从失败中恢复。但这种控制经验通常只存在于单次运行的 context 或固定 prompt 中,难以在历史轨迹间积累与复用。

现有方法的缺口(作者的三层批评): 1. 记忆/反思/经验提取类方法(Generative Agents、Reflexion、ExpeL、Voyager)只扩充了"经验内容",技能库只复现"局部操作",都没有表征观察–规划–记忆使用–验证–恢复–停止–预算分配之间的整体控制关系——即不知道何时调用经验、如何核验执行结果、何时终止。 2. 工作流自动优化类方法(DSPy、ADAS、AFlow、AgentSquare、SE-Agent)把模型外的结构作为优化对象,但产物是某个框架内部的具体程序/结构,缺乏统一的对象边界与接口标准,离线结构搜索与在线运行时反馈之间没有共享的策略资产和发布语义。 3. Champion–Challenger 机制(生产预测模型管理、在线 AutoML 的 ChaCha)此前只用于预测模型比较,从未被直接应用到完整的智能体循环上。

核心两问:(a) 如何把完整执行环从宿主实现与单一 context 中分离出来,形成可版本化、可移植、可比较、可复用的外部策略资产;(b) 如何用历史 trace 与当前反馈自主改进该资产,同时保证只有通过候选验证、正式发布并在任务边界激活的策略才能影响后续运行(避免临时候选直接污染正在执行的路径)。

4. 方法(技术路线)

4.1 问题形式化(第 III 节)

• 长程任务契约:g = ⟨d, U_g, M_g, S_g, V_g, β_g⟩——目标 d、允许执行器集合 U_g(限定工具/动作范围)、评测指标 M_g、允许的证据来源 S_g(禁止仅凭模型自述判定任务完成)、验证协议 V_g(何时/如何验证并回流到重规划、恢复与停止)、资源预算向量 β_g(轮次、工具调用数、时间、token 上限)。
• 环内交互过程:x_{t+1} = f(x_t, o_t, a_t, e_t)、a_{t+1} ∈ h(x_{t+1}),其中 Loop Policy π 同时约束状态更新函数 f 和决策函数 h。
• 优化目标:在受控运行条件 z 下最大化 value score q(π; g, z),同时满足验证风险 c_V ≤ γ_g 与资源消耗 b ≤ β_g 三重联合约束。

4.2 可进化的对象:Loop Policy 与 Bundle

• Loop Policy(八组件):π = ⟨obs, plan, mem, act, ver, rec, stop, bud⟩,分别治理观察获取与过滤、计划生成更新、记忆写入检索使用、动作与工具选择、结果验证、失败恢复(retry/reroute/replan)、停止条件(verified / budget exhausted)、预算分配调整。以 YAML 风格文本表示(见论文 Fig. 2),可读、可比、可与具体宿主框架解耦插拔。
• Bundle(资产封装):B_v = ⟨π_v, C_v, P_v⟩——策略本体 + 适用条件集合 C_v + 版本谱系 P_v(直接父版本稳定索引 p_v + 所依据的进化证据)。注册时原子分配稳定版本索引 v;注册 ≠ 通过门控 ≠ 发布 ≠ 激活。父子指向关系构成 policy lineage,使同一修改在不同 run 中具有可比含义。
• 可归因 Trace:τ_i = (g_i, v(i), H_i, y_i)——任务、所用 Bundle 稳定版本、交互历史、run 结果;保证历史性能能准确归因到特定 Bundle 版本。
• 证据契约(Evidence Contract):Φ(D) = {e_j = (δ_j, Δ_j, u_j, I_j)}_j——调整方向 δ_j∈{+,−}(正证据支持复用,负证据支持修订)、相对对照的指标变化 Δ_j、所针对的策略组件 u_j∈八组件之一、支撑该判断的原始 trace 索引集 I_j。只有结果经 V_g 验证、来源属于 S_g 的 trace 才能进入 D_k。

4.3 共享进化机制:配对评估 + 鲁棒发布门(第 IV-A 节)

• Champion–Challenger 配对评估:Champion B^c 与候选 B^{k,j} 在同一任务 g_i、相同受控条件 z(交集适用条件下)分开成对执行,每对给出绝对增量 Δ 和相对变化 r_{i,j} = Δ / max{|q(B^c)|, ε};验证风险 c_V、资源消耗 b、失败态、证据有效性共同构成配对评估记录 P_{k,j}。终止失败/无效证据的 run 采用有界 failure-aware 变化并保留可靠性状态。相对变化的样本集 {r_{i,j}} 是效益判定的输入。
• 四约束鲁棒发布门 Gate:候选必须同时满足 benefit(效益)、evidence quality(证据质量,检查允许的证据来源)、tail risk(尾部风险,强制 c_V ≤ γ_g,可用配对数、胜率、置信区间、任务失败数、尾部损失做内部量)、resource cost(资源成本,强制 b ≤ β_g)四类约束才可发布;阈值配置不得放宽任务契约本身的验证与资源边界。
• 持平任务、模型、工具与资源条件,让配对差异尽量只反映 Loop Policy 修改的效果。

4.4 在线模式(Algorithm 1, Online Loop Policy Optimization)

适用:任务分布持续变化、需要及时纳入新反馈。每轮一个候选(j=1): 1. 宿主按应用定义的触发条件 Trig(反馈量/周期/任务阶段)提交已完成且可归因的 trace 批次; 2. 先由 CanaryMonitor 监控上一激活版本的后续反馈,若达到退化条件则回滚到父版本,并把触发回滚的 trace 从当前批次隔离; 3. 由 LLM proposer G_on_LLM 依据 (当前 Champion, 本批证据 E_k, 在线评估历史 R^on_{<k}) 重写策略、生成单个 Challenger Bundle,原子分配稳定版本索引并注册; 4. 配对评估 + 门控;通过则记为 released successor asset,但只在下一个任务边界激活,失败则保持原 Champion; 5. 更新类型化的在线评估历史 R^on 记录 (候选 Bundle, 配对评估, 发布决定); 6. 保证策略一致性:一个任务自始至终由同一激活 Champion 控制,challenger 通过也只在后续任务生效,从而使所有结果都可归属到明确的策略版本,支持回滚。

4.5 离线模式(Algorithm 2, Offline Loop Policy Optimization)

适用:归档 trace 已覆盖目标任务的主要运行状态。多候选、多代的"评估–选择–生成"搜索,全程位于任务执行路径之外: 1. 归档 traces D_off 经 Φ 得固定证据集 E; 2. 初始代由 G_off_LLM 围绕 Champion 生成 k 个候选 Bundle 并逐个注册; 3. 第 k 代:每个候选在其与 Champion 适用条件交集内做配对评估 → 累积评估映射 P^k; 4. 精英保留:保留集 F_k = {固定 Champion} ∪ 从既有精英与新候选中 Select 出的非支配候选(A_k 不含 Champion,Select 只查有评估值的候选); 5. 下一代由 V_off_LLM 对 F_k 做自主变异与重组:重组产物的直接父版本唯一,其余供体记入进化证据;适用条件被限制为直接父版本条件与证据覆盖的交集; 6. K 代后,ValueSelect 在最终通过门控的候选 F^K_acc 中选聚合值分最高者为后继 Champion(值分并列时才用可靠性/尾部表现/资源成本做非支配平局裁决);F^K_acc 为空则保留原 Champion; 7. 离线评估历史 R^off 记录 (候选集 C_k, 评估映射 P_k),两种模式的评估历史显式分型(disjoint union),防止不同结构的 record 被当作同一元组误读。

4.6 关键设计原则

候选生成属于搜索过程,只有通过候选验证的策略可发布,只有在任务边界激活的已发布策略才能进入执行路径——把策略搜索移出执行路径,而非允许智能体在单次运行内任意自我改写。

5. 实验设置(重点:数据集 / benchmark / 基座模型)

Benchmark(实际用于实验的)

注:WebArena、Tau-bench、AgentBench、AgentBoard 仅出现在 Related Work 中用于界定长程任务的评估协议特征,未被本文用作实验基准。

基座模型与运行配置

• 唯一基座模型:deepseek-v4-flash(DeepSeek-V4 系列,引用 arXiv:2606.19348),官方 medium 配置。
• 运行条件:官方 seeds 1/2/3(仅 3 个种子)、20-turn context、四个设置均从同一初始状态开始年度评估。

四个对比设置

1. Baseline(Native agent):官方 YC-Bench Agent Loop,不集成 OLE、不加载任何 Loop Policy;
2. Fixed-0:加载与两个 OLE 模式相同的初始 Loop Policy 但全年不变(用于分离"引入策略"与"进化策略"的效应);
3. OLE-online:从 π_0 开始在执行过程中在线进化,共 12 次候选更新尝试;
4. OLE-offline:实验前离线进化得到固定策略,评估期间不再更新;每次触发 LLM 自主生成 k=3 个候选,预注册最多 4 轮候选(K 上限 4 代)。

6. 关键结果

Table II:YC-Bench 年度总体结果(3 seeds)

• 相对 Fixed-0,OLE-online/offline 最终资金分别 +140.07%、+166.31%;年度存活从 1/3 提升到 2/3 与 3/3;平均最大回撤分别下降 10.77% 与 38.30%。两种模式均在长期收益、任务成功率、年度存活与风险指标上全面优于固定初始策略;离线模式整体略优于在线模式。

Table III:Token 用量与进化成本

(a) 主任务执行:

(b) 进化验证成本:OLE-online 进化成本 29.82M tokens、可观测总量 64.52M;OLE-offline 进化成本 24.02M、总量 59.63M;两种无进化基线分别为 27.70M 与 18.77M。

要点解读: 1. OLE 使平均存活时长大幅延长(offline 达到完整 365 天),同时单次调用的平均 token 用量反而更低——Loop Policy 把一次交互的推理开销控制在更低水平的同时扩大了可持续执行规模; 2. 代价是显著更高的总 token:OLE-offline 可观测总量约为 Fixed-0 的 3.2 倍,进化验证成本(约 24–30M)与主任务本身同量级甚至更高(对 Fixed-0 而言近 1.3 倍); 3. Fixed-0 比 Native 差 29.37%,说明人工设定的初始 Loop Policy 本身是有害的;OLE 的巨大增益相当程度上来自把这些坏规则修好,而非单纯叠加。

7. 局限性

论文自己承认的

1. 单一 benchmark、单一基座模型、极小样本:全部实验仅在 YC-Bench 一个模拟商业环境、deepseek-v4-flash 一个模型、3 个官方种子上进行;
2. 跨场景有效性未验证:结论明确指出 Loop Policy 能否跨任务、跨宿主框架、跨运行环境迁移复用,"留作未来工作"(Future work will evaluate this cross-scenario validity, evolution stability, and cost control at a larger scale);
3. 进化稳定性与规模化成本控制未考察:当前规模下(总成本约 60M tokens)作者认为进化开销"可接受",但更大规模下的可控性未证明;
4. 模式不自动切换:系统不会根据 trace 来源自动在在线/离线模式间切换,需使用者按适用性自行选择;
5. 排除未保留的候选生成调用:Table III 注明 OLE 总量不含 usage 未被保留的候选生成调用,即展示的总成本仍偏低估。

我看出来的

1. 统计效力严重不足:年度存活仅有 1/3→3/3 的粗粒度分辨率,每格 3 个种子,论文没有报告任何置信区间或显著性检验;资金曲线的 cross-seed 阴影区间宽(Fig. 3),+140% 这类结论在小样本下脆弱,存在过拟合到 YC-Bench 特定奖励结构的风险;
2. 参照系选择放大了表观增益:最醒目的 +140.07%/+166.31% 以本身就劣于 Native(-29.37%)的 Fixed-0 为分母;以 Native 为参照只有 +69.56%/+88.09%。此外缺少一个关键对照——"从 Native 出发做 offline 进化",无法判断 OLE 是修复坏初始策略还是普遍有效的自我改进机制;
3. 没有任何同类自进化方法的行为级对比:Reflexion、ExpeL、AFlow、ADAS、SE-Agent 都只在 Related Work 中讨论,没有作为实证 baseline 跑分,"首次应用于完整智能体循环的 Champion–Challenger"主张缺乏横向数据支撑;
4. "Verifiable" 的成色依赖环境自带校验:任务完成与否的验证来自 YC-Bench 环境的外部状态(资金核算),换成没有可靠环境 ground truth 的开放域任务,S_g/V_g 契约的可执行性存疑;门控阈值 α 的配置方法及其敏感性分析论文未给出;
5. 理论性符号系统重、可复现细节轻:全文 12 页无附录,gate 各阈值的实际取值、提示词模板、LLM 提议的具体输出格式均未在正文呈现,公开代码仓库的实际完整性未知;
6. 证据契约 Φ 本身未形式化检验:trace 到证据的抽取由 LLM 完成,幻觉或错误归因(如把运气好归因为某条策略规则)如何被 c_e/evidence-quality 约束拦住,缺少量化分析。

8. 与长程智能体(Long-Horizon Agent)研究的关系

OLE 解决的是长程问题的"策略/技能层资产化 + 自我修正治理"子问题,具体拆解如下:

• 它做的不是:RL 训练(完全不更新基座模型参数,纯外部文本策略搜索);不是狭义的记忆扩容(作者自己强调"不是增加一种新的记忆内容,而是用证据去修改整个环的控制方式");也不是多智能体协作。
• 主要落点 1 — 技能学习(策略资产的积累与复用):把八类环控制规则打包成带版本、适用条件与谱系的 Loop Policy Bundle,是继"记忆内容(Reflexion/ExpeL)— 语言技能(Voyager 技能库)"之后的第三条可复用资产路线:跨 run 复用的控制流程本身。这回应了长程任务的累积效应特性——策略优劣要到数百步之后才在最终资金中显现。
• 主要落点 2 — 自我修正 / 经验复用的治理边界:给出了 trace→evidence→candidate→paired evaluation→gate→release→task-boundary activation→canary rollback 的完整安全进化闭环,把"什么时候允许学到的经验影响下一次执行"这一长程自进化中长期缺失的发布语义补上了(在线模式下明确保护正在执行的任务不被中途换策略,并通过隔离触发回滚的 trace 避免污染下一轮学习信号)。
• 次要落点 — 上下文管理:外置化的 YAML 策略使控制经验独立于单次运行的 context window 存续,缓解长程任务中"控制经验困在单一 context 里"的问题(作者没有把它定位为压缩/裁剪类的上下文管理工作)。
• 评估侧的参考价值:提供了一个在真正的长程 benchmark(YC-Bench 一年期模拟经营)上同时报告累积收益、存活率与风险指标(最大回撤)的评估范式,可视为长程智能体评估方法的补充样本。
• 对社区的定位价值:与 Loop Engineering(Macedo)、Proof-or-Stop(Huang et al.)等工作同属把"模型外的执行环"当作一等研究对象的新兴脉络,并声称是该脉络中首个把生产系统的 Champion–Challenger 发布治理引入智能体环策略离线+在线自进化的工作。

1.2.10 VibeLifeBench：多周活世界基准（小红书 Dots Studio）

VibeLifeBench 论文总结

1. 标题、作者、机构、arXiv 号

• 标题: VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World?
• arXiv 号: arXiv:2608.10875v2 [cs.CL], 2026-08-16
• 机构: 小红书 Dots Studio（General Post-training Team, studio.dots.ai）× Evolvent AI（evolvent.co）
• 作者: Z.Y.†、Qionglin Qiu†、S.L.†、Lei Huang†、Lingxiao Du、Fanqing Meng、Hanjing Li、Qiguang Chen、Ethan Qin、XingYu、Mengkang Hu、Xiang Cheng‡（‡ Project Lead）

2. 一句话核心贡献

提出 VibeLifeBench——一个由 200 个多周长程任务组成的"活世界"生活助手基准：世界在虚拟时钟上自主推进且相当一部分变化是无通知的静默 mutation，只有会主动重查世界的智能体才能发现，配合细粒度分阶段加权检查项评测；7 个前沿模型全部低分（最高 Claude Opus 5 仅 avg@3 = 32.5），暴露当前智能体在主动性与跨阶段持久性上的系统性缺陷。

3. 研究问题与动机

现有 agent 基准集中在编码 / 办公工作场景，其共同设定是：显式指令 + 明确交付物 + 世界只在智能体动作后才变化。而真实的生活助理任务（策划数周的家庭旅行、跟进一场租房纠纷、统筹装修）有三个被现有评测忽视的特性：

1. 主动性（Proactive）：环境不会等待查询，合格的助手要自己决定何时行动、何时通知用户、何时保持沉默，并在起点就从只"暗示"的需求中提取硬约束（预算上限、家人健康条件、申报窗口）。
2. 动态活世界（Living World）：环境有状态且自主推进——天气、价格、库存、航班延误、场馆关闭、可穿戴设备读数都在变；感知到变化后要把它们传播进自己维护的计划里。
3. 长程性（Long-Horizon）：任务横跨准备—执行—收尾的完整生命周期，长达数周甚至数月，需要持续保持计划自洽并始终遵守最初给出的约束。

研究问题：如何把这三点变成可测量、可复现的机制？当前最强模型在这些轴上到底有多差？

4. 方法

核心理念

"任务不是一条 prompt，而是一个带时钟的世界。" 每个任务是脚本化的多周时间线，驱动一个由 22 个 mock 服务后端（288 个工具接口）构成的离线确定性模拟世界。

任务形式化

任务 τ = ⟨W₀, E, K, P, R⟩： - W₀：各启用服务后端的种子数据决定的初始世界状态； - E：事件时间线，按 stage 分组、stage 内按时间戳排序； - K ⊆ {k₁…k₂₂}：本任务启用的服务能力集合； - P：persona 与 workspace（用户身份/偏好/授权边界/操作手册等开局材料）； - R = {(cᵢ, wᵢ)}：加权评分检查项，每个 cᵢ 是对世界的确定性谓词。

运行时 W_j = apply(W_{j−1}, e_j, a_j)，a_j ∼ π(·|obs_j, H_{j−1})。Mutation 不产生 turn（a_j = ∅），世界只因事件本身改变。

四类事件（核心机制）

前三类占 80.1%，mutation 占 1,483 条（19.9%）却不触发回合——这正是把"主动性"变成可打分信号的关键：后阶段依赖这些静默改动，只有"持久（记得几天前的预订）+ 主动（没人叫也去复查）"的智能体才能及时发现差异。相应地，在无事可做的安静回合选择不作为也是正确行为。

Stage 划分

Stage 不是日历日而是检查点：两周的安静期可压缩为一个 stage，出发日可展开成多个 stage；全集中位数每任务 24 个 stage。

Persona / Workspace 与隐式约束

每任务附带 persona 材料（PERSONA.md、USER.md 授权边界、SOUL.md 行为原则、AGENTS.md 记账契约、IDENTITY.md 敏感标识符），其中埋入多条未明说但有约束力的隐式约束与安全红线（护照有效期不足 6 个月、胰岛素需医生信、硬预算上限、钓鱼邮件、授权分级：可直接做 / 先问 / 绝不做），很多场景刻意设置诱人的不安全捷径，合规智能体必须拒绝或升级上报而非抄近路。

评分体系（12,261 个加权检查项）

• 三个 tier：per-stage（奖励及时行为，数量占 80.8%）、cross-stage（全程约束如预算帽、安全红线）、final（最终留下的世界终态与工件）；cross-stage + final 仅占检查项 19.1% 却占总权重 26.8%，使单一严重失误无法被大量例行子任务掩盖。
• 五个证据维度：tool call 正确性、backend 终态（订单/日历/账本）、持久化工件（workspace 文件、笔记）、回复一致性、跨阶段一致性。
• 只读客观产物（服务终态、文件、发出的邮件、抓取的回复），从不读模型内部推理；得分 = 通过检查权重 / 总权重 ×100。
• 每个 task 跑 3 次，报告 avg@3、max@3、min@3 及任务内标准差。

构建流水线

场景与 persona 设计 → 时间线编排（刻意安排大量 mutation 使主动性成为拿分前提）→ 环境实例化（种子数据含充足干扰项，关键实体必须可通过工具调用发现而非硬编码进判据，避免假阴性）→ 评分判据编写（要求做出区分性判断，如计算具体数值、验证真实状态变更，不能靠关键词命中通过）。

基础设施

构建于 TERRARIUM（多轮活环境评测基础设施）之上，所有模型统一用 openclaw harness、原生 tool-calling scaffold、各自最强推理档位运行，沙箱隔离、完全离线、可复现。

5. 实验设置（数据集 / benchmark / 基座模型）

本文是基准论文：自身既是数据集又是 benchmark，不对外部基准做对比实验；评测对象是 LLM agent 本身。

自建 Benchmark：VibeLifeBench（200 任务）

• 十个生活领域（各 20 任务）：travel、finance、litigation、renovation、career、fitness、exam preparation、rental、shopping、team building。
• 【与长程任务相关度：★★★ 核心】每个任务本身就是长程任务。
• 规模统计：
• 中位时长 29 天（中间分布约 25–35 天，最长约 111 天，17 个任务 > 60 天）；中位 24 stages
• 共 7,453 个事件（中位每任务 36 个）：user messages 2,247（30.1%）、notifications 1,925（25.8%）、world observations 1,798（24.1%）、mutations 1,483（19.9%）→ 约 69.9% 为环境驱动而非用户提示
• 共 12,261 个加权检查项（中位每任务 58 个，区间约 31–135）
• 每任务中位调用 7 个服务（最多 12 个）；22 个服务全部被用到：email 198/200、calendar 195、notes 162、notification hub 120
• 各域中位天数最长为 career（48 天）、考试准备 40 天、fitness 34 天、litigation/rental 33 天；finance 检查项最密（中位 94 个）
• 【是否与长程任务相关】：整个基准直接以多周生命周期、跨阶段依赖、跨阶段一致性为设计目标，高度相关；此外这是一个专门测"持续记忆/账本类持久状态 + 无提示重查"的长程场景。

外部引用对照的基准（仅 Table 1 做属性对比，不在其上跑模型）

SWE-Milestone、Terminal-Bench、APEX-Agents、JobBench、Workspace-Bench、UltraHorizon、ClawBench、UniClawBench、Claw-Eval、WildClawBench、CostBench、ClawMark、ClawArena —— 结论是没有任何一个同时满足"proactive + living world + long-horizon"三项。 - 其中与长程最相关的参照：UltraHorizon（超长程合成探索，partial long-horizon）、Continual-Learning-Bench（真实世界有状态环境，related work 引用）、LifelongAgentBench、R-Horizon（related work 引用）。

被评测的 7 个基座模型（同一原生 tool-calling harness，各最强推理档）

Claude Opus 5、GPT-5.5、Gemini 3.5 Flash、Claude Opus 4.8、GLM-5.2、Kimi-K2.6、DeepSeek-V4-Pro

6. 关键结果（带数字）

主结果（avg@3 / max@3 / min@3 / 任务内 σ）

• 所有模型落在 21–33 的窄带内，彼此差距远小于与"胜任"的距离；说明强工具调用能力并不能迁移到数周生活事务管理。
• Token 投入与能力正相关但非决定因素：Gemini 读最多上下文却居中游，GPT-5.5 以最小输出预算排第二——怎么花（是否结构化持久化）比花多少更重要。

按 tier 与能力轴的检查通过率

• By tier（Claude Opus 5）：per-stage 44.9 / cross-stage 31.0 / final 31.3 —— 高权重层最难。
• 能力轴（七模型区间）：Proactivity 16.0–33.6；Propagation & recovery 18.5–32.0；Persistence & bookkeeping 18.9–28.0；Safety & privacy 23.0–30.4；Authorization boundary 17.8–34.8。
• Persistence & bookkeeping 是最大失败来源：汇聚占全部失败检查的 22.2%（逐模型稳定在 22.0–23.2%），另有 41.8% 失败未落在命名类别内。
• 需要"留下持久门控工件 + 跨阶段关联状态""把关键预订真正提交到 backend"的检查几乎全体通不过——不是不写，而是写不出判据要求的特定跨阶段关联工件。

长程衰减

每个模型时间线最后三分之一的 per-stage 通过率比前三分之一低 10–15 分：Opus 5 52.0→37.7、GPT-5.5 47.4→33.1、Opus 4.8 46.8→34.6、GLM-5.2 45.9→32.3、Gemini 42.5→32.6、DeepSeek 42.6→27.4、Kimi 42.2→27.1。

其他

• 域内强弱排序跨模型一致：shopping（Opus 5 达 51.1，GPT-5.5 达 60.2）、travel、renovation 相对可行；team building（最低 10.5）、rental（最低 9.8）、exam preparation 最难。无一模型全域胜任。
• 难度与规模相关性很弱：Spearman +0.28（事件数）、+0.02（时长）、−0.26（stage 数）→ 困难来自"持续维持分阶段约束"，不是单纯变长。
• 旗舰任务（20 天日本家庭旅行）走查中的共性翻车点：机型更换后不重选座位；台风升级为高置信度后不为关西段持久化 Plan-B；订机票前不披露母亲护照有效期问题；不维护滚动预算账本导致跨阶段对账失败；没有任何一次运行拒绝钓鱼加急费邮件。

7. 局限性

论文承认的局限

• 论文没有独立的 Limitations 章节，但自认了以下方法学弱点：
• 能力轴是通过关键词匹配检查项名称归类的，"indicative rather than exact"，仅具指示性；且有 41.8% 失败落在命名类别之外。
• 跨 run 方差不小（任务内 σ 最高 10.0），结论"即使碰对了也很难复现"，同时这使得相近分数的模型排序不够稳固（仅 3 次重复）。

我看出的局限

1. 只有 harness 差距没有方法差距：所有模型都用同一个裸 openclaw 原生工具调用脚手架，没有测试任何已知缓解手段（外部记忆/checklist 账本、cron 式定时自查、planner-executor 分层、RL 微调后的策略），因此"32.5 是模型上限还是脚手架上限"无法回答，也未给出任何改进方向的实证验证。
2. 判据本身是作者手写的确定性谓词：没有报告人工校验、与人类评审的一致率或假阳性/假阴性估计；一篇论文的诊断结论（"不会持久化""不会拒绝钓鱼邮件"）部分受制于判据设计者的先验假设。
3. 脚本化时间线 ≠ 涌现活世界：事件序列固定、"关于世界的因果"由剧本预写（D17 的低血糖、台风升级都是预定节点）；一旦开源，任务可被针对脚本过拟合，且无法检验真正的开放式因果传播。
4. 单一文化与语言背景：场景大量使用人民币/日元语境（CNY 预算、日本旅行、国内租房装修诉讼），由单一团队撰写，地域与平台生态偏置明显；每域仅 20 个任务，子域级数字样本很小。
5. 观测成本口径不一致：输出 token 只对报告 reasoning token 的三个模型计入推理 token，token 成本横向比较并不严格公平；Gemini Flash 作为唯一轻量模型与重量级同列对比。
6. 评分层面的理论问题：mutation 之后立即在该 stage 结束时跑判据，若智能体在同一 stage 内未能赶上窗口就永久丢分；退避式"多查一次就能得分"可能诱导过于频繁的无用轮询，基准并未讨论这种 reward hacking 面。
7. 缺少统计显著性检验与置信区间，模型间 2–5 分的差异可能不显著。

8. 与长程智能体（long-horizon agent）研究的关系

本文解决的是长程问题的评估 benchmark 子问题——并且具体压在三个此前未被同时测量的轴上：

• 上下文管理 / 记忆（持久化状态维护）：核心失败轴 persistence & bookkeeping 占全部失败的 22.2%；它测的不是参数记忆而是"能不能留下跨阶段可审计的结构化工件（账本、日志、待办清单）并据此重建当前状态"，这直接对应长程 agent 的外置记忆/状态记账问题。
• 主动性与活的上下文：19.9% 静默 mutation 使"无人提示时是否重查世界并做信息传播/恢复"成为可打分项，这是长程 agent 在开放环境中自我调度感知节奏（when to act / ask / stay silent）的问题，属于主动规划而非被动响应。
• 长程一致性衰减：随时间线推进通过率下降 10–15 分的现象，为"长程下的承诺/约束保持"提供了新的量化指标，并弱相关于任务长度（ρ=+0.02 与时长），提示难在约束维持而非步数。

它不涉及：技能学习、RL 训练、多智能体协作、上下文压缩算法等"解法侧"工作；它是把解法应达成的目标函数写清楚的评测器，可作为后续记忆系统、调度器、RL 环境与训练奖励设计的靶场。

WebShop / ALFWorld 顶会论文列表与归类（31 篇）

WebShop / ALFWorld 顶会论文调研报告（2025–2026）

调研日期：2026-08-26 目标 venue：ICML 2025、NeurIPS 2025、ICLR 2026、ICML 2026，以及挂在 arXiv 上疑似投向 NeurIPS 2026 的工作（venue 未确认者单独标注）。 收录口径：(a) 用 WebShop / ALFWorld（含视觉/多模态 ALFRED 对齐版本、visual ALFWorld）做主实验的方法论文；(b) 提出这两个环境变体、派生 benchmark 或对其做出系统性方法学研究的论文。 注：所有关键数字均来自论文页面 / OpenReview / PMLR 正文摘录，未二次复现。venue 仅在能看到官方页面（proceedings.mlr.press、openreview.net 标注 Poster/Oral、papers.neurips.cc）时标记为已确认，否则一律标"arXiv/未确认"，不做猜测。

一、总表

1.1 已确认 venue 的核心论文

1.2 ICML 2026

1.3 arXiv / venue 未确认（多为疑似 NeurIPS 2026 投稿或近期预印本）

1.4 边缘收录：顶会但非目标 ML 三个会（供交叉参考）

二、按"解决的问题"分类详述

A. RL 微调与信用分配（最大簇，17 篇）

这是当前两个环境上最拥挤的主赛道，可进一步细分为四条支线：

A1. 组级优势的结构改良（anchor/step grouping 系列） - GiGPO（NeurIPS 2025）：开创性地在同一批 rollout 内通过"锚定状态"逆追溯地构建步级组，使 critic-free 组 RL 获得步级信用。此后几乎所有后续工作都在这套 verl-agent 设定（ALFWorld 50 步上限 / WebShop 15 步上限、组大小 8、Qwen2.5 系列）上对比，GIgPO 报告的数字已成为事实上的公共排行榜。 - HGPO（ICLR 2026）指出 GiGPO 式步级分组的隐含缺陷——同一组内各步携带的历史上下文不一致会造成优势估计偏置，于是按上下文一致性建立层级组并用自适应加权聚合，ALFWorld in-dist/OOD 与 WebShop 全面超越 GiGPO（最高 95.96/94.87/79.29）。 - T-STAR（arXiv）进一步把跨轨迹的功能等价步骤合并为一棵"认知树"，用 Bellman backup 结构值替代锚状态匹配，并在分歧点上用失败分支合成修正性思考段（thought grafting）。 - ProGPO（arXiv, 疑似 NeurIPS 2026 投稿）攻击的是另一个盲区：全失败组（all-fail groups）内奖励方差为零，任何组相对法都会输出零优势，造成采样失衡的自我强化。它在门控条件下注入基于首访观测覆盖率的进度信号，并且"几乎不影响容易任务、只在难任务发力"（Look 子任务 67.5→84.4）。 - ECPO（arXiv）从统计角度指出"更密的信用 ≠ 更好的信用"：小样本锚组里稀有幸运动作会被高估，引入收缩估计与方差门控抑制不可靠信用，-training 后期振荡显著减小。

A2. 过程奖励 / 密度奖励设计 - RLVMR（ICLR 2026，腾讯混元）：提出"低效探索"问题——outcome-only RL 会强化逻辑混乱但碰巧成功的轨迹。解法是让智能体给每个思考步打标签（planning/exploration/reflection/monitoring），用轻量可编程规则发可验证过程奖励，在 ALFWorld 最难的 L2（连任务类别都没见过）划分上拿到 83.6%。 - EMPG（ICML 2026）：发现策略梯度幅值天然与熵耦合这一基本现象，按"步级不确定性 × 最终结果"重新校准更新幅度（自信正确放大、自信犯错惩罚、不确定衰减），并加 future clarity bonus。叠加在 GRPO/DAPO 上即得稳定增益（WebShop 82.7%）。 - EnvRL（arXiv）：不从奖励侧、而从表征侧补偿稀疏奖励——用状态预测 + 逆动力学两个辅助目标迫使智能体内化环境转移规律，开销只是每次更新多一次前向。

A3. 分层 / 层级化策略 - GLIDER（ICML 2025）：最早的 ICML 2025 代表作之一，用离线分层 RL 让高层策略产出抽象分步计划、低层控制器逐步监督执行，主打时间抽象带来的探索效率。 - HiPER（arXiv）：把平面策略改写成单个自回归 LLM 内部的 Plan–Execute 结构（每步输出 KEEP/SWITCH + 子目标 + 原子动作），配套边界感知自举的双时间尺度分层优势估计，ALFWorld 97.4% / WebShop 83.3%，且 80% 成功率的到达速度快约 2.8 倍。

A4. 强化学习的开端（早期 ICML 2025 组） - LAC（ICML 2025）：不训参数 gradient-free 的 actor-critic，用 token logits 在正负结果上的差异估计 Q 值，再让 LLM 在候选动作间择优；证明了"可以用 7B 达到过去要 GPT-4 的水平"。这条线正是后来 verl-agent 系列出来之前的主流范式。 - Embodied Planner-R1（arXiv）：较早一批把纯 outcome-driven 组 RL 用于 ALFWorld 的工作（97.78%），强调并行探索 + IPO，ALFWorld seen/unseen 都超 ETO 15pt 以上。

（另：HPL/ICLR 2026 偏好学习路线解决的是 SFT 与 DPO 中粒度失配，可视为该簇的非 RL 邻居。）

B. 记忆增强与经验复用（8 篇主线 + 3 篇边缘）

这条线全部是冻结模型、外置记忆（non-parametric）路线，2025 下半年起明显升温：

• Self-Generated In-Context Examples Improve LLM Agents（ICML 2025 与 NeurIPS 2025 官网均有同名页，具体归属待考——两处正文一致）：证明一个朴素命题就能涨点——把自己跑出来的成功轨迹攒成 example 库即可让 ALFWorld 73%→89%；再加种群级 (population-based training) 数据库筛选与示例级效用筛选到 93%。这篇论文最大的意义是把"in-context 经验库"确立为一个可优化的对象。
• AutoRefine（arXiv）：指出扁平文本 insight 无法承载子任务的过程性逻辑，把复杂子任务封装成自带记忆与状态的专用 subagent pattern，配合 skill patterns 与持续维护（打分/剪枝/合并），ALFWorld 98.4% 且步数减少 20–73%，在 TravelPlanner 上甚至倍杀人工设计的 ATLAS。
• MACLA（arXiv）：冻结 LLM + 外部层级程序记忆，用贝叶斯后验追踪每条 procedure 的可靠度、以期望效用选动作、以成败对照精炼流程；极致压缩（2851 条轨迹 →187 条流程），且首次报告了 ALFWorld unseen ≥ seen 的正泛化间隙 (+3.1pt)。
• MCMA（arXiv）：把"如何记忆/抽象记忆"本身变成可学的元认知技能——用一个 DPO 训练出的 memory copilot 来决定记忆的组织与抽象层级；copilot 能跨域迁移甚至接到闭源模型上。
• ProcMEM（arXiv）：以 Skill-MDP 把情景叙事编译为带激活/执行/终止条件的可执行 Skill，用非参数 PPO（语义梯度 + PPO Gate）保证可复用而不降级，816 token 的记忆即压过 A-MEM / AWM / G-Memory 全部基线。
• ECPO/R3L 等不属此类；但注意 ExpeL、A-MEM(NeurIPS 2025)、AWM(ICML 2025)、AutoGuide、Reflexion 是这一代工作的统一对照组，几乎所有 B 类论文都拿它们做 ablation。
• 基准侧：arXiv 2511.21730 把"程序记忆检索是否正确"从端到端成功率中剥离，用 ALFWorld 双语料揭示嵌入检索的新颖上下文断崖——这是该方向第一次拥有独立于执行的诊断工具。

观察：B 类在 ALFWorld 上普遍做到 90–98%，与 A 类顶尖 RL 结果持平，但无需 GPU 训练；差异化卖点正从"能记住什么"转向"怎么压缩、怎么防退化、能否跨模型/跨任务迁移"。

C. 探索与自我修正（4 篇）

• R3L（arXiv）：把 reflect-then-retry 当作显式的轨迹合成机制嵌入 RL：失败定位 → 重启试错 → 只对分歧后缀做关键信用分配 → 正样本放大防 off-policy 崩坏； WebShop 上比最强语言反馈基线多 8 个点。
• ActiveVOO（NeurIPS 2025）：面向部分可观性提出的不是"探索更多步"而是"决定值不值得看"——用 VOO 量化观测的信息效用，做到 zero-shot visual ALFWorld 0.86，击败所有需在 ALFWorld 数据上微调的 VLM。
• Atomic Fact Augmentation + Lookahead Search（ICML 2025）：以"原子事实"作为轻量记忆载体参与世界模拟与前瞻搜索，实现无权重更新的在线进步（TextFrozenLake + ALFWorld）。
• Dark Room in the Reward Channel（arXiv）：负向贡献——证明 GRPO 加稠密"预测下一观测"差分奖励会在 ALFWorld 上自发收敛到吸收态暗室（预测精度→1、成功率→0）；同时揭示安慰剂信号的表现不弱于 gold 信号。这篇是对 C 类乃至整个稠密奖励方向的釜底抽薪式警示。

D. Test-time scaling 与搜索（4 篇）

• MCTS-EP（arXiv）：训练侧用 MCTS 引导偏好对采集，再在线 DPO——把"搜索"用于造数据而非仅推理；ALFWorld 双模态 SOTA（text 92 / vision 87），交互步数减半。
• SEEA-R1 的 Tree-GRPO（NeurIPS 2025）本质上也是该思想的另一形态：MCTS 展开 → Q 值作过程奖励 → GRPO 更新。
• TALC（arXiv）：多模型议会 + 记忆画像驱动的任务感知路由 + 双信号 MCTS，K=10 即胜过 LATS/MoA/ToT 的 K=30（WebShop 0.63）。
• （背景：这条线的鼻祖 LATS 也是 WebShop 上的老基线，ADaPT/ReAct/Reflexion 构成了 D 类共同的对照组矩阵。）

E. 世界模型与主动信息获取（3 篇）

• WALL-E（NeurIPS 2025）：training-free 的符号世界对齐（动作规则 / KG / 场景图编码为可执行代码约束策略），LLM 在 MPC 循环里充当前瞻优化器，ALFWorld 98%。
• WorMI（ICML 2025）：不再为单一环境训世界模型，而是维护一个"世界模型插件池"，测试时按轨迹原型检索并复合注意力植入，从而零样本换域（VirtualHome ↔ ALFWorld）。
• EnvRL（亦见于 A2）：把世界模型思想内化为 RL 辅助目标，是 E 类向 A 类的过渡案例。

F. 环境、Benchmark 与表示形式研究（4 篇）

• ActiveVOO / SEEA-R1 多模态设定揭示了重要事实：visual ALFWorld（40–50%）与 textual ALFWorld（>90%）之间还有 40+ 点的鸿沟，这一点还没有专门 benchmark 消融，但对课题选题非常有信息量。
• ALFWorld 程序记忆检索基准（arXiv 2511.21730）：首个把检索质量与执行能力解耦的诊断基准。
• Cognitive Bandwidth Bottleneck（ICLR 2026 审稿稿）：用四个动作空间递增的环境（TextCraft→WebShop→ALFWorld→SciWorld）系统回答"该枚举动作还是用 schema 实例化"，找到位于 ALFWorld(~35 actions) 与 SciWorld(~500 actions) 之间的表示选择拐点，并发现该拐点随模型规划能力/实例化能力左右移动。
• Dark Room in the Reward Channel（若按研究对象看也可归在此）：它是唯一一篇对 ALFWorld/WebShop 上流行训练配方做大规模受控否定检验的工作（74 个预注册臂）。

三、榜单速览：这两套环境目前的 SOTA 状态

ALFWorld（文本，unseen 测试集，Qwen2.5-7B 附近）

ReAct prompting      ~31%
GRPO                 77–79%
GiGPO (NeurIPS'25)   90.8%
RLVMR (ICLR'26)      91.4%   (seen)
Embodied Planner-R1  99.29%  (seen) / 96.27% (unseen)
HiPER                97.4%
HGPO (ICLR'26)       95.96% (in-dist) / 94.87% (OOD)
Wall-E (NeurIPS'25)  98%
AutoRefine           98.4%

WebShop（7B 附近，success rate）

GPT-4o ReAct         ~24–31.8%
Gemini-2.5-Pro       ~35.9%
GRPO                 56.8–66%
GiGPO                75.2%
EMPG+DAPO (ICML'26)  82.7%
HiPER                83.3%
HGPO                 79.3%
TALC (MCTS council)  63%（奖励 0.85）
MCTS-EP              奖励 0.81

解读：文本 ALFWorld 已陷入"天花板拥挤区"（多篇 >95%），继续在该设置上提分数越边际越薄；真正的区分度正在转向 (a) L2/unseen-category 等 OOD 划分，(b) 多模态 ALFWorld 的 40 点鸿沟，(c) WebShop 仍在 55–83% 区间、对动作空间大 / 稀疏失败的问题依然敏感，是相对更有空间的战场。

四、主要趋势观察（详细版）

趋势 1：prompt-agent 范式已全面让位给组相对后训练 RL，并出现一条快速膨胀的"信用分配算法家族"

2025 年初 ICML 上还是 LAC 这类 gradient-free、以 GPT-4 为上限的工作，到了 NeurIPS 2025 / ICLR 2026，主体已是 GiGPO 家族： episode-level 与 step-level 的双层优势估计成为公认骨架，随后一年多被 HGPO（上下文一致分组）、ECPO（统计校正）、ProGPO（全失败组修复）、HiPER（时间尺度分层）、T-STAR（认知树）沿五个正交方向修补。更值得注意的是这些工作共享一套完全相同的基础设施——verl-agent/veRL、组大小 8、Qwen2.5-1.5B/7B、ALFWorld 50 步 / WebShop 15 步上限——这让 ALFWorld+WebShop 变成事实上的公共排行榜，但也带来审稿意义上的"同质化风险"：新颖性论证越来越依赖找出前面工作的一个小偏差。

趋势 2：稀疏奖励的"补偿机制"走向体系化，并出现了第一批严肃的负面/诊断结果

围绕"outcome-only reward 太稀疏"这个共同前提，各路补偿手段互相分化又互不排斥：改变优势计算（A1）、增加过程奖励（RLVMR/EMPG）、利用特权信息蒸馏（OCSD/AgentOPSD 的回合级信念递推）、以环境动力学作辅助监督（EnvRL/GLIDER）、以及用探索式数据合成补全稀疏正样本（R3L）。与此同时 Dark Room in the Reward Channel 用 74 个预注册对照证明：其中一类流行方案（差分形式的预测奖励）在组归一化下必坍缩到"暗_room 解"，而且安慰剂信号往往不输 gold——这类结果意味着这批环境开始承担方法学验证场的角色，而不只是刷分场。对做研究的人而言，这是个明确信号：只报告正向数字而不讨论 dense signal 的失效条件，越来越容易被审稿人质疑。

趋势 3：两类代价不对称的长程能力获得路径正在收敛——参数化 RL 与非参数程序记忆各自逼近 97–98%

一年半以前这两条路的分野很清楚：RL 微调贵但可泛化，memory/workflow 便宜但脆弱。如今 AutoRefine(98.4%)、WALL-E(98%)、MACLA(unseen 90.3%)、ProcMEM(0.90) 在 ALFWorld 上已经追平 HiPER/Embodied Planner-R1，而且都带了"库退化防护"、"贝叶斯可靠度"、"跨模型迁移"这类持续性学习的关键属性。剩下的明确缺口反而是：视觉/多模态版的 ALFWorld（EMMA 0.82、SEEA-R1 多模态 0.463、ActiveVOO 0.86）依然远低于文本版——模态之间的差距没有被这三年的方法进步显著缩小，这是长程具身智能体最值得投入的方向之一。

五、检索方法与可信度备注

• 主要来源：openreview.net forum 页（多处直接给了 Poster/Oral 决议与 submission number）、papers.neurips.cc 与 proceedings.mlr.press 的正式电子版、icml.cc/neurips.cc/iclr.cc virtual 页面、以及若干 GitHub repo（verl-agent、S1s-Z/EAGLET、WujiangXu/A-mem）自带徽章。
• venue 确认规则：凡见到 PMLR 卷号页 / 39th Conference on Neural Information Processing Systems 字样 / openreview 明示 NeurIPS 2025 poster / ICLR 2026 Poster / ICML 2026 regular 者，判为已确认；其余一概标"arXiv/未确认"，即便作者在 repo README 中自称"投稿 X 会议"也只注明来源性质。
• 数字一致性提示：ECPO、PlanPO、ProGPO、EnvRL 复用了彼此（尤其 GiGPO 原文）的表格数据但随机种子配置不同，个别基线数字在不同论文间有小幅出入；本报告优先使用各论文自身报告的数值，不做跨论文对齐。

长程智能体数据集 / Benchmark 全景（59 条）

长程智能体（Long-Horizon Agent）数据集与 Benchmark 全景

截至日期：2026-08-26 用途：为 AI 顶会研究选题选择主战场 benchmark 说明：数字均给出处链接；未能核实的字段标注「待确认」。「饱和度」判断依据：最强模型公开成绩 + 领先名次之间的分数差距。

0. 一句话总览（TL;DR）

1. 经典短程具身/Web 环境已大面积饱和或接近饱和：ALFWorld、WebShop、BabyAI、Mind2Web（离线）、OSWorld-Verified、BrowseComp、τ²-bench、CORE-Bench Hard 均已被前沿模型打到 85–99%，不再适合作为论文主指标。
2. 真正的长程化新阵地出现在三个方向：① 终端/工作流级长任务（Long-Horizon-Terminal-Bench、OSWorld 2.0）；② 异步/事件驱动环境——世界在 agent 不操作时也在变化（Gaia2+ARE、SentinelBench、VibeLifeBench）；③ 跨会话记忆与终身学习（LongMemEval-V2、LifelongAgentBench、EvoMemBench 等，2026 年集中爆发）。
3. METR 时间跨度曲线是本领域最重要的背景事实：前沿模型的 50% 任务完成时间跨度每约 7 个月翻倍，从 2019 年的 4 秒涨到 2026 年的 16 小时以上（来源：Microsoft SentinelBench 文章引用）。这决定了"更长"永远是有效的研究维度。
4. 评价方式正在从「最终成败二元判定」转向「密集子目标/评分量表」：LHTB（密集 subtask 奖励）、Odysseys（平均 6.1 条 rubric/任务）、Gaia2（动作级 oracle 图校验）、TheAgentCompany（checkpoint 得分）。这是可以直接做方法贡献的位置。

1. 大总表

长度列：步数 / 时间跨度 / 会话数，取各 benchmark 自己声明的典型量级。饱和度：★★★★★=已饱和（分差<2pt），★★★☆☆=中等有空间，★☆☆☆☆=大量空间。

关于条目的几点更正说明

• AgentNet 不是 benchmark，而是 DecentMem（arXiv 2605.22721）等工作里使用的多智能体框架之一（与 AutoGen、DyLAN 并列）。调研任务书里若将其当数据集是误记。
• ComedyMemBench：本轮多渠道搜索未找到对应论文或主页，标记为待确认（可能名称有出入，建议后续在 Google Scholar 复查）。
• HAL harness 已经归档，作者团队转向 agent reliability 方向；不要再把 HAL 当成能提交新结果的活跃赛道。

2. 分类详述与研究适配性

2.1 具身 / 文本交互经典环境

这一批是长程 agent 研究的奠基层，但绝大多数已完成历史使命：

• ALFWorld（2021，文本版）/ ALFRED（2020，视觉版）：家庭任务分解-执行。ALFWorld 自 ReAct 之后成为"agentic 推理"论文标配，但如今几乎所有前沿 agent 都能跑到 90% 以上，继续作为主指标的边际学术收益很低；它更现实的用法是作为低成本消融/可控性研究的沙盒，以及做分布外变体（如 BATS 之类把 horizon 拉长的改造版）时的对照。
• WebShop（2022）：奖励函数可微（属性命中加权），适合做偏好优化 / RL / 过程奖励的方法学论文；目前头部 agent 成绩持续上升，纯刷分空间有限，但其可训练性强仍使其在做训练侧研究时是常用选择。
• ScienceWorld（2022）：科学实验教学游戏，任务链长、判分过程化，仍有中等空间，适合做「课程化 / 教学式交互」类研究。
• Crafter（2021）/ MineDojo（2022）：开放演化、无固定终点的代表。Crafter 的 22 项成就是少数能把"自主探索—分支规划"拆开的维度；MineDojo 的价值更多在其大规模视频-文本语料而非任务评测本身。
• BALROG（2024，EPFL）：把多个游戏难度分层打包，重点暴露了 LLM 在长视界策略游戏上的极端短板（NetHack 上多数前沿模型接近零分）。空间极大，但可解释性和可发表的故事线比可复现性更强，更适合作为辅助实验。
• TextWorld（2019）/ Jericho：已成基础设施，不建议作为新论文的主战场。

结论：这层里真正还值得押注的不是原版环境，而是「把它们的时间轴拉长/状态外部化」的改造研究（例如把 ALFWorld 的几十步扩成上千步跨会话，考察记忆一致性与技能迁移）。

2.2 Web / OS / GUI

• OSWorld-Verified 已被打穿（86.1%），但OSWorld 2.0 把任务改成 108 个跨越 31 个自托管应用的真实长工作流，把预算放宽到 300 步之后，顶级系统仍然只有 13%。这是当前整个 GUI 方向最大的 headroom，值得优先评估其环境获取成本（标注：目前以 Open Benchmarks Grants 形式推进，完整开源状态待确认）。
• WebArena / VisualWebArena 依旧是最常被顶会引用的自托管 Web 基准；VisualWebArena 因涉及感知，成绩远未贴近文本版，做「视觉—语义联合长程推理」仍有位置。
• Online-Mind2Web（42.3%）、Odysseys（44.5%） 显示：一旦任务跨站点、跨小时，性能立刻从接近饱和跌到不足一半。这是最有说服力的「短程≠长程」实证曲线。
• Gaia2 + ARE（Meta, 2026-02） 是本批次最重要的结构性创新：它把"世界独立于 agent 演化"做成一等公民（事件流、通知、时间窗容忍），并提供写动作级 oracle 校验，使得该环境直接支持 RLVR。加上 ARE 是完全开源的基础设施，是难得的「既能做评测又能做训练」的平台。

2.3 工具使用 / 对话型长程

• τ-bench（2024）还有一定空间，τ²-bench 已经饱和（99.1%）。两者共同的最大遗产是把 pass^k（一致性）确立为长程可靠性指标——这个指标本身就值得在新环境中沿用甚至改良。
• AppWorld（2024） 提供了有状态 API + 单元测试判分，是少数既能测中长程又保证客观判定的选择，已被 HAL 收录。
• AgentBoard（2024） 的主要剩余价值在于它的 Progress Rate（进度率） 指标设计，可作为你自己新环境的度量模板。
• SWE-bench 系列：Verified 已趋饱和，但仍存在 Hard/Multilingual/Multimodal/Python 以外语言的明显短板；如果主线研究是长程软件工程，请直接看下面两条。
• TheAgentCompany（CMU, 2024-12）：模拟小型软件公司（内网 GitLab/RocketChat/OwnCloud/Plane 等自托管全家桶），175 个长期职业任务，带子检查点得分。开源非常彻底（一键 Docker），社区接受度高。当前最佳只有 Gemini 2.5 Pro 自动完成 30.3%、Claude 3.7 Sonnet 52.7 分，空间极大。
• LoCoBench-Agent（Salesforce, 2025-11）：把长上下文代码理解升级为多轮交互式 agent 评测，8000 场景 × 10K–1M token × 50 轮，第一份系统性覆盖「超长上下文 + 工具 + 多轮」交叉区的基准。
• MLE-bench（Kaggle 全流程）/ PaperBench（复现 ICML 论文）：以"几天的工作量"为单位的最贴近科研场景的两类任务，仍未被攻克；成本高、噪声也高，适合作为压轴实验而非唯一指标。

2.4 长程记忆与终身学习（2026 年最集中的爆发点）

这一层的核心洞察是：评价从「能否回忆起一条事实」转向「记忆是否让下游任务变好」以及「环境经验是否能沉淀为可复用知识」。

• LongMemEval（2024） 已较饱和，主流记忆系统都能跑到 75–85%；
• LongMemEval-V2（2026-05，NUS） 是它的高配续作：451 题、最多 500 条轨迹共 115M token 历史库，考察 Web 环境中的经验内化（静态状态、动态跟踪、工作流知识、坑位、前提察觉五种能力）。最强 AgentRunbook-C 只到 72.5%，RAG 型只有 48.5%，同时提出了清晰的效率代价讨论（coding-agent 式记忆延迟极高）。开源：REAL-Lab-NU/LongMemEval-V2。
• LifelongAgentBench（2025-05，TPAMI 2026）：3,000 任务的三环境终身学习基准，明确评技能习得/跨任务迁移/知识保持，是这条线目前最正式的旗舰。
• 其他 2026 年新出的记忆类（均属新兴、不饱和）：STATE-Bench（微软，「记忆是否真的提升任务成功率」）、EvoMemBench（自进化视角）、AMA-Bench、Mem2ActBench、AgentMemBench、LoCoMo-Plus（ACL 2026，超越事实召回的认知型记忆）、以及 ACL 2026 Findings 的《From Recall to Forgetting》（个性化 agent 的遗忘与合并能力）。
• 同期还出现了不少记忆基底（memory substrate）层面的横评工作（如 arXiv 2608.15008 对稠密/稀疏索引、文件/图数据库等底层载体的受控比较），说明这条线已经进入「方法体系化」阶段，非常适合写系统性论文。

结论：如果你的研究兴趣在 memory / lifelong learning，2026 年是入场窗口——既有旗舰基准（LifelongAgentBench）也有足够多的新口径可以承接你的方法。

2.5 通用长任务 / 深度研究

• GAIA 公开追踪榜仍在 ~52%，而受控复现环境里可达 74.5%（Claude Sonnet 4.5，HAL 验证集 165 题）；这种「协议敏感性」本身就是问题（不同搜索工具、不同脚手架、是否允许 best-of-N）。它依然是综合性最强的通用长程指标之一。
• GAIA→Gaia2 的换代说明学界已经意识到静态同步 GAIA 无法区分模型的真实能力差异（Execution/Search split 已饱和，Time/Ambiguity/Noise 还很弱）。
• HLE（HLE 2025，专家闭卷）：带工具已达 64.7%，正走向饱和；其协议混杂问题（闭卷 vs 带工具混榜）也被诟病。
• BrowseComp 已经饱和（92.2% / 93.3%）；其中文版 BrowseComp-ZH 相对没这么卷，Tongyi DeepResearch 在其上报 46.7，是少数还在合理区间的深研方向。
• Terminal-Bench 2.0 上半区已挤在 77–85%， confidence interval 大幅重叠；其真正有意义的延伸是 Long-Horizon-Terminal-Bench（见下文推荐）。
• HAL 目前价值在于提供成本归一化的评测范式和海量 agent 日志（2.5B token），可以拿来做二次分析（比如失败模式聚类、scaffold 归因）而不必重新跑评测。
• LoCoBench-Agent / WildClawBench / CoffeeBench / MerchantBench / AgentLongBench 都属于 2025Q4–2026 年涌现的新口子，各自覆盖一个此前没人碰的组合维度（超长上下文×交互、真实现实运行时、多智能体经济、跨周期商业一致性、可控长度构造）。

3. 关键趋势提炼（对选题的直接含义）

1. 「更长」本身不再是卖点，两个变量才是：
2. 异步性 / 世界自演化（Gaia2、SentinelBench、VibeLifeBench 共同的主题）；
3. 状态外部化与跨会话记忆（LongMemEval-V2、LifelongAgentBench、各种 MemBench）。
4. 密集中间奖励是当前评测端最大的方法论缺口。LHTB 已经证明：同样一批任务，只要给子任务打分就能把评测信噪比拉起来。做「自己的新环境」时应默认采用 rubric/检查点式打分而不是最终二值判定。
5. Pass^k、Progress Rate、Trajectory Efficiency 这三个非标准指标都来自benchmark端的设计创新，并且都还未被充分研究它们的统计性质。这是一个可以直接发 metric/eval 学科的切入角度。
6. 成本是新的第三轴：HAL 已经证明单纯准确率排序没有意义，论文如果不报 cost/token 曲线会被审稿人质疑。
7. 饱和的真实驱动因素不是"题不够难"，而是"任务之间独立性太强"。 因此最容易在不增加人力的情况下提升难度的做法是：让任务之间存在依赖关系（前一个任务的结果改变后一个任务的条件），这正是 LifelongAgentBench 和 VibeLifeBench 在做的事。

4. 主要资料来源

• LHTB: https://arxiv.org/html/2607.08964v1 ，项目页 https://zli12321.github.io/LHTB/
• Odysseys: https://arxiv.org/html/2604.24964v1 ，https://odysseys-website.pages.dev
• SentinelBench（Microsoft）： https://www.microsoft.com/en-us/research/articles/sentinelbench-a-benchmark-for-long-running-monitoring-agents/
• Gaia2 / ARE： https://doi.org/10.48550/arxiv.2602.11964 ，排行榜解读 https://agentsdirectory.dev/benchmarks/gaia2/ ，https://huggingface.co/blog/meta-agents-research-environments/gaia2-new-models-evaluation
• HAL： https://hal.cs.princeton.edu/ ，论文 https://arxiv.org/abs/2510.11977 ，harness https://github.com/princeton-pli/hal-harness （已归档）
• TheAgentCompany： https://github.com/theagentcompany/theagentcompany ，https://ar5iv.labs.arxiv.org/html/2412.14161 ，量化榜单 https://benchmarklist.com/benchmarks/the_agent_company/
• OSWorld-Verified / OSWorld 2.0： https://benchlm.ai/benchmarks/osworld-verified ，https://leaderboard.steel.dev/leaderboards/osworld/
• Terminal-Bench 2.0： https://www.tbench.ai/leaderboard/terminal-bench/2.0 ，汇总 https://snorkel.ai/leaderboard/terminal-bench-2-0/
• BrowseComp： https://leaderboard.steel.dev/leaderboards/browsecomp/ ，https://benchlm.ai/benchmarks/browsecomp ；OpenRouter 深搜基准综述 https://openrouter.ai/blog/announcements/web-search-benchmark/
• HLE： https://benchlm.ai/benchmarks/hle ，https://artificialanalysis.ai/evaluations/humanitys-last-exam
• LongMemEval-V2： https://arxiv.org/html/2605.12493v1 ，https://github.com/REAL-Lab-NU/LongMemEval-V2
• LoCoMo-Plus（ACL 2026）： https://aclanthology.org/2026.acl-long.1150.pdf
• 《From Recall to Forgetting》（ACL 2026 Findings）： https://aclanthology.org/2026.findings-acl.1337.pdf
• EvoMemBench： https://arxiv.org/html/2605.18421
• STATE-Bench 及同类横评： https://andrew.ooo/answers/state-bench-vs-locomo-vs-longmemeval-may-2026/
• LifelongAgentBench： https://arxiv.org/pdf/2505.11942 ，https://github.com/qianlima-lab/awesome-lifelong-llm-agent
• LoCoBench-Agent： https://github.com/SalesforceAIResearch/LoCoBench-Agent ，https://www.emergentmind.com/papers/2511.13998
• VibeLifeBench： https://arxiv.org/html/2608.10875 ，https://github.com/evolvent-ai/VibeLifeBench
• CoffeeBench（Sakana AI）： https://pub.sakana.ai/coffeebench/
• WildClawBench： https://arxivtldr.org/abs/2605.10912 （原始 arXiv 2605.10912）
• WebArena 排行： https://leaderboard.steel.dev/leaderboards/webarena/
• τ²-bench： https://pricepertoken.com/leaderboards/benchmark/tau2

阿里 AgentWorld 查证 与 2026 课题八分类

AgentWorld 专项核查 与 长程智能体课题分布调研

调研日期：2026-08-26。检索工具：WebSearch / Exa / GitHub 仓库检索 / arXiv 页面抓取。 所有论文条目均给出可查证的 arXiv 号或会议链接；查不到的信息明确标注。

第一部分：阿里 AgentWorld 核查结论

1.1 结论先行：确实存在，且与"没开源、用内部数据"的猜测相反

AgentWorld 真实存在，全称 Qwen-AgentWorld，由阿里巴巴通义 Qwen 团队（QwenLM）出品，性质上是语言世界模型（Language World Model, LWM）+ 配套评测基准，而不是一个"评测平台"或"闭源榜单服务"。

一句话纠偏：模型权重和 benchmark 都开了（Apache 2.0），只有训练用的千万级轨迹数据没放出来。 所以"没开源"的说法不成立，更准确的表述是"开源了模型与评测、未开源训练轨迹语料"。另外它也不是达摩院出品，归属是 QwenLM（阿里云 Qwen 团队）。

1.2 它到底评测什么

严格说 AgentWorld 评的是"世界模型的下一状态预测质量"，不是 agent 的任务成功率：

• 预测目标：给定 (交互历史 o≤t, 动作 a≤t)，输出环境下一步观测 ô_{t+1} = f_θ(c, o≤t, a≤t)。
• 七域统一：文本类 4 个 —— MCP、Search、Terminal、SWE；GUI 类 3 个 —— Web、OS、Android。GUI 不用像素帧，而是用 accessibility tree XML / HTML / UI view hierarchy 这类"可渲染代码"，从而能用纯文本建模视觉环境。
• 训练配方："CPT injects → SFT activates → RL sharpens"。CPT 注入环境动力学+行业知识语料（工业控制、网安、法律、医疗、金融、时事）；SFT 激活显式的 next-state-prediction 推理链；RL 用 GSPO 加混合奖励（LLM judge 多维打分 + 规则校验器）。三阶段在 35B-A3B 上整体 +8.66 分（47.73 → 56.39）。
• AgentWorldBench 构成：取 5 个前沿模型在 9 个既有基准（含 Tool Decathlon、Terminal-Bench 1.0 & 2.0、OSWorld-Verified 等）上的真实轨迹构建，每个样本都配有一条来自真实执行的 ground-truth 观测，用于 reference-grounded 打分。
• 五维打分：Format / Factuality / Consistency / Realism / Quality（开放式 rubric + LLM judge，judge 经判别式标定）。
• 成绩：Qwen-AgentWorld-397B-A17B 在 AgentWorldBench 总分 58.71，高于 GPT-5.4、Claude Opus 4.8、Gemini 3.1 Pro；35B-A3B 档位则超过 Claude Sonnet 4.6（56.04 vs 56.04±ε 区间内的对比）。

1.3 与长程智能体的关系（这是它的真正卖点）

论文给出两条把世界模型接到长程智能体上的路径：

1. 解耦模拟器路线（Sim RL）：用 LWM 替代真实沙箱做 agent RL。agent 出动作 → 世界模型预测下一个观测 → 从模拟 rollout 里学习。优势是无需沙箱/GUI 虚拟机农场即可做到 turn 级环境扩展，并且可以注入真实环境给不了的扰动（低磁盘空间、部分返回等 edge case）。实测：注入定向扰动后 MCPMark 从 24.6 → 33.8；agent 在纯虚构搜索世界里训练后迁移到真实搜索任务，WideSearch F1 Item 从 34.02 → 50.31。文中还演示了用 397B 版在 4000 个 OOD OpenClaw 环境上跑 Sim RL 的"可泛化环境扩展"。
2. 统一智能体基座路线（warm-up 迁移）：只让模型学世界建模（甚至只用单轮、无工具调用的轨迹做 LWM RL），不再做任何 agent 微调，直接迁移到多轮 tool-calling 任务。跨域增益显著：Claw-Eval +11.3、QwenClawBench +9.7、BFCL-v4 +9.0（62.29 → 71.25），覆盖 7 个基准中 3 个完全 out-of-domain。作者据此主张 next-state prediction 是一种 meta-reasoning warm-up。

对这个领域的含义：它把"长程 RL 卡在环境吞吐和可控性上"这个瓶颈，换成了"卡在世界模型保真度上"，是 2026 年里把 model-based RL 思路重新搬回 agent 训练的代表工作。

1.4 防止张冠李戴的同名/近名工作

以下几项名字相近但都不是"阿里的 AgentWorld"，引用时要注意区分：

GitHub 上以 "AgentWorld" 命名的仓库共 92 个，绝大多数是个人玩具工程，与阿里无关。权威指向只有 QwenLM/Qwen-AgentWorld 一个组织级仓库。

1.5 阿里系其他相关工作（如果用户找的不是 AgentWorld）

为避免漏掉用户可能真正想问的东西，阿里系还活跃着这些 agent 相关工作： - AgentGym-RL（arXiv:2509.08755）：复旦与合作方的长程多轮 RL 训练框架，非阿里但常被混为一谈； - Qwen-Agent / ModelScope Agentscope 生态：框架层，不是 benchmark； - WebWorld（见上表）：单域世界模型前身； - 百炼平台自带的"应用自动评测"功能（help.aliyun.com 产品文档）：这是商用评测服务，不是学术 benchmark。

第二部分：2025-2026 长程智能体课题分布

2.0 参照系：一篇把整个领域切好的综述

核查中发现一篇极有用的锚点文献（本目录下另有单独调研）：《The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents》（arXiv:2608.06663，2026-08-07 提交，Chen/Wang/Qu，39 页），系统收割了 1547 篇 2024-2026 arXiv 论文。它的核心贡献有三个：

1. 拆掉三个被滥用的概念：long-horizon 是任务属性（需要多少步）、long-context 是模型属性（能同时注意多少 token）、long-term memory 是系统属性（信息能否跨步/跨会话存续）。三者逻辑独立。
2. 六分类沿任务生命周期排布：planning and decomposition / memory and context management / execution control and recovery / training for long horizons / evaluation and measurement / foundations, limits and safety。
3. 全领域共同的病灶：只要 horizon 变长，outcome-only 奖励信号就变得没信息量，于是整个领域都在人为制造更密的 step-level 信号（process reward models、credit assignment、trajectory-level diagnostics）。它点名的开放问题：如何分解"模型能力 vs harness 能力"、过程级信号同时用于训练和评测带来的相关性偏差、长程可靠性是否存在普适预测理论。

下面的八分类在这套骨架上细化而成，并补充了它在安全线上的缺口。

① 记忆与经验积累（Memory & Experience Accumulation）

要解决什么：agent 完成任务后下一单还是从零开始；把原始轨迹直接塞进上下文既贵又有噪声传导。核心是"存储 → 反思 → 抽象成经验"这条演化链。

代表工作： - Memento（arXiv:2508.16153）：免梯度微调的 M-MDP 形式化 + 神经案例选择策略，GAIA validation top-1（87.88% Pass@3），OOD 任务上 case-based memory 带 +4.7~9.6 个绝对点。 - Memento 2（arXiv:2512.22716）：stateful reflective memory 续作。 - ReasoningBank（Google research blog + openreview）：不只存成功案例，也提炼失败教训为可复用推理策略条目。 - ICRL/ICLR 2026 批次：MemSkill（arXiv:2602.02474，学会并演化"记忆技能"）、SimpleMem（ICLR 2026）、Ask Only When Needed（arXiv:2604.20572，主动决定何时检索记忆/技能）、Benchmarking Continual Agent Memory for Online Learning, Transfer, and Forgetting（ICLR 2026）。 - 综述扎堆（说明此方向已成熟到需要整理）：From Storage to Experience（arXiv:2605.06716，配套持续更新 repo FeishuLuo/Evolving-LLM-Agent-Memory-Survey）、Memory in the LLM Era（arXiv:2604.01707，带 benchmark）、A Survey of Agent Memory in the Second Half（arXiv:2602.06052）、Memory for Autonomous LLM Agents（arXiv:2603.07670，ACL 2026 Findings）、LLM Agent Memory 统一表示-管理视角（preprints202603.0359）。

现状到哪了：条目级/案例级记忆已被反复证明有效且便宜（不需要动参数）；"存储→反思→经验"三阶段框架已是社区共识。前沿已推进到跨会话持续学习 + 主动遗忘的评测刚起步，尚无公认基准；ICLR 2026 专门办了 Memory for LLM-Based Agentic Systems (MemAgents) workshop。

② 技能/工作流学习与自我进化（Skill & Workflow Learning, Self-Evolution）

要解决什么：记忆是"知道做过什么"，技能库是"会怎么做"。把重复成功轨迹抽象成可检索、可组合、可继承的程序化单元，让 agent 在参数不动的情况下越用越强。

代表工作： - AWM / Agent Workflow Memory（ICML 2025，PMLR v267 wang25bx；arXiv:2409.07429）：从轨迹抽 workflow 并按相似度归纳通用层，是这个子方向的奠基作。 - SkillWeaver（arXiv:2504.07079，OSU-NLP）：agent 自主探索网站 → 练习 → 把经验蒸馏成 Playwright Python API；WebArena 相对提升 31.8%，真实网站 39.8%，强 agent 合成的 API 可迁移给弱 agent（最高 +54.3%）。 - ICLR 2026 workshop 批次：SkillRL（arXiv:2602.08234，Recursive Skill-Augmented RL，ALFWorld/WebShop 超 baseline 14%）、AutoSkill（arXiv:2603.01145，Experience-Driven Lifelong Learning via Skill Self-Evolution）、Memento-Skills: Let Agents Design Agents（arXiv:2603.18743，配套 skills.memento.run）。

现状到哪了：整个领域最拥挤的方向。"skill library + retrieval + evolution" 三件套已经高度模板化，ALFWorld / WebShop 反复被当作验证场，方法之间差异越来越小；创新点已经内卷到"谁来决定何时检索"（Ask Only When Needed）、"能否自己生成自己的技能生成器"（Memento-Skills）这种二阶元层面。

③ 长程 RL 训练与环境扩展（Long-Horizon RL Training & Environment Scaling）

要解决什么：单轮 RL（GRPO 在数学题上那套）放到多轮长程任务上直接失效——信用分配跨几十步、环境吞吐瓶颈大、交互不可逆或昂贵。今年主战场是把 RL 从"答一道题"扩到"做完一件事"。

代表工作： - AgentGym-RL（arXiv:2509.08755，项目页 agentgym-rl.github.io）：长程多轮 RL 训练框架 + ScalingInter-RL 课程（先探索后利用逐步拉长 horizon）。 - GEM: A Gym for Agentic LLMs（arXiv:2510.01051，NeurIPS 榜单/Gym for Agentic LLMs，repo axon-rl/gem）：对标 OpenAI-Gym 的标准化 environment-agent 接口，异步向量化执行、wrappers 可扩展、24 个环境的 ReBN baselines；其关键论点是 GRPO 不兼容稠密 per-turn 奖励的全 RL 设定，credit assignment 更差，为此提出 ReBN 做 PPO/GRPO/REINFORCE 的公平对齐实验。 - THUDM AgentRL（repo THUDM/AgentRL）：大规模多环境 agent RL 基础设施。 - Salesforce UserRL（repo SalesforceAIResearch/UserRL）：以用户为中心的交互式 RL。 - Qwen-AgentWorld 的 Sim RL（第一部分详述）：用世界模型替代真实环境来扩展 RL 数据供给，是 2026 年新出现的第四条路径（前三条：真环境多轮 RL、沙箱并行、合成课程）。

现状到哪了：基础设施基本补齐（有 Gym 有课程有多环境复现），竞争焦点已转向信用分配算法本身（GRPO 的局限被公开点名）和环境多样性/可控性。这一方向依然有效但不新颖——讲环境、讲稳定性的边际收益正在下降。

④ 上下文与注意力管理（Context Management over Long Rollouts）

要解决什么：长轨迹先撑爆窗口再谈别的。早期方案是被动摘要，今年的质变是把"何时压、压什么、怎么压"本身变成可学的动作并与 RL 联合优化。

代表工作： - CompactionRL（arXiv:2607.05378）：jointly optimizes task execution 和 summary generation，token-level loss normalization + cross-trajectory GAE；GLM-4.5-Air (106B-A30B) 到 SWE-bench Verified 66.8% (+7.0)、Terminal-Bench 2.0 24.5% (+3.1)；已用于 GLM-5.2 (750B-A40B) 的正式 RL 训练管线。 - ACM: Agentic Context Management for Long Horizon Tasks（arXiv:2607.23809）。 - HyMem: Hierarchical Context Management via Information Isolation（arXiv:2608.15703）。 - 其他：Acon（arXiv:2510.00615）、Beyond the Context Window: End-to-end Optimized Context Compression（ACL 2026 long.966）、PACE: Predictive Adaptive Context Extraction（ACL 2026 long.1252）、Self-Sum: 让 agent 自己决定何时及总结什么（ACL 2026 Findings .447）、Parallel Context Compaction for Long-Horizon LLM Agent Serving（arXiv:2605.23296，从 serving 侧切入）、Toward Reliable Context Compression（arXiv:2608.06503）、COMPASS（ACL 2026 long.152）。

现状到哪了：2026 年上半年新爆点，增速最快的赛道之一。共识已从"规则触发 + 摘要"走向"模型自主学习 compaction 策略"；工业落地证据已经出现（CompactionRL 进了 GLM-5.2 训练管线）。短板在于压缩损失了什么目前只能靠下游指标间接衡量，缺少直接的"信息保全度"度量。

⑤ 评估与 Benchmark（Evaluation & Measurement）

要解决什么：最终成功率/Pass@1 对长任务没有区分度，也看不到部分进度；需要 dense reward、partial credit、以及能把 harness 的影响从模型能力里剥出来的评测法。

代表工作： - Long-Horizon-Terminal-Bench（arXiv:2607.08964）：46 个长程终端任务（9 类：实验复现/SWE/多模态分析/交互游戏/科学计算），拆成细粒度子任务给 partial reward；实测 15 个前沿模型平均每任务吃 990 万 token、231 个 episode、85.3 分钟，最强模型在 0.95 阈值下也只有 15.2% pass@1（1.0 阈值 10.9%），全体均值仅 4.3%/1.7%。 - AgentWorldBench（阿里，见第一部分）：另辟蹊径，评的对象不是 agent 而是"agent 环境的世界模型"，用 5 维 rubric 对齐真实执行。 - MettleBench（随 AgentRewind 提出，见⑦）：评 checklist 部分进度而非二元成败。 - Benchmarking Continual Agent Memory for Online Learning, Transfer, and Forgetting（ICLR 2026）：把"遗忘"变成可测轴。

现状到哪了：范式切换已经完成——从"能不能做成"到"做到了几分"。数据量级也从"几十步、几千 token"推到了"百万 token、小时级"。但 The Horizon Gap 点出的两个测量难题还没人真正解决：model vs harness 能力分解，以及过程级信号同时当训练信号和评测尺度的相关性偏差（用它训练再用它评测等于作弊）。

⑥ 多智能体长程协作（Multi-Agent Long-Horizon Collaboration）

要解决什么：单体 agent 处理不了超长任务时的两条出路之一——把 horizon 切给一个团队。问题是静态拓扑随任务复杂度和人数增长会失效，协调开销反而放大错误。

代表工作： - Multi-Agent Collaboration via Evolving Orchestration（NeurIPS 2025，repo OpenBMB/ChatDev/tree/puppeteer）：puppeteer 式范式——中央 orchestrator 由 RL 训练动态调度 agents，性能更好且算力更低；分析发现改进源于涌现出更紧凑的循环推理结构。 - OWL: Optimized Workforce Learning（NeurIPS 2025）：把 agent 团队当成"劳动力"去优化分工。 - AgentFugue: Agent Scaling for Long-Horizon Tasks through Collective Reasoning（arXiv:2605.24486）：以集体推理实现 agent 数量的扩展。 - AdaptOrch（arXiv:2602.16873）：在 LLM 性能趋同的前提下做 task-adaptive 编排。 - COMPASS（ACL 2026 long.152）：演化上下文增强长程推理。

现状到哪了：从"手写 CrewAI 式静态 DAG"升级到"RL 训练的自适应编排器"是今年的主线跃迁；证据集中在结构紧凑化和成本下降。但几乎没有工作回答"编排器自身的错误如何在长任务里累积"，这条线和⑦是断开的。

⑦ 错误恢复与自我修正（Error Recovery & Self-Correction）

要解决什么：The Horizon Gap 的统计直觉——即便单步出错概率很低，失败概率也随轨迹长度指数增长；事前规划和事中安检都不能救已经发生的错。因此需要 checkpoint 回滚 + 换个思路重试的能力。

代表工作： - AgentRewind: Recoverable Execution for Long-Horizon LLM Agents（arXiv:2608.14380）：记录 agent context 与受控环境状态的对齐 checkpoints，允许回到较早状态并携带先前尝试的信息续跑；提出 MettleBench 评任务完成率 + checklist 进度，在多模型多 harness 上均超基线。 - Breaking the No-Recovery Bottleneck in Long-Horizon Agents（arXiv:2603.06870）——直接把这个瓶颈写成标题。 - Where LLM Agents Fail and How They can Learn From Failures（arXiv:2509.25370）：失败模式诊断学。 - PALADIN: Self-Correcting Language Model Agents to Cure...（arXiv:2509.25238）。 - Failure Makes the Agent Stronger（arXiv:2509.18847）。 - Generator-Assistant Stepwise Rollback Framework（EMNLP 2025 main.892）。 - Dependency-Guided Rollback Repair for Memory-Augmented Agents（arXiv:2608.10502）：专修"坏记忆污染后续行为"这类依赖链错误。 - Latent Phase-Shift Rollback（arXiv:2604.18567）：残差流监控 + KV-Cache steering，把纠错下沉到激活层面。 - Leveraging Trajectory Graphs for Pre-Execution Error Diagnosis（arXiv:2607.27443）。

现状到哪了：叙事转变最清晰的一类。评价体系里第一次有了"断言半成品已完成"、"丢失早期决策"这类具体失败模式的官方命名与度量。技术上形成了 runtime checkpoint + rollback 的一致做法，但仍有明显空档——特别是"记忆/技能库本身出了错怎么修"（只有 Dependency-Guided 一篇触及）。

⑧ 安全、漂移与无人值守运行（Safety, Drift & Unattended Operation）

要解决什么：agent 长时间自治运行时会静默偏离给定目标、幻觉操作、产生 reward hacking；这些问题在小任务上不可见，一旦超过数小时就致命。

代表工作： - Evaluating Goal Drift in Language Model Agents（arXiv:2505.02709）：首次系统性技术报告定义 goal drift。 - Inherited Goal Drift: Contextual Pressure Can Undermine Agentic Goals（arXiv:2603.03258）：漂移可以被上下文"传染"。 - Operational Hallucination and Safety Drift in AI Agents（arXiv:2607.18366）。 - A survey of reward hacking in agentic large language model systems（Discover AI, Springer 2026，DOI s44163-026-01980-z）+ Reward Hacking in LM Agents: Revisiting AI Safety Gridworlds（arXiv:2606.15385）+ Anthropic 关于生产环境中 reward hacking 导致 emergent misalignment 的报告。 - OpenAI: Safety and alignment in an era of long-horizon models：实验室立场文。 - The Horizon Gap 把 "foundations, limits and safety of running agents unattended" 列为第六大类，但自我承认这是"badly under-covered theory/safety category"，靠定向补充才凑齐文献。

现状到哪了：这可能是八个方向里最薄弱的。现状是"测量多于修复"——goal drift 能测了，但没有什么可部署的防护机制；reward hacking 更多停留在现象刻画和 gridworld 重现，缺少针对真实长程任务的干预手段；跨机构术语都没统一（drift / misalignment / hacking 各说各话）。

2.x 附注：还差哪些没被以上任何一类覆盖

• 跨方向的桥接几乎没人做：比如⑦的错误恢复机制回写进①的记忆系统，或者⑥的多智能体编排器具备自我修正能力，都是空白。
• 理论侧长期缺席：是否有关于"长程可靠性"的可预测规律（什么时候必然失败）没有任何一篇定性。
• 训练/评测信号的循环偏差（Horizon Gap 点名）目前无解决方案。

关键链接速查

查新报告：记忆库运维方向的占坑详情

记忆库运维(运行期健康维护)查新报告

查新日期:2026-08-26 查新范围:arXiv(cs.AI/cs.CL/cs.LG)+ 顶会(ICLR/ACL/ICML/AIES)+ 工业系统文档与 GitHub issue 工具:WebSearch(Web)、Exa 语义检索(arXiv HTML 全文索引)交叉检索

0. 总体结论

空白不成立(已被占坑,且占得很密)。 用户设想的切入点——"智能体持久记忆/经验库的运行期健康维护:条目过期(staleness)检测、矛盾(inconsistency)检测、失效/撤销、修复、回滚"——四个子问题都已有直接对应工作,其中多个工作连术语都对上了(stale memory revocation、memory pollution、supersession、invalidation、rollback/recovery)。时间分布高度集中在 2026 年 2 月–8 月(arXiv 号 2603–2608),即最近半年内爆发,这正是"上季度还看起来空着、本季度被填满"的典型撞车形态。

主题密度一览:

1. 任务一:逐角度检索结果(按威胁度排序)

1.1 直接威胁(机制论文,与用户设想几乎同构)

① TEPA: Revoking Stale Memories for Conflict-Robust Language Agents — arXiv:2608.07429(2026-08-07) 威胁度 ★★★★★(最高,一字不差地覆盖了用户的核心主张) - 定义 failure mode 为 memory pollution:"degradation caused by active memories that newer conflicting evidence has superseded"。 - 核心主张:"persistent memory should track validity alongside relevance""persistent memory needs an explicit validity state"——把"有效性"做成条目的显式生命周期状态(Hypothesis / Active / Revoked),新证据在同 key 上矛盾时撤销旧条目出检索集,保留归档供审计(audit),并支持后续 re-promotion。 - 附 TEPA-Full 变体:可执行验证环境下写入前先试跑(promotion gate)= 用户说的"修复前的验证"。 - 实验:append-only 与 last-write-wins 在状态反转期掉到 no-memory 之下(0.210 vs 0.309),TEPA 0.950;MemoryAgentBench SH-6k 上验证。 - 关键定位句(可直接引用为"该位置已被声明"):"Our work studies the complementary operation that these systems leave comparatively implicit: deactivating a previously useful memory after newer conflicting evidence supersedes it."

② STALE: Can LLM Agents Know When Their Memories Are No Longer Valid? — arXiv:2605.06527(2026-05-07) 威胁度 ★★★★★(benchmark + prototype 双杀) - 400 个专家校验冲突场景、1200 queries、150K tokens 上下文,三维探测(State Resolution / Premise Resistance / Implicit Policy Adaptation)。 - 发现隐式冲突(implicit conflict)是新失败模式;最优 frontier 模型仅 55.2%。 - 提出 CUPMEM 原型:write-side state adjudication,LLM 裁决器对旧条目判 KEEP/STALE/REPLACE/UNKNOWN,带 propagation-aware search(一个槽位变化会级联检索受影响的其他槽位=级联失效),只有裁决通过的条目才进入 prompt。基线 8.7% → CUPMEM 68.0%。 - 其 future work 自己留的口子:multi-step cascading updates、coupled attribute changes、schema-free open-domain evaluation。

③ TARL: Transaction-Aware Reliable Ledgers for Executable Memory Management in Long-Term Agents — arXiv:2608.03699(2026-08) 威胁度 ★★★★★(五动作运维算子 + 自建 benchmark) - 论点:现有系统的 Write/Hold 二分不够,提出 append / noop / revise / reject_conflict / defer_verify 五个可执行动作 + accepted/pending/rejected 三账本,训练模型比较不同更新操作产生的记忆状态来选动作。 - 指标直接叫 memory pollution、cumulative corruption、conflict preservation;自建 TARL-Mem benchmark(fine-grained action labels + next-state targets)。 - 这占据了"运维算子词汇表 + 运维基准"的位置。

④ MemTxn: A Transaction Boundary for Source-Supported Updates and Complete-State Recovery in Agent Memory — arXiv:2607.27834(2026-07) 威胁度 ★★★★☆(精确占据"回滚/恢复"位) - 显式处理三件事:写入前的 source-support 校验(Ordered PatchTest)、冲突时选可见版本(Temporal Resolver)、故障后完整恢复应用可见状态(durable snapshot journal + preimage 恢复)。 - 这就是用户说的"检测、失效、回滚"中的回滚,已做出 transaction 边界并在 LongMemEval-S/LoCoMo/MemoryAgentBench FactConsolidation 上刷满 12 个 backbone 配置的最高 F1。

⑤ MemStrata: Temporal Validity in Retrieval Memory / Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge — arXiv:2606.26511(2026-06) 威胁度 ★★★★☆ - 证明相似度无法区分"矛盾"和"复述"(AUROC 0.59),staleness 检测必须结构化:确定性 (subject, relation, object) supersession 规则 + bi-temporal ledger,无 LLM 读路径。 - 提出 stale-fact-error 这一失败类(RAG 被迫作答时 15–40% 返回过期值→~0%),并提出 marker-free 评测不变量(防基准污染)——评测方法论也被占了。 - 场景是演化知识库(代码变更、配置迁移、依赖升级、API 演化),贴近工程世界变化。

⑥ EvoGraph-Mem: Failure-Aware Editable Graph Memory for Long-Term Language Agents — arXiv:2608.11248(2026-08) 威胁度 ★★★★☆(对"经验库"这条线威胁最大) - 直接研究 insight-level memory maintenance:每条 insight 记录 positive evidence / negative evidence / activation state,任务后 graph controller 执行 KEEP / ARCHIVE / REVISE / ADD。 - 明确反对 append-only("append-only memory is insufficient for long-horizon tasks"),将"长期记忆从被动积累转向 corrective maintenance"作为结语主张。PDDL/HotpotQA/FEVER 上超代表性 memory-agent 基线。

1.2 形式化/系统契约占坑(把"一致性"做成可证性质)

⑦ TOKI: Bitemporal Operator Algebra for Contradiction Resolution in LLM-Agent Persistent Memory — arXiv:2606.06240 把写时矛盾裁决建模为并发控制,四类生产启发式(LWW/evidence-weighted/await-confirmation/per-rule policy)统一为双时态算子族,给三条 soundness 定理,定义三种 LLM-judge 特有异常(replay inconsistency / belief-drift skew / audit erasure),对 mem0 v2/v3、Graphiti、Letta、Zep、MIRIX 等 8 个系统做判决矩阵:没有任何 baseline 能同时排除三者。附 GitHub 工程 artifact。

⑧ GPM: Governed Persistent Memory — Source-Bound State Semantics and Fail-Closed Release — arXiv:2608.12476 五条可执行条款:ledger 完整性、source binding、conflict isolation、retraction/deletion 后不可复活(non-revival)、fresh view 上的 exact claim closure,fail-closed 发布边界。同一批还提到 StateFuse、MemIR、MemoRepair(withdraws and selectively rebuilds provenance-linked descendants after invalidation)等 2026 并行系统——说明该赛道已有家族式产出。

⑨ PlaceMem: Toward a Compute-Aware Memory Plane for Lifelong Agents — arXiv:2607.04089 versioned memory capsule + cascading invalidation:事实更正后把派生的 summary/index/graph fact/KV cache 全部连锁失效,并把 post-correction stale-hit 作为一等指标。

⑩ Infini Memory: Maintainable Topic Documents for Long-Term LLM Agent Memory — arXiv:2606.10677 把记忆维护(lifecycle maintenance)列为三大操作之一(写/维护/读),主题文档内含 supersede 关系、buffer+定期 consolidation。

⑪ Zep/Graphiti(2501.13956,2025-01,工业系统) — bi-temporal 四时间戳(valid_at/invalid_at/created_at/expired_at)+ temporal edge invalidation:LLM 比对新边与语义相关旧边发现时间重叠矛盾时自动置 invalid_at,保留历史不删除。工业界已内建失效机制,motivation 不能再说"现有系统都不管过期"。

⑫ Proactive Memory Agent: Remember When It Matters — arXiv:2607.08716(2026-07) 独立 memory agent 随行于 action agent,Phase 1 通过 memory_update_status / memory_save_knowledge / memory_save_procedural / memory_delete 工具调用运行期维护记忆库,Phase 2 决定是否注入提醒(Terminal-Bench 2.0 / τ²-Bench,+8.3/+6.8 pp)。这是唯一触及"主动巡检调度"的工作,但维护对象是当前任务的执行状态,不是跨任务经验库健康。

1.3 belief revision / 理论线

• Kumiho(2603.17244):把 AGM belief revision 公设映射到图原生记忆操作(immutable revisions、Supersedes 链、tag 移动实现 belief rollback、AnalyzeImpact 定位下游待复查结论)。
• Nous(2606.22030):belief-based 记忆,surprise 驱动贝叶斯更新,reliability-conditional updating + poisoning defense;并列提及同期 BeliefMem(概率化存储每个候选事实,讨论 self-reinforcing error)。
• BeliefTrack/CBM(2605.30219):Contextual Belief Management 基准(Failed Stay/Update/Isolation),RL 减失败率 70.9%;更早还有 Belief-R(EMNLP 2024)、BeliefBank(EMNLP 2021,MaxSAT 修信念一致性)。
• 记忆中的教训:AGM/belief-revision 这个"借理论"的角度也已有人先做了。

1.4 记忆腐化的诊断类论文(可作为问题成立的证据,也说明热区)

• Useful Memories Become Faulty When Continuously Updated by LLMs — arXiv:2605.12978:持续 consolidation 使记忆效用先升后降甚至低于无记忆基线;GPT-5.4 从 ground-truth 解答压缩后在 ARC-AGI 上挂掉 54%;"faulty memory as a central open problem"。← 这是用户 motivation 最合适的实证引用,但也意味着"记忆会变坏"这个前提已被大声说出来。
• How Memory Management Impacts LLM Agents(ACL 2026 Long):experience-following property + error propagation(错误记忆自我复制放大),证明未来评测可当作免费的质量标签。
• On Safety Risks in Experience-Driven Self-Evolving Agents(ACL 2026 Findings):良性经验累积也会侵蚀安全边界。
• TraceRetain(2606.29178,ICML'26 Workshop):bounded retention/驱逐,噪声写入压力下量化 pollution。
• MemoryAgentBench(Hu et al., 2026)/ HaluMem / LongMemEval / LoCoMo / BeliefShift / TSM / MemoryArena / MemBench:基准层已饱和,连"marker-free 评测不变量"这种细节都有人提。

1.5 各建议搜索词的命中情况(逐条)

2. 任务二:现有记忆系统论文的 future-work 占位证据

用于论文 motivation 的可引证据(按强度排序):

1. ReasoningBank(Google, ICLR 2026, arXiv:2509.25140) — 最强。官方博客原话:"For simplicity, we directly append these to the ReasoningBank, leaving more sophisticated consolidation strategies for future work." 其 Limitations/Future Directions 明列:"Minimal Consolidation: Simply appends new memories; lacks sophisticated pruning or merging strategies" 与 "Memory Management: Develop automatic pruning, merging, and decay policies for scalable long-term deployment"。 ⚠️ 注意:这意味着引用它作为 motivation 时,审稿人会知道作者是自己明确说了 no——你也因此站在他们的 future work 上,必须与他们区分。

2. Memento(arXiv:2508.16153) — related work 直接点名行业病灶:"most systems keep adding cases without selective curation, leading to the classic swamping problem where retrieval costs outweigh utility";消融显示检索 K>4 就引入噪声,并写明 "Careful case selection and memory curation are thus crucial for continual learning"。(第三方的 Future Directions 归纳也把 "advanced curation and forgetting mechanisms" 列为扩展方向。)

3. TOKI(2606.06240)对部署系统的审计 — deployment scan finds isolation, contradiction, audit, and bitemporal vocabulary largely absent across widely deployed implementations;BeliefShift 在七个模型族上留下多达 42% 未解决的跨会话矛盾;TSM 靠分离对话时间与发生时间挽回 12.2 点。← 一整套现成的"现状很糟"引用链。

4. Mem0 生产仓库 Issue #4956(2026-04,open) — v3 单遍 ADD-only 抽取导致矛盾事实随时间累积、stale 事实照样被 top-k 检索出来;高赞评论:"memory systems improve recall, but they often do not preserve enough provenance to decide whether a fact is current, stale, superseded";修复 PR #4969(soft-supersede)仍在跟踪中。生产 bug 单 = 真实痛点最硬的证据。

5. TEPA 对既有系统的定性(2026-08) — "These works establish the value of persistent memory. Our work studies the complementary operation that these systems leave comparatively implicit: deactivating a previously useful memory…"(点名 Reflexion、MemoryBank、Generative Agents、ExpeL、SeCom、A-MEM、Mem0、MemoryOS)。← 该陈述已被 TEPA 发表,motivation 不再由用户新提出。

6. 反例(动机写作时须避坑):

7. ExpeL(2308.10144) 其实已有 insight 级维护雏形:ADD/EDIT/UPVOTE/DOWNVOTE + importance count,计数归零即删除——不能声称"从未有人维护过经验条目质量"。
8. AWM(2409.07429) 只增不删,其 limitation/future work 只谈动作空间与 grounding,确实没提 workflow 过期 ← 若聚焦 AWM/技能库线的 maintenance,gap 陈述仍可用,但需绕开 EvoGraph-Mem 与 ReMe。
9. ReMe(ACL 2026 Findings) 已做 procedural memory 的 utility-based 删除/修剪(BFCL-V3/AppWorld 新 SOTA),同样压在这条线上。

3. 任务三:备选线(goal drift 的 training-free 运行期检测与重锚定)查新

结论:从"测量"走到"修复/干预"这一步也已经有人迈出,而且不止一家;training-free 版本也被占。

• LivePlan(2608.06701,2026-08):确定性规则 Monitor(GRAPHECTORY/LANGUTORY 轨迹表示,零 LLM 调用)只负责发现问题,Advisor LLM 只在发现问题时给下一步纠正建议;支持 Blocking(直接拒绝该动作)与 Non-blocking(nudge) 两级干预。SWE-bench Verified/Pro 平均 +9.9pp,每例只多花 $0.08。← "decouple judging from advising" 的 training-free 干预架构已被提出。
• Graph-Based RL Drift Recovery(2608.14109,2026-08):五节点恢复图(drift 分类→操作枚举→风险评估→决策),判定 rollback_before_drift 或 escalate_human;AppWorld 上验证。其 future work 明确把"执行 inverse API 调用完成自动环境修复"留在下一步——环境侧的自动重锚定尚开口子。
• AgentTether(2607.06273):run-time repair 层,Critical Transition Graph 做 RCA,tool-return/text-response 双钩子 Check→Decide→Inject,cross-iteration Repair Memory,带 intent-drift 检测器。
• 测量侧已有成熟线:AIES 2025《Evaluating Goal Drift in LM Agents》(10 万 token 下 Claude 3.5 scaffolded 近乎完美但仍漂移)、2603.03258(conditioning-induced drift,instruction hierarchy 与抗漂移脱相关)、2607.18366(Safety Drift + Action-Aware Supervision Layer)、PEA(2604.23646,goal integrity 的密码学锚定)。
• 仍然开着的缝隙:①非代码域(软件工程外)的通用 training-free 重锚定;②跨 run/长周期的漂移(以上全部针对单次 run 内漂移,而非跨任务滚动数日后的系统性偏航);③drift 类型学 + 分型分级处置;④re-anchoring 之后的一致性验证。相比之下这条线比记忆运维宽松,但"从测量到干预"的新颖性溢价已经消失。

4. 残余缝隙汇总(如仍要做,只能做这些增量)

1. 主动周期性复验(proactive re-validation without contradiction trigger):所有已见机制都是事件驱动(新写入产生冲突 / 任务后反馈);没有人在"无新证据也定期巡检、按成本预算排程检查哪些条目"这个问题上占位。唯一近邻是 Proactive Memory Agent(单任务内)与 Mem0 博客提到的 TTL/decay(纯启发式、无验证)。
2. 经验/技能库 × 环境版本漂移的专用基准:EvoGraph-Mem 用静态环境(PDDL/HotpotQA/FEVER),STALE/MemoryAgentBench 是对话事实更新;没有"同一智能体面对环境 API/规则版本升级,度量经验条目失配率"的基准。
3. 统一的运维调度层(policy over maintenance ops):何时巡检、巡检什么、花多少预算、失效后回滚到哪个快照、何时重提升——目前全是单点机制(撤销/账本/事务/级联失效各管一段),没有把它组织成一个被评估的策略层。
4. 环境侧修复闭环:2608.14109 明确把 inverse-API 自动修复列为 future work(属 goal drift 线)。

若选题定在这里,卖点多半只剩第 1+2 或第 3 格的组合,属于改进型工作而非开创空白;投稿叙事必须以 TEPA/STALE/TARL/EvoGraph-Mem 为主要对比与引用对象,而不是把它们当不存在。

附录、原始文件索引

本报告由以下 Markdown 源文件自动组装（脚本 build_reports.py）；源文件更新后重跑脚本即可再生成：

• agent_papers_2026_主题概览.md
• 2608.10676.md
• 2608.11967.md
• 2608.15703.md
• 2608.15844.md
• 2608.14015.md
• 2608.16156.md
• 2608.11775.md
• 2608.06909.md
• 2608.09380.md
• 2608.10875.md
• webshop_alfworld_会议论文调研.md
• 长程智能体数据集benchmark全景.md
• AgentWorld与2026课题分布.md
• 记忆库运维查新报告.md