LONG-HORIZON AGENT · RESEARCH PLAN

研究建议:课题定稿与行动计划

课题定稿(跨运行目标漂移)· 实验栈与时间表 · CCF-A 投稿窗口 · 建议演变史  |  2026-08-26
定位
决策层文件——课题定稿、实验计划、投稿窗口与建议演变史。所有事实依据(论文列表、benchmark、查新详情)见配套文件《调研材料_论文与数据集全景》。
课题
跨运行的目标漂移(工作名 DriftBank):持久记忆库如何存储、放大目标漂移,以及 training-free 的检测与重锚定。三个已查新验证的残留缝隙的交集:goal drift 修复全部只在单 run 内 × 记忆库运维全部假设目标固定 × training-free 干预只在代码域走通。
方法路线
全协议层、零梯度零 GPU(run 边界检查点 + 条目 provenance + 重锚定协议)
数据
主战场 VibeLifeBench 开放 20 任务子集(1,483 静默变异);受控靶场 MemoryAgentBench SF/CR 切片;基线 Mem0 / A-MEM / Letta(archive-V1) / Memento
投稿
主目标 WWW 2027(abstract 10-18 / full 10-25,8.6 周);转投阶梯 IJCAI 2027 (~01-19) → ICML 2027 (~01-28) → ACL 2027(ARR 一月)。不冲 ICLR 2027(9-25,无预实验支撑)
关键节点
09-09 go/no-go:漂移复播因果量化不成立则同栈 pivot「跨 run 库一致性维护」

最终课题定稿:跨运行目标漂移

导读结论章,读完即可行动:课题表述、三条查新验证的缝隙交集、3+1 贡献点、数据组合与投稿目标、8.6 周时间表(含 09-09 go/no-go 决策点)、风险对策与 rebuttal 预案、本周三件事。

最终课题定稿:跨运行目标漂移(2026-08-26)

本文取代《研究切入点建议.md》中"Self-Auditing Experience"的推荐——查新证实该方向 2026 年 2-8 月已被重度占坑(TEPA/STALE/TARL/MemTxn/EvoGraph-Mem/ReMe,见《记忆库运维查新报告.md》)。本文基于:查新报告 + 会议日期核实(官网逐条确认)+ 实验栈可行性核查(含 7 天出表日程)。


一、课题(一句话)

跨运行的目标漂移:持久记忆库如何存储、放大目标漂移,以及如何在运行期以 training-free 方式检测与重锚定。

英文工作名(候选):DriftBank: Memory-Mediated Goal Drift in Long-Horizon Agents — Measurement and Training-Free Re-anchoring

二、为什么是这个(三条独立缝隙的交集,均已查新验证)

查新确认的三个残留缝隙,本课题恰好取交集:

缝隙 出处 现状
① goal drift 修复全部在单 run 内 LivePlan (2608.06701) / 图 RL (2608.14109) / AgentTether (2607.06273) 跨 run/长周期系统性漂移无人做,2608.14109 自己留作 future work
② 记忆库运维全部假设目标固定,且多为单会话语境 TEPA / STALE / TARL / MemTxn 它们只管"条目与世界失配",不管"条目与用户目标失配",更不管跨 run 传播
③ training-free 干预只在代码域走通 LivePlan(SWE-bench) 非代码域的通用 training-free 重锚定空白

核心科学假设(论文第一贡献 = 验证它):一次 run 中的目标漂移会被持久库(用户偏好条目、workflow、成功案例)固化,在后续 run 中被检索复播,使单次偶然漂移变成系统性偏离——库不仅是资产,也是漂移的存储器与放大器。

三、贡献点(3+1)

  1. 测量:定义 memory-mediated goal drift;在多 run 任务序列上量化"库内被污染条目的复播率 → 后续任务失败"的因果链(对标 VibeLifeBench 官方把 22.2% 失败归因于记账的做法,但镜头对准经验库的漂移复播)
  2. 探针 benchmark(小):STALE 配方——在任务序列中注入受控漂移事件(用户意图演化 / 世界静默变化 / 误导性成功),测各记忆系统的复播率与恢复时间(几百场景规模,注入式、可复现)
  3. Training-free 方法:run 边界"漂移检查点"协议——(a) 目标锚定摘要(每 run 固定锚,借 LivePlan 的 deterministic Monitor 思想搬到 run 边界);(b) 库条目 provenance + 目标一致性元数据(借 TEPA 的 validity 状态,但按"与用户目标一致性"而非"与世界一致性"裁决);(c) 检测到漂移时的重锚定:隔离/降权污染条目 + 重申原始目标。全协议层,零梯度、零 GPU
  4. 分析:维护开销 Pareto(检查点频率 × 准确率 × token 成本),回应"审计本身多贵"的必然审稿问题

四、数据集(已按复现成本核实)

角色 数据集 用途 复现
主战场 VibeLifeBench 开放 20 任务子集(1,483 个静默变异) 多周跨 run + 世界/意图演化的真实序列,方法主表 中(纯 mock 服务,离线确定式判分)
受控靶场 MemoryAgentBench(多 session 切片,SF/CR) 免判官 exact-match,诊断实验 + 消融最快出数 易(依赖最浅,注意 numpy<2 等依赖钉版)
扩展/备用 LifelongAgentBench 单环境子集 或 TheAgentCompany 通信类 20-30 任务 广度行,证明非单一环境有效 中/难(TAC 需专人背运维,可选)
基线系统 Mem0、A-MEM、Letta(archive-V1 钉版)、Memento(Agent-on-the-Fly/Memento) + 免费行 no-mem/RAG/full-ctx 被审计/被修复对象 Letta V1 已归档需钉分支;ExpeL/AWM 绑旧环境慎选

规避:不用 LongMemEval-V2 正式口径(锁自托管 Qwen3.5-9B + GPT-5.2 判官,无 GPU 只能非官方报数,rebuttal 必被问);STATE-Bench 正式提交锁 GPT-5.4 且强制 5 runs,只做非正式参考。

五、投稿目标(官网已核实日期)

主目标:WWW 2027(CCF-A,都柏林)——abstract 10-18 AoE,full 10-25 AoE,剩 8.6 周。 理由:① 8.6 周 = 6 周实验 + 2 周写作 + 1 周打磨,单人可行;② WWW 近两届有 Web Agents 议程/special track,agent+记忆+Web 任务最对口;③ 录用通知 2027-01-04,早于 IJCAI/ICML 投稿季,失败无缝转投。

为什么不冲 ICLR 2027(full 09-25,剩 4.3 周):课题 8 月底刚因查新转向,无预实验支撑;4.3 周完成"诊断验证+方法+写作"失败成本过高;摘要 09-18 即锁作者与 scope。若前两周进展神速且坚持冲刺,决策点最晚 09-11。

转投阶梯:WWW 2027 (10-25) → IJCAI 2027 (~01-19) → ICML 2027 (~01-28) → ACL 2027(ARR 一月周期)。CVPR(需视觉成分,契合中低)、KDD C2(~02 月)备选。AAAI 2027 / ICSE / FSE 2027 已过或需 SE 叙事,排除。

六、时间表(8.6 周,从明天起)

周 日期 里程碑
W1 08-27 ~ 09-02 MemoryAgentBench 跑通 + Mem0/A-MEM 基线 → 第一张诊断表;并行搭 VibeLifeBench 环境
W2 09-03 ~ 09-09 漂移注入探针 + 复播率→失败因果量化。go/no-go 决策点(09-09):假设不成立 → pivot"跨 run 库一致性维护"(同栈复用 ~90%)
W3-5 09-10 ~ 09-30 检查点协议方法实现 + MemoryAgentBench 主表 + 消融(锚定/元数据/重锚定三组件逐一去除)
W6 10-01 ~ 10-07 VibeLifeBench 主实验 + 维护开销 Pareto
W7-8 10-08 ~ 10-21 写作、打磨、内审
— 10-18 / 10-25 WWW 2027 abstract / full 提交

七、风险与对策

  1. VibeLifeBench 复现踩坑(2026-08 刚挂出)→ 保底组合:MemoryAgentBench 主表 + LifelongAgentBench 替换 VibeLifeBench
  2. 漂移构造的生态效度被质疑 → 双口径:注入式探针(可控)+ VibeLifeBench 真实意图演化(生态效度);引用 Mem0 生产 Issue #4956(ADD-only 矛盾累积、stale 条目照常 top-k 检索)作现实佐证
  3. 基线失修 → 全部钉版本、统一 harness 重跑、报告审计公平性声明;必要时缩为 Mem0 + A-MEM + Letta 三个
  4. 与 TEPA/STALE 的区分(rebuttal 预案)→ 它们:条目 vs 世界、单会话、目标固定;本文:条目 vs 用户目标、跨 run 传播与复播、检测+重锚定。related work 用你的 skill 生命周期框架做地图

八、立即可做的三件事

  1. 克隆 MemoryAgentBench + Mem0/A-MEM 仓库,钉版本,跑通 fact_mh/fact_sh + event_qa 的基线两行(A 线日程 D1-D2)
  2. 在任务序列上手工构造 3 个漂移复播案例(小样本定性验证故事成立,1-2 天)
  3. 读四篇必读:TEPA (2608.07429)、STALE (2605.06527)、LivePlan (2608.06701)、MemTxn (2607.27834)——related work 的四根桩

实验栈与复现成本(行动指南)

导读每个候选 benchmark 与基线系统的复现评级、开销估算与 7 天出第一张主表的具体日程(D1–D7)。硬结论:MemoryAgentBench + Mem0/A-MEM 纯 API 零 GPU 可冲刺;LongMemEval-V2 正式口径锁自托管模型;TheAgentCompany 不适合短周期。含 A 线(4 周)/ B 线(8–16 周)两条时间线组合。

实验栈可行性核查报告(benchmark 复现成本 + 基线系统可用性)

日期:2026-08-26。目的:为「智能体记忆库的运行期一致性维护/审计」课题选定最快出第一张主表的实验栈。 信息来源均为 arXiv 页面 / GitHub README / 官方博客原文(链接附后)。


一句话总览


任务一:Benchmark 复现成本逐项核查

1. LongMemEval-V2 (arXiv 2605.12493)

项 结论
归属勘误 UCLA(Di Wu, Kai-Wei Chang 组,xiaowu0162),不是 NUS
Repo https://github.com/xiaowu0162/LongMemEval-V2 ;数据 https://huggingface.co/datasets/xiaowu0162/longmemeval-v2 ;主页 https://xiaowu0162.github.io/longmemeval-v2/
规模 451 题(人工精标)、1,870 条轨迹(WebArena/WorkArena/WorkArena++)、5 种记忆能力、web+enterprise 两域;Small 档=共享 100 轨迹 haystack≈25M token,Medium 档=每题专属 500 轨迹、最大 115M token
评测脚本 现成且工程化程度高:evaluation/scripts/run_*.sh 六条命令覆盖全部官方基线,输出 aggregated_metrics.json,另有 leaderboard 打包脚本
插件接口 极佳:自定义记忆后端只需继承 memory_modules.memory.Memory 并实现 insert(trajectory) / query(query, query_image),加 @register_memory 注册 —— 我们的方法接入只需百行左右
官方基线 no_retrieval 1.3%;RAG(query→slice) ≈42%;RAG+notes ≈51%;AgentRunbook-R 58.6%(S)/57.0%(M);vanilla Codex 69.9%/68.7%;AgentRunbook-C 74.9%/70.1%(摘要口径:最强者平均 72.5%,最强 RAG 48.5%,vanilla coding agent 69.3%)
协议锁定 正式榜要求 reader 必须含 qwen3.5-9b、judge 必须为 gpt-5.2
依赖 Python 3.11 + torch cu124;vLLM 不随仓库提供,须自建 OpenAI 兼容服务托管 Qwen3.5-9B(reader+RAG controller)与 Qwen3-Embedding-8B;GPT-5.2 判官走 OPENAI_API_KEY;codex/agentrunbook_c 基线还需下载 Codex v0.117.0 二进制 + rg/find
451 题开销估算 Insert 端:把 small 档 haystack(两域合计约数十 M token)过一遍 embedding/controller;Query 端:每题回传 ≤200K token 交固定 reader,451 题 ≈ 至多 9000 万 prefill token。单卡 H100 vLLM 约每小时千万~两千万 prefill,reader/judge 一晚跑完;RAG 类一行约半天~1 天墙钟。Codex 系基线实测 177–186 s/题 → 串行 22h,可并行压到数小时
复现评级 中(有 GPU 3–5 天跑通第一条基线;无 GPU 需先租卡或改降级口径,7–10 天)
子集快评 支持:TIER=small、单域单独跑、questions 截取均可(正式榜提交才校验全集一致性)

2. LoCoMo-Plus (arXiv 2602.10715,ACL 2026 main long)

项 结论
Repo https://github.com/xjtuleeyf/Locomo-Plus ;ACL Anthology: https://aclanthology.org/2026.acl-long.1150/
与原版区别 在 LoCoMo 五类之上新增第六类 Cognitive:cue–trigger 语义断连,正确行为取决于早期隐含约束(用户目标/状态/价值观),并主张用「约束一致性」判分替代字符串匹配;判官打分 1 / 0.5 / 0
数据 随仓库发布(locomo_plus.json + locomo10.json,10 段长对话),无需外下载数据集
基线 论文已跑 backbone LLM、RAG 管线、A-Mem、Mem0 等记忆系统 → 数字可直接引用对照
依赖 openai + tqdm(生成侧另需 rank_bm25/sentence-transformers),配 OPENAI_API_KEY/OPENAI_BASE_URL 即跑
复现评级 易(1 天跑通全部六类的自己的基线行)
子集快评 数据本身就小;弱点正是样本量小,需 bootstrap CI / 多 seed 报告

3. MemoryAgentBench (arXiv 2507.05257,ICLR 2026)

项 结论
Repo https://github.com/HUST-AI-HYZ/MemoryAgentBench ;数据 https://huggingface.co/datasets/ai-hyz/MemoryAgentBench
作者 Yuanzhe Hu, Yu Wang, Julian McAuley(UCSD)
口径 四能力:Accurate Retrieval / Test-Time Learning / Long-Range Understanding / Selective Forgetting(Conflict Resolution);2,071 个实例、103K–1.44M token;把既有长文本切块成增量多轮「一次注入、多次提问」,显著省调用费
指标 大多为 exact match / substring match,几乎不需要 LLM 判官(仅 longmemeval 子集与 infbench_summarization 用 gpt-4o 判官)→ 便宜且可复现
内置基线 长上下文 agent、三类 RAG、以及 letta/cognee/hipporag 等 agentic memory 集成(论文还评了 MIRIX、MemGPT)
已知坑 依赖冲突明确写在 README:numpy<2;hipporag 2.0.0a3 要求 openai==1.58.1 需独立环境;letta/cognee 可能要先装再卸再装
复现评级 易~中(避开 hipporag/cognee,只用长上下文+RAG+自家记忆封装时,2–3 天出 AR/SF 两列数字)
子集快评 支持:按数据集配置文件任选切面(fact_mh/fact_sh/event_qa/ruler_qa/ICL 系列/recsys…),逐切片跑

与本课题契合点:SF/CR 切片(FactConsolidation 反事实改写序列,6K–262K)就是「存储内事实互相矛盾、谁覆盖谁」的受控实验场,是记忆库一致性审计最直接的靶场。

4. STATE-Bench (微软,2026-05-19 发布)

项 结论
Repo https://github.com/microsoft/STATE-Bench ;发布公告 https://opensource.microsoft.com/blog/2026/05/19/introducing-state-bench-a-benchmark-for-ai-agent-memory/
论文号 未见 arXiv 论文(截至 2026-08 只有官方博客 + GitHub release;引用需引 repo/blog)
设计 450 企业任务(travel/customer support/shopping 各 150);任务级沙箱数据库 + 领域工具 + 用户模拟器 + 确定性状态断言;指标 pass@1、pass^5(五次全成才计)、UX 打分、Cost/Task —— 直接度量「记忆是否提升任务成功与跨次一致性」
双轨制 Main Track 评 agent 本体;Agent Learning Track 提供 train trajectories + retrieve_learnings(top_k=3) 注入钩子(原 Memory Track),允许可插拔的记忆/skill/prompt 优化产物
基线 GPT-5.1 无记忆:总体不到一半任务可靠完成,travel 域 pass^5 仅约 30%
协议锁定 正式提交:GPT-5.4 锁定为模拟器+判官客户端、禁改 task/prompt/tool 文件、--num-runs 5
复现评级 易~中(部署轻,pip 安装即可起;贵在全量 450×5 次多轮对话的 API 费)
子集快评 支持(单域或按 task 子集 + 降 run 数做非官方口径,2–4 天出首条基线)

5. TheAgentCompany (CMU)

项 结论
Repo https://github.com/TheAgentCompany/TheAgentCompany ;实验记录 https://github.com/theagentcompany/experiments
部署重量 重:docker-compose 起 GitLab + Plane + ownCloud + RocketChat 全家桶(预置数据,30GB+ 磁盘;官方基线机为 EC2 t3.2xlarge);Mac/Windows 需开启 host networking,启动卡死需手工拉 Plane 配置
跑法 基于 OpenHands 的 run_eval.sh;175 个任务各自独立 Docker 镜像;每任务 /utils/init.sh 重置服务数据、健康检查最长约 10 分钟;评分脚本加密但有公开解密密钥,部分 grader 还需环境 LLM(LITELLM_* 配置)
时长估计 每 agent 任务墙钟约 30 分钟~数小时 → 全量 175 任务串行为一周级别,靠容器并行可压至 2–3 天,但服务稳定性抖动会吃掉收益
自动评分 有(checkpoint 式 rubric,部分需要 LLM 评分)
复现评级 难(搭环境→跑通首个基线 3–7 天,且以运维为主而非科研)
子集快评 支持任选任务镜像;建议只用 communication/document 类低交互任务构成 20–30 任务子集
与课题摩擦 任务间没有内置跨任务记忆连续性语义;要做「记忆库运维」需要在 harness 层自行构造持续经验流 → 额外工程量

6. VibeLifeBench (arXiv 2608.10875,小红书/EvolventAI)

项 结论
Repo 已放出:https://github.com/evolvent-ai/VibeLifeBench (2026-07-25)+ Terrarium 引擎 + HF https://huggingface.co/datasets/EvolventAI/Vibelifebench ;主页 https://vibebench.github.io/VibeLifeBench_homepage/
开放范围 开源 20 任务开放子集(10 域 ×2,489 stages、1247 atomic checks,中英双语、完全自包含);完整 200 任务未公开,可邮件让对方代跑
环境 22 个 mock 服务(MCP 形态、共 288 工具;21 个被子集引用),build_images.sh 一次构建约 10 分钟;Docker + Python 3.12 + uv;Terrarium 引擎 pin 在固定 commit,agent 固定 OpenClaw 2026.7.1 harness;全程离线、确定式(唯网络流量是模型端点)
运行成本 README 直言 20 任务全量是 "many hours of wall-clock",每个 trial 回放多周时间线(stages 事件流:user_message/mutation/notification/world/policy_update,其中 1,483 个静默变异无人通知),默认 attempts=4、timeout 14400s
基线 七个前沿模型全低分:最强 Claude Opus 5 avg@3=32.5、best-of-3=41.2;所有模型从时间线开头到结尾一致性衰减 10–15 分
License 服务实现 19/22 为 MIT(个别缺失);任务包本体 task-only release
复现评级 中(1–2 天搭好并冒烟跑单任务;接自定义记忆系统需包装 OpenClaw 工作区的记忆路径)
子集快评 一等公民:runner 显式支持 --tasks ID ...、--domains、--attempts N
与课题契合点 「世界在你不知情时变化」直接制造记忆陈旧/矛盾样本,评分又只读落盘的世界终态与工作区工件 —— 是天然的一致性压力测试台

任务二:被审计对象(基线系统)代码可用性

系统 Repo / License 维护状态 可复用性
Mem0 https://github.com/mem0ai/mem0 ,Apache-2.0,约 62.5k star 极活跃(monorepo,24 个 LLM 后端、30 个向量库) 最高:add/search/update/delete 接口干净;仓库自带 evaluation/ 目录含 LOCOMO 评测与 experiment runner,可整体搬用;另有 mem0ai/memory-benchmarks 评测套件
A-MEM 论文复现版 https://github.com/WujiangXu/AgenticMemory ;系统库版 https://github.com/agiresearch/A-mem 、https://github.com/WujiangXu/A-mem-sys (均 MIT,库版约 386–1152 star) NeurIPS 2025;低频维护但接口稳定 高:AgenticMemorySystem.add_note/search_agentic/update/delete + Zettelkasten 演化,pip 级接入,是被审计对象里最顺手的「结构化记忆+自动演化」代表
AWM https://github.com/zorazrw/agent-workflow-memory (CMU,arXiv 2409.07429);配套 https://github.com/zorazrw/workflow-induction-toolkit 2024 年科研代码,低维护;license 需进仓核对 中:WebArena/Mind2Web 管道绑定活环境不宜直跑;但 workflow-induction-toolkit 可单独借用,把它当「从成功/失败轨迹归纳可复用知识」的记忆写入器接到我们自己的轨迹流上,成本低得多
ExpeL https://github.com/LeapLabTHU/ExpeL (AAAI 2024 Oral) 2023–24 年代码,基本停更 中低:hydrBased train.py/insight_extraction.py 只绑 hotpotqa/alfworld/webshop/fever 四个旧环境;移植到 2026 对话记忆基准需重建数据适配层(约一周)。价值在于其 insight/经验管理的提示词与流程可直接借鉴
Memento https://github.com/Agent-on-the-Fly/Memento (镜像 Memento-Teams/Memento;arXiv 2508.16153)。勘误:不存在 “QwenLM/MMA” 这一仓库;Qwen 官方仅有 QwenLM/Qwen-Agent,Memento 出自 UCL Jun Wang 组(Agent-on-the-Fly) 2025.08 开源非参数 CBR、2025.10 开源参数化 retriever;仍有更新 中高:Case Bank 读写的非参数 CBR 路径开箱即用(planner GPT-4.1 + executor o4-mini/o3,MCP 工具层);移到对话记忆场景需替换其搜索/爬取工具层;GAIA val 87.88% Pass@3 可作强基线卖点
Letta (MemGPT) https://github.com/letta-ai/letta (现仅为 landing page),Apache-2.0,约 24.4k star;活跃开发已迁至 https://github.com/letta-ai/letta-code V1 server 已归档(archive 分支),明确声明不再修复;新栈是 TS 的 letta-code + Agent SDK(TS only)+ MemFS(git 版本化记忆 + dreaming) 中:复现经典 MemGPT/Letta 基线必须钉住 archive 分支或 PyPI letta 旧包,否则数字不可比;反过来 MemFS 的 git 化记忆是「天生可审计」的实现基底,可作为 B 线的一个方法论亮点而非单纯基线

任务三:两条时间线的推荐组合

A 线 · 4 周冲刺(目标 ICLR 2027,9 月下旬截稿)

原则:纯文本、纯 API、零 GPU、所有 cell 冻结同一 backbone(gpt-4o-mini 或同档国内可直连替代)。

角色 选择 理由
主 benchmark MemoryAgentBench ICLR'26 已接收、免判官 exact-match 指标、"一次注入多次提问"省费;SF/CR 切片(FactConsolidation 反事实改写)就是记忆一致性维护的受控靶场;依赖最浅
副 benchmark 1 LoCoMo-Plus(六类 + Cognitive 约束一致性判分) 一天接入,为「隐含约束在存储中失真」提供第二证据源;其论文表格直接给出 A-Mem/Mem0 可引用对照
副 benchmark 2 STATE-Bench Agent Learning Track 单域子集(如 travel 的 30–50 任务,num_runs=3 非官方口径) 补上「下游任务成功率 / pass^n 跨次一致性 / 成本」这一纵向维度;若能搞到 GPU 则改用 LongMemEval-V2-Small(单域起步),权威性更高
基线系统 Mem0 + A-MEM(必选);Letta(archive V1) 或 Memento(非参数 CBR) 二选一 前两者 pip 级接入、均是被广泛引用的对话记忆系统;Mem0 仓库自带 LOCOMO 评测脚手架可直接改造

第一张表怎么在一周内出来 - D1:跑通 MemoryAgentBench 的 fact_mh/fact_sh + event_qa 两列(长上下文行 + RAG 行)。 - D2:以同一口径接 Mem0、A-MEM,得到基线两行。 - D3–D4:LoCoMo-Plus 六类重算同一批系统(repo 数据即装即用)。 - D5:实现审计探针——在轨迹注入流上对每个系统做运行期诊断(矛盾条目率、陈旧条目率、写后覆盖冲突数、检索一致率),产出诊断列。 - D6:把诊断指标与 SF/CR 切片的准确率下降做相关/回归分析。 - D7:汇总 LaTeX 主表 + bootstrap 置信区间;同步留出消融钩子。

B 线 · 8–16 周从容(目标 WWW 2027 / ICML 2027)

原则:至少一张「大规模/活环境」的重头戏表 + 广度表 + 维护开销-精度权衡曲线。

角色 选择 理由
主 benchmark LongMemEval-V2(先 Small 后 Medium 两档) 451 题、25M/115M token 的规模权威性;insert/query 插件接口干净;精度-延迟 Pareto(LAFS)正好承载"维护开销换一致性收益"的论证
副 benchmark 1 VibeLifeBench 开放 20 任务子集 1,483 个静默世界变异 = 天然的一致性压力测试;确定式离线可审计的评分;中英双语利于叙事
副 benchmark 2 MemoryAgentBench 全集 用 SF/CR + TTL 全切面补广度,且可与 A 线结果复用
可选加强 STATE-Bench 全协议(GPT-5.4 × 5 runs);或 TheAgentCompany 通信/文档类 20–30 任务子集 仅在有一名工程人力专门背运维时上 TheAgentCompany
基线系统 Mem0、A-MEM、Letta(优先试新 MemFS/git 化记忆,或钉 archive V1)、Memento(CBR Case Bank)、AWM(借 workflow-induction-toolkit 做写入器) 外加 LME-V2 官方自带的 RAG / AgentRunbook-R / AgentRunbook-C / Codex 基线 —— 这几行是免费的
算力前提 ≥1 张 H100/A100 起自托管 Qwen3.5-9B + Qwen3-Embedding-8B 服务 没有就只能降到非官方口径

另注:LongMemEval-V1(500 题、115K–1.5M token、生态成熟)可作为 B 线的中档补充实验或 A/B 线之间的过渡验证点。

最大复现风险

  1. 协议锁模型 → 算力与预算门槛:LME-V2 正式口径要求自托管 Qwen3.5-9B(reader + RAG controller)+ Qwen3-Embedding-8B(vLLM 不在仓库依赖内,需自己起服务)+ GPT-5.2 判官,Codex 系基线还需 Codex v0.117.0 二进制;STATE-Bench 正式提交锁 GPT-5.4 且强制每任务 5 次。拿不出 ≥1 张 H100 级 GPU 或充足 API 预算,就只能以「非官方协议」报数,rebuttal 必然被问协议一致性。
  2. 被审计对象的版本漂移与科研代码失修:Letta V1 已归档不修(必须钉住 archive 分支才可比)、ExpeL/AWM 是 2023–24 年绑旧环境的代码需自建适配层、MemoryAgentBench 存在 hipporag(openai==1.58.1)/cognee/letta/numpy<2 的依赖地狱。若各基线不在同一个统一 harness 与同一 backbone 下重跑,「审计公平性」本身会被审稿人质疑。(B 线若再引入 TheAgentCompany,还要背上 30GB Docker 全家桶与服务脆弱性的额外运维风险。)

附:链接速查

2026 年末截稿的 CCF-A 投稿窗口

导读官网逐条核实的日期表与组合策略。ICLR 2027 全文 09-25(4.3 周,冲刺高风险);WWW 2027 全文 10-25(8.6 周,最优默认解);IJCAI/ICML/ACL 在 2027 年 1 月。AAAI/ICSE 已关闸。含 AoE 时区与每周复核提醒。

2026 年末–2027 年初截稿的 CCF-A 会议投稿窗口清单

调研日期:2026-08-26(所有"剩余周"以该日为基准) 用途:规划一篇 长程 LLM agent(含记忆机制) 方向论文的投稿窗口 核实方式:均优先采用会议官网 dates 页(已逐条标注来源);聚合站(myhuiban、wikicfp 等)仅作交叉参考,与官网冲突时以官网为准。 时区说明:ML 类多用 AoE(Anywhere on Earth, UTC-12),等于给北京时间多留约 16–20 小时缓冲;AAAI 用 UTC-12 同义。 CCF 等级依据:CCF 推荐国际学术会议目录(2022 版,最新现行版)。ICLR 目前未列入 CCF 目录,但国内多数高校/评奖实践中按 CCF-A 级对待(清华、多家企业榜单均列为 top-tier),下文按"视同 A(未正式入榜)"处理并明确标注。


一、总表(按全文截稿升序)

会议 摘要截稿 全文截稿 时区 距今 CCF 契合度
~~AAAI 2027~~ 2026-07-21 2026-07-28 UTC-12 已过 A (错过主赛道)
~~ICSE 2027~~(补充) 2026-06-23 2026-06-30 AoE 已过 A SE-agent 可改投姊妹会(见 FSE)
ICLR 2027 ⭐冲刺 2026-09-18(五) 2026-09-25(五) AoE 3.3 / 4.3 周 视同A* 高
FSE 2027(补充)⭐备选 无独立摘要截止(仅全文一次提交) 2026-10-02(五) AoE 5.3 周 A 中高
ARR 2026 十月周期→NAACL/COLING 2027 — 2026-10-12(一) AoE 6.7 周 NAACL=C / COLING=B 中高(备胎,非A)
WWW 2027 ⭐从容首选 2026-10-18(日) 2026-10-25(日) AoE 7.6 / 8.6 周 A 高
CVPR 2027 预计 2026-11 上旬(官网未公布) 预计 2026-11 中旬(~11/13) AoE ~10.4 / ~11.3 周(估) A 中低
IJCAI 2027 预计 2027-01 中旬(~01/12,官网未公布) 预计 2027-01 下旬(~01/19) AoE ~19.9 / ~20.9 周(估) A 中高
ACL 2027(经 ARR 2027 年 1 月周期) ARR 提交预计 2027-01 中旬(官网写 "January, 2027",具体日 TBA) 同左(单次提交) AoE ~19.7 周(估) A 高
SIGIR 2027 预计 2027-01 中旬(~01/15,官网未公布) 预计 2027-01 下旬(~01/22) AoE ~20.3 / ~21.3 周(估) A 中
ICML 2027 预计 2027-01 下旬(~01/23,官网未公布) 预计 2027-01 底(~01/28) AoE ~21.4 / ~22.1 周(估) 视同A* 高
KDD 2027 第二轮 预计 2027-02 初(官网未公布) 预计 2027-02 初(+1 周) AoE ~22.7 / ~23.7 周(估) A 中
NeurIPS 2027(仅参照) 预计 2027-05-04 预计 2027-05-06 AoE ~35.9 / ~36.1 周(估) 视同A* 高
ACM MM 2027(远期参照) 预计 2027-03~04(TBA) 预计同前后一周 — >28 周(估) A 中低

已过截止且 2026 年内不再开的 A 类:AAAI-27(7 月底)、ICSE-27(6 月底)、KDD-27 第一轮(7 月底)。这三者的下一班车分别为 AAAI-28(约 2027 年夏)、FSE/ASE 2027、KDD-27 二轮(约明年 2 月初)。


二、逐会核实细节

1. ICLR 2027 —— 已官宣,日期确定 ✅

2. WWW 2027(The ACM Web Conference)—— 已官宣,日期确定 ✅

3. CVPR 2027 —— 官网日期页尚未挂出 ⚠️ 待确认

4. AAAI 2027 —— 已过截止 ❌

5. ACL 2027 与 ARR 周期 —— 官网部分确定 ⚠️ 具体日 TBA

6. SIGIR 2027 —— 官网未公布 ⚠️

7. ICML 2027 —— 官网未公布 ⚠️

8. IJCAI 2027 / KDD 2027 / NeurIPS 2027

9. 补充发现(同样面向 2026 年内截稿)


三、组合策略建议(结合剩余周数)

  1. 快攻线(4 周内):ICLR 2027(9/25 全文)。
  2. 前提:已有可用实验栈 + 至少一个能讲成"记忆如何跨长程会话维持状态"的完整故事。Abstract 只要标题+真摘要+作者定序,9/18 前必须提交。
  3. 若来不及,FSE 2027(10/02)只晚一周且无摘要前置门槛,但需把论文框架改成 SE 语言(artifact、可复现包、SWE 任务)。
  4. 主战线(8~9 周):WWW 2027(10/18 摘要、10/25 全文)——本期任务的最优默认解。
  5. 6 周做实验、2 周写作、1 周内审打磨;中途还能吸收 ICLR 提前流出的评审风向。
  6. 长跑线(1~3 月):IJCAI/SIGIR(1 月)→ ICML/KDD-Cycle2(1 月底~2 月)→ ACL 2027(1 月中 ARR)→ NeurIPS 2027(5 月)。
  7. 若投 ACL,请盯紧 aclrollingreview.org/dates 的 1 月具体日期更新(目前仅写 January, 2027)。
  8. 风险对冲:本清单所有"预计/TBA"项,建议每周复核一次官网;ML 类(ICLR/ICML/NeurIPS)惯用 AoE,换算北京时间可多吃 16 小时缓冲,务必别在最后一天上午还在改 LaTeX。

附:来源索引

会议 权威来源 URL
ICLR 2027 https://iclr.cc/Conferences/2027/AuthorGuidelines
WWW 2027 https://acmweb2027.org/important-dates/
CVPR 2027(地点)/2026 模式 https://www.thecvf.com/ 、https://cvpr.thecvf.com/Conferences/2026/Dates
AAAI-27 https://aaai.org/conference/aaai/aaai-27/
ARR 周期与承接口 http://aclrollingreview.org/dates
ACL 2027 https://2027.aclweb.org/
ICML 2026 模式 https://icml.cc/Conferences/2026/CallForPapers
NeurIPS 2026 模式 https://neurips.cc/Conferences/2026/Dates
IJCAI 模式/未来承办 https://2026.ijcai.org/ijcai-ecai-2026-call-for-papers-main-track/ 、https://www.ijcai.org/future_conferences
KDD 2027 第一轮 https://kdd2027.kdd.org/research-track-call-for-papers/
SIGIR 2026 模式 https://sigir2026.org/en-AU/pages/submissions/full-papers-track
FSE 2027 https://conf.researchr.org/dates/fse-2027 、https://conf.researchr.org/track/fse-2027/fse-2027-papers
ICSE 2027 https://conf.researchr.org/track/icse-2027/icse-2027-research-track

初版切入点建议存档(已被查新修正)

导读2026-08-26 上午基于三份调研产出的第一版推荐(Self-Auditing Experience)。当日下午查新证实该方向已被重度占坑,遂转向第一章课题。存档供对比与 rebuttal 准备——与 TEPA/STALE 的分歧声明即源于此段历史。

长程智能体研究切入点建议(最终综合)

综合来源:10 篇 2026-08 论文总结(agent_papers_2026\summaries\)+ 3 份调研报告(本目录)+ 用户已有资产(papers\memory 37 篇、papers\skill优化 8 篇详解)。 生成日期:2026-08-26。


一、先回答你的两个前置问题

1. 数据集怎么选:饱和度地图

已打穿/饱和(不要作主指标,审稿人会质疑 novelty): ALFWorld 文本版(>95%)、BabyAI、τ²-bench(99.1%)、BrowseComp(92.2%)、OSWorld-Verified(86.1%)、LongMemEval-V1、LoCoMo(只考表层召回)、HAL(已归档)

经典但有明确余量: - WebShop:55–83%,仍是 RL 训练线的可用验证场 - Visual ALFWorld:46–86%,与文本版差 10–50 点,三年未缩小的模态鸿沟 - ScienceWorld、Crafter、BALROG(NetHack 极难)、WebArena(~60–70%)、AppWorld、SWE-bench Hard 变体

未饱和且开源(2025 底–2026 新出,headroom 巨大):

Benchmark 长度/特点 SOTA 开源
VibeLifeBench (2608.10875) 200 个多周任务,活世界,19.9% 事件为静默 mutation 32.5/100 ✅
SentinelBench (微软, 2026-06) 100 监控任务 × 10 自演化环境 — ✅
Long-Horizon-Terminal-Bench (2607.08964) 46 任务/231 回合/85 分钟/9.9M token 15.2% ✅
Gaia2 + ARE (Meta, 2602.11964) 800 场景,异步时间流,世界不等你 Time/Ambiguity/Noise split <35% ✅
TheAgentCompany (CMU) 175 长程职场任务,一键 Docker 自动完成 30.3% ✅
LongMemEval-V2 (2605.12493) 451 题 × 最多 115M token 历史轨迹 72.5%(RAG 仅 48.5%) ✅
LifelongAgentBench (TPAMI 2026) 3000 任务三环境终身学习 ★ ✅
STATE-Bench (微软, 2026-05) 直接测"记忆是否提升任务成功" ★ ✅

2. 今年大家在解决什么(八分类,按拥挤度排序)

  1. RL 微调/信用分配(最拥挤,WebShop/ALFWorld 上 17/31 篇):GiGPO→HGPO→HiPER 连环修补组相对优势;verl-agent 统一基础设施导致同质化;Dark Room 负面结果宣告"只报正向数字"时代结束
  2. 记忆/经验积累系统(拥挤):Memento/ReasoningBank/A-MEM/AWM 已成熟模板化
  3. 技能库自进化(拥挤,与 2 实质重合):skill library + retrieval + evolution 三件套固化,创新内卷到二阶元层面
  4. 上下文管理/压缩(新爆点):CompactionRL 已进 GLM-5.2 训练管线,"压缩本身变成可学动作"
  5. 长程 RL 基础设施:AgentGym-RL、GEM、AgentRL 补齐环境,边际收益下降
  6. 多智能体编排:手写 DAG → RL 训练编排器
  7. 错误恢复/自我修正(叙事转变中):AgentRewind 等,runtime checkpoint+rollback 成统一做法;但"记忆库本身坏了怎么修"几乎空白
  8. 安全/目标漂移(最薄弱):能测量、缺修复,连术语都没统一

关键判断:四路独立证据汇聚到同一个未被命名的空白

空白:智能体积累的经验资产(记忆/技能库)在长程运行中会腐化——过期(世界变了)、矛盾(条目冲突)、漂移(目标偏移)——现有工作全在"怎么写入/检索",没有人做"库的运行期健康维护"。


二、主推荐切入点

《Self-Auditing Experience: 让长程智能体维护自己经验资产的一致性》

一句话:把软件工程的"运维"思想引入 agent 记忆/技能库——运行期持续审计库内条目与世界当前状态的一致性,矛盾/过期时做依赖传播失效与受控回滚。

为什么是这一个(五条理由):

  1. 多源信号汇聚的真空区:上节四路证据指向同一失败模式,而八分类里它横跨 ⑦×⑧(最空白交叉带),没有正面竞争者。
  2. 你的两张牌正好打在这里:
  3. skill 库的 2026 三共识(结构优于数量、闭环验证防退化、skill=外部权重)中,"闭环验证"就是审计门控的理论基础;GraSP 的 precondition/effect/verifier 三件套是"过期检测"的现成表示;SkillGraph 的 deprecate 操作是"失效传播"的原型
  4. memory 库的"维护操作"(合并/更新/去重/遗忘)+ ReTree 的 truth-maintenance(依据变则结论失效)从轨迹级上移到库级
  5. 避开正面红海:不做"第 N+1 个记忆系统"(审稿人疲劳区),做"所有记忆系统的缺失半边"——任何现有系统(A-MEM/Mem0/AWM/Memento)都可以作为被审计对象,天然成为你的基线全家桶。
  6. 数据集现成、全开源、未饱和:不需要自建环境。
  7. 可行性好:training-free 路线即可发(prompt 层审计协议 + 验证门),有 GPU 再上 RL(把审计建模为 MemAct 式的动作)。

实验设计雏形:

与最近工作的差异声明(rebuttal 预案): - vs OpenLoopEvolve:它回滚"策略版本"防改进退化;你处理"库条目与世界失配"防环境漂移——正交 - vs ReTree:它在单条轨迹内做 truth maintenance;你做跨任务持久库的一致性维护——时间尺度不同 - vs MedClaw HSD:它蒸馏新技能;你维护已有库的健康——生命周期环节不同(你的 skill 框架里一个是 3.2 获取、一个是 3.5 进化中的"维护"子环节,这个框架就是你的 related work 地图)

风险与对策: - VibeLifeBench 太新(2026-08 刚挂出),复现可能有坑 → 先跑通 TheAgentCompany 保底,VibeLifeBench 作为差异化主秀 - "审计"可能被审稿人说成 heuristic 堆砌 → 诊断实验的因果量化 + 理论化(把库一致性维护形式化为 truth maintenance / belief revision 问题)是防御工事 - 目标会议:ICML 2027(2027 年 1 月底截稿)为主目标,时间充裕;ICLR 2027(2026 年 9 月底)太赶,除非只用 TheAgentCompany+LongMemEval-V2 先冲一篇 workshop

三、备选切入点(不推荐但保留)

B. Visual ALFWorld 模态鸿沟(46–86% vs 文本 95%+,三年未缩小):信息量最大的空白,但偏视觉多模态,与你积累关联弱,且需要多模态训练资源。 C. Model vs Harness 能力分解(The Horizon Gap 点名无人做):分析型论文,风险是结论被下一代模型迭代作废,适合做第二篇而非第一篇。 D. 长程轨迹归因方法(华为 benchmark d≥2 崩溃到 0.45):可做,但标注贵、与你的积累协同弱。

四、明确不做清单

五、下一步(建议顺序)

  1. 读三份调研报告原文 + 十篇 summaries(本目录与 agent_papers_2026\summaries\)
  2. 复现决策:拉 TheAgentCompany Docker + VibeLifeBench 环境,各跑一个 no-memory 基线摸底(1 周内可完成)
  3. 诊断实验先行:在 VibeLifeBench 上统计"过期库条目被引用 → 检查项失败"的量化证据——这个数字成立,论文就成立
  4. 若第 3 步证据不足,pivot 到备选 C 或 Gaia2+ARE 训练侧(Sim RL 用 Qwen-AgentWorld 的开源世界模型做扰动注入,与阿里工作形成引用互动)

附录、原始文件索引

本报告由以下 Markdown 源文件自动组装(脚本 build_reports.py);源文件更新后重跑脚本即可再生成: