本文取代《研究切入点建议.md》中"Self-Auditing Experience"的推荐——查新证实该方向 2026 年 2-8 月已被重度占坑(TEPA/STALE/TARL/MemTxn/EvoGraph-Mem/ReMe,见《记忆库运维查新报告.md》)。本文基于:查新报告 + 会议日期核实(官网逐条确认)+ 实验栈可行性核查(含 7 天出表日程)。
跨运行的目标漂移:持久记忆库如何存储、放大目标漂移,以及如何在运行期以 training-free 方式检测与重锚定。
英文工作名(候选):DriftBank: Memory-Mediated Goal Drift in Long-Horizon Agents — Measurement and Training-Free Re-anchoring
查新确认的三个残留缝隙,本课题恰好取交集:
| 缝隙 | 出处 | 现状 |
|---|---|---|
| ① goal drift 修复全部在单 run 内 | LivePlan (2608.06701) / 图 RL (2608.14109) / AgentTether (2607.06273) | 跨 run/长周期系统性漂移无人做,2608.14109 自己留作 future work |
| ② 记忆库运维全部假设目标固定,且多为单会话语境 | TEPA / STALE / TARL / MemTxn | 它们只管"条目与世界失配",不管"条目与用户目标失配",更不管跨 run 传播 |
| ③ training-free 干预只在代码域走通 | LivePlan(SWE-bench) | 非代码域的通用 training-free 重锚定空白 |
核心科学假设(论文第一贡献 = 验证它):一次 run 中的目标漂移会被持久库(用户偏好条目、workflow、成功案例)固化,在后续 run 中被检索复播,使单次偶然漂移变成系统性偏离——库不仅是资产,也是漂移的存储器与放大器。
| 角色 | 数据集 | 用途 | 复现 |
|---|---|---|---|
| 主战场 | VibeLifeBench 开放 20 任务子集(1,483 个静默变异) | 多周跨 run + 世界/意图演化的真实序列,方法主表 | 中(纯 mock 服务,离线确定式判分) |
| 受控靶场 | MemoryAgentBench(多 session 切片,SF/CR) | 免判官 exact-match,诊断实验 + 消融最快出数 | 易(依赖最浅,注意 numpy<2 等依赖钉版) |
| 扩展/备用 | LifelongAgentBench 单环境子集 或 TheAgentCompany 通信类 20-30 任务 | 广度行,证明非单一环境有效 | 中/难(TAC 需专人背运维,可选) |
| 基线系统 | Mem0、A-MEM、Letta(archive-V1 钉版)、Memento(Agent-on-the-Fly/Memento) + 免费行 no-mem/RAG/full-ctx | 被审计/被修复对象 | Letta V1 已归档需钉分支;ExpeL/AWM 绑旧环境慎选 |
规避:不用 LongMemEval-V2 正式口径(锁自托管 Qwen3.5-9B + GPT-5.2 判官,无 GPU 只能非官方报数,rebuttal 必被问);STATE-Bench 正式提交锁 GPT-5.4 且强制 5 runs,只做非正式参考。
主目标:WWW 2027(CCF-A,都柏林)——abstract 10-18 AoE,full 10-25 AoE,剩 8.6 周。 理由:① 8.6 周 = 6 周实验 + 2 周写作 + 1 周打磨,单人可行;② WWW 近两届有 Web Agents 议程/special track,agent+记忆+Web 任务最对口;③ 录用通知 2027-01-04,早于 IJCAI/ICML 投稿季,失败无缝转投。
为什么不冲 ICLR 2027(full 09-25,剩 4.3 周):课题 8 月底刚因查新转向,无预实验支撑;4.3 周完成"诊断验证+方法+写作"失败成本过高;摘要 09-18 即锁作者与 scope。若前两周进展神速且坚持冲刺,决策点最晚 09-11。
转投阶梯:WWW 2027 (10-25) → IJCAI 2027 (~01-19) → ICML 2027 (~01-28) → ACL 2027(ARR 一月周期)。CVPR(需视觉成分,契合中低)、KDD C2(~02 月)备选。AAAI 2027 / ICSE / FSE 2027 已过或需 SE 叙事,排除。
| 周 | 日期 | 里程碑 |
|---|---|---|
| W1 | 08-27 ~ 09-02 | MemoryAgentBench 跑通 + Mem0/A-MEM 基线 → 第一张诊断表;并行搭 VibeLifeBench 环境 |
| W2 | 09-03 ~ 09-09 | 漂移注入探针 + 复播率→失败因果量化。go/no-go 决策点(09-09):假设不成立 → pivot"跨 run 库一致性维护"(同栈复用 ~90%) |
| W3-5 | 09-10 ~ 09-30 | 检查点协议方法实现 + MemoryAgentBench 主表 + 消融(锚定/元数据/重锚定三组件逐一去除) |
| W6 | 10-01 ~ 10-07 | VibeLifeBench 主实验 + 维护开销 Pareto |
| W7-8 | 10-08 ~ 10-21 | 写作、打磨、内审 |
| — | 10-18 / 10-25 | WWW 2027 abstract / full 提交 |
日期:2026-08-26。目的:为「智能体记忆库的运行期一致性维护/审计」课题选定最快出第一张主表的实验栈。 信息来源均为 arXiv 页面 / GitHub README / 官方博客原文(链接附后)。
| 项 | 结论 |
|---|---|
| 归属勘误 | UCLA(Di Wu, Kai-Wei Chang 组,xiaowu0162),不是 NUS |
| Repo | https://github.com/xiaowu0162/LongMemEval-V2 ;数据 https://huggingface.co/datasets/xiaowu0162/longmemeval-v2 ;主页 https://xiaowu0162.github.io/longmemeval-v2/ |
| 规模 | 451 题(人工精标)、1,870 条轨迹(WebArena/WorkArena/WorkArena++)、5 种记忆能力、web+enterprise 两域;Small 档=共享 100 轨迹 haystack≈25M token,Medium 档=每题专属 500 轨迹、最大 115M token |
| 评测脚本 | 现成且工程化程度高:evaluation/scripts/run_*.sh 六条命令覆盖全部官方基线,输出 aggregated_metrics.json,另有 leaderboard 打包脚本 |
| 插件接口 | 极佳:自定义记忆后端只需继承 memory_modules.memory.Memory 并实现 insert(trajectory) / query(query, query_image),加 @register_memory 注册 —— 我们的方法接入只需百行左右 |
| 官方基线 | no_retrieval 1.3%;RAG(query→slice) ≈42%;RAG+notes ≈51%;AgentRunbook-R 58.6%(S)/57.0%(M);vanilla Codex 69.9%/68.7%;AgentRunbook-C 74.9%/70.1%(摘要口径:最强者平均 72.5%,最强 RAG 48.5%,vanilla coding agent 69.3%) |
| 协议锁定 | 正式榜要求 reader 必须含 qwen3.5-9b、judge 必须为 gpt-5.2 |
| 依赖 | Python 3.11 + torch cu124;vLLM 不随仓库提供,须自建 OpenAI 兼容服务托管 Qwen3.5-9B(reader+RAG controller)与 Qwen3-Embedding-8B;GPT-5.2 判官走 OPENAI_API_KEY;codex/agentrunbook_c 基线还需下载 Codex v0.117.0 二进制 + rg/find |
| 451 题开销估算 | Insert 端:把 small 档 haystack(两域合计约数十 M token)过一遍 embedding/controller;Query 端:每题回传 ≤200K token 交固定 reader,451 题 ≈ 至多 9000 万 prefill token。单卡 H100 vLLM 约每小时千万~两千万 prefill,reader/judge 一晚跑完;RAG 类一行约半天~1 天墙钟。Codex 系基线实测 177–186 s/题 → 串行 22h,可并行压到数小时 |
| 复现评级 | 中(有 GPU 3–5 天跑通第一条基线;无 GPU 需先租卡或改降级口径,7–10 天) |
| 子集快评 | 支持:TIER=small、单域单独跑、questions 截取均可(正式榜提交才校验全集一致性) |
| 项 | 结论 |
|---|---|
| Repo | https://github.com/xjtuleeyf/Locomo-Plus ;ACL Anthology: https://aclanthology.org/2026.acl-long.1150/ |
| 与原版区别 | 在 LoCoMo 五类之上新增第六类 Cognitive:cue–trigger 语义断连,正确行为取决于早期隐含约束(用户目标/状态/价值观),并主张用「约束一致性」判分替代字符串匹配;判官打分 1 / 0.5 / 0 |
| 数据 | 随仓库发布(locomo_plus.json + locomo10.json,10 段长对话),无需外下载数据集 |
| 基线 | 论文已跑 backbone LLM、RAG 管线、A-Mem、Mem0 等记忆系统 → 数字可直接引用对照 |
| 依赖 | openai + tqdm(生成侧另需 rank_bm25/sentence-transformers),配 OPENAI_API_KEY/OPENAI_BASE_URL 即跑 |
| 复现评级 | 易(1 天跑通全部六类的自己的基线行) |
| 子集快评 | 数据本身就小;弱点正是样本量小,需 bootstrap CI / 多 seed 报告 |
| 项 | 结论 |
|---|---|
| Repo | https://github.com/HUST-AI-HYZ/MemoryAgentBench ;数据 https://huggingface.co/datasets/ai-hyz/MemoryAgentBench |
| 作者 | Yuanzhe Hu, Yu Wang, Julian McAuley(UCSD) |
| 口径 | 四能力:Accurate Retrieval / Test-Time Learning / Long-Range Understanding / Selective Forgetting(Conflict Resolution);2,071 个实例、103K–1.44M token;把既有长文本切块成增量多轮「一次注入、多次提问」,显著省调用费 |
| 指标 | 大多为 exact match / substring match,几乎不需要 LLM 判官(仅 longmemeval 子集与 infbench_summarization 用 gpt-4o 判官)→ 便宜且可复现 |
| 内置基线 | 长上下文 agent、三类 RAG、以及 letta/cognee/hipporag 等 agentic memory 集成(论文还评了 MIRIX、MemGPT) |
| 已知坑 | 依赖冲突明确写在 README:numpy<2;hipporag 2.0.0a3 要求 openai==1.58.1 需独立环境;letta/cognee 可能要先装再卸再装 |
| 复现评级 | 易~中(避开 hipporag/cognee,只用长上下文+RAG+自家记忆封装时,2–3 天出 AR/SF 两列数字) |
| 子集快评 | 支持:按数据集配置文件任选切面(fact_mh/fact_sh/event_qa/ruler_qa/ICL 系列/recsys…),逐切片跑 |
与本课题契合点:SF/CR 切片(FactConsolidation 反事实改写序列,6K–262K)就是「存储内事实互相矛盾、谁覆盖谁」的受控实验场,是记忆库一致性审计最直接的靶场。
| 项 | 结论 |
|---|---|
| Repo | https://github.com/microsoft/STATE-Bench ;发布公告 https://opensource.microsoft.com/blog/2026/05/19/introducing-state-bench-a-benchmark-for-ai-agent-memory/ |
| 论文号 | 未见 arXiv 论文(截至 2026-08 只有官方博客 + GitHub release;引用需引 repo/blog) |
| 设计 | 450 企业任务(travel/customer support/shopping 各 150);任务级沙箱数据库 + 领域工具 + 用户模拟器 + 确定性状态断言;指标 pass@1、pass^5(五次全成才计)、UX 打分、Cost/Task —— 直接度量「记忆是否提升任务成功与跨次一致性」 |
| 双轨制 | Main Track 评 agent 本体;Agent Learning Track 提供 train trajectories + retrieve_learnings(top_k=3) 注入钩子(原 Memory Track),允许可插拔的记忆/skill/prompt 优化产物 |
| 基线 | GPT-5.1 无记忆:总体不到一半任务可靠完成,travel 域 pass^5 仅约 30% |
| 协议锁定 | 正式提交:GPT-5.4 锁定为模拟器+判官客户端、禁改 task/prompt/tool 文件、--num-runs 5 |
| 复现评级 | 易~中(部署轻,pip 安装即可起;贵在全量 450×5 次多轮对话的 API 费) |
| 子集快评 | 支持(单域或按 task 子集 + 降 run 数做非官方口径,2–4 天出首条基线) |
| 项 | 结论 |
|---|---|
| Repo | https://github.com/TheAgentCompany/TheAgentCompany ;实验记录 https://github.com/theagentcompany/experiments |
| 部署重量 | 重:docker-compose 起 GitLab + Plane + ownCloud + RocketChat 全家桶(预置数据,30GB+ 磁盘;官方基线机为 EC2 t3.2xlarge);Mac/Windows 需开启 host networking,启动卡死需手工拉 Plane 配置 |
| 跑法 | 基于 OpenHands 的 run_eval.sh;175 个任务各自独立 Docker 镜像;每任务 /utils/init.sh 重置服务数据、健康检查最长约 10 分钟;评分脚本加密但有公开解密密钥,部分 grader 还需环境 LLM(LITELLM_* 配置) |
| 时长估计 | 每 agent 任务墙钟约 30 分钟~数小时 → 全量 175 任务串行为一周级别,靠容器并行可压至 2–3 天,但服务稳定性抖动会吃掉收益 |
| 自动评分 | 有(checkpoint 式 rubric,部分需要 LLM 评分) |
| 复现评级 | 难(搭环境→跑通首个基线 3–7 天,且以运维为主而非科研) |
| 子集快评 | 支持任选任务镜像;建议只用 communication/document 类低交互任务构成 20–30 任务子集 |
| 与课题摩擦 | 任务间没有内置跨任务记忆连续性语义;要做「记忆库运维」需要在 harness 层自行构造持续经验流 → 额外工程量 |
| 项 | 结论 |
|---|---|
| Repo | 已放出:https://github.com/evolvent-ai/VibeLifeBench (2026-07-25)+ Terrarium 引擎 + HF https://huggingface.co/datasets/EvolventAI/Vibelifebench ;主页 https://vibebench.github.io/VibeLifeBench_homepage/ |
| 开放范围 | 开源 20 任务开放子集(10 域 ×2,489 stages、1247 atomic checks,中英双语、完全自包含);完整 200 任务未公开,可邮件让对方代跑 |
| 环境 | 22 个 mock 服务(MCP 形态、共 288 工具;21 个被子集引用),build_images.sh 一次构建约 10 分钟;Docker + Python 3.12 + uv;Terrarium 引擎 pin 在固定 commit,agent 固定 OpenClaw 2026.7.1 harness;全程离线、确定式(唯网络流量是模型端点) |
| 运行成本 | README 直言 20 任务全量是 "many hours of wall-clock",每个 trial 回放多周时间线(stages 事件流:user_message/mutation/notification/world/policy_update,其中 1,483 个静默变异无人通知),默认 attempts=4、timeout 14400s |
| 基线 | 七个前沿模型全低分:最强 Claude Opus 5 avg@3=32.5、best-of-3=41.2;所有模型从时间线开头到结尾一致性衰减 10–15 分 |
| License | 服务实现 19/22 为 MIT(个别缺失);任务包本体 task-only release |
| 复现评级 | 中(1–2 天搭好并冒烟跑单任务;接自定义记忆系统需包装 OpenClaw 工作区的记忆路径) |
| 子集快评 | 一等公民:runner 显式支持 --tasks ID ...、--domains、--attempts N |
| 与课题契合点 | 「世界在你不知情时变化」直接制造记忆陈旧/矛盾样本,评分又只读落盘的世界终态与工作区工件 —— 是天然的一致性压力测试台 |
| 系统 | Repo / License | 维护状态 | 可复用性 |
|---|---|---|---|
| Mem0 | https://github.com/mem0ai/mem0 ,Apache-2.0,约 62.5k star | 极活跃(monorepo,24 个 LLM 后端、30 个向量库) | 最高:add/search/update/delete 接口干净;仓库自带 evaluation/ 目录含 LOCOMO 评测与 experiment runner,可整体搬用;另有 mem0ai/memory-benchmarks 评测套件 |
| A-MEM | 论文复现版 https://github.com/WujiangXu/AgenticMemory ;系统库版 https://github.com/agiresearch/A-mem 、https://github.com/WujiangXu/A-mem-sys (均 MIT,库版约 386–1152 star) | NeurIPS 2025;低频维护但接口稳定 | 高:AgenticMemorySystem.add_note/search_agentic/update/delete + Zettelkasten 演化,pip 级接入,是被审计对象里最顺手的「结构化记忆+自动演化」代表 |
| AWM | https://github.com/zorazrw/agent-workflow-memory (CMU,arXiv 2409.07429);配套 https://github.com/zorazrw/workflow-induction-toolkit | 2024 年科研代码,低维护;license 需进仓核对 | 中:WebArena/Mind2Web 管道绑定活环境不宜直跑;但 workflow-induction-toolkit 可单独借用,把它当「从成功/失败轨迹归纳可复用知识」的记忆写入器接到我们自己的轨迹流上,成本低得多 |
| ExpeL | https://github.com/LeapLabTHU/ExpeL (AAAI 2024 Oral) | 2023–24 年代码,基本停更 | 中低:hydrBased train.py/insight_extraction.py 只绑 hotpotqa/alfworld/webshop/fever 四个旧环境;移植到 2026 对话记忆基准需重建数据适配层(约一周)。价值在于其 insight/经验管理的提示词与流程可直接借鉴 |
| Memento | https://github.com/Agent-on-the-Fly/Memento (镜像 Memento-Teams/Memento;arXiv 2508.16153)。勘误:不存在 “QwenLM/MMA” 这一仓库;Qwen 官方仅有 QwenLM/Qwen-Agent,Memento 出自 UCL Jun Wang 组(Agent-on-the-Fly) | 2025.08 开源非参数 CBR、2025.10 开源参数化 retriever;仍有更新 | 中高:Case Bank 读写的非参数 CBR 路径开箱即用(planner GPT-4.1 + executor o4-mini/o3,MCP 工具层);移到对话记忆场景需替换其搜索/爬取工具层;GAIA val 87.88% Pass@3 可作强基线卖点 |
| Letta (MemGPT) | https://github.com/letta-ai/letta (现仅为 landing page),Apache-2.0,约 24.4k star;活跃开发已迁至 https://github.com/letta-ai/letta-code | V1 server 已归档(archive 分支),明确声明不再修复;新栈是 TS 的 letta-code + Agent SDK(TS only)+ MemFS(git 版本化记忆 + dreaming) | 中:复现经典 MemGPT/Letta 基线必须钉住 archive 分支或 PyPI letta 旧包,否则数字不可比;反过来 MemFS 的 git 化记忆是「天生可审计」的实现基底,可作为 B 线的一个方法论亮点而非单纯基线 |
原则:纯文本、纯 API、零 GPU、所有 cell 冻结同一 backbone(gpt-4o-mini 或同档国内可直连替代)。
| 角色 | 选择 | 理由 |
|---|---|---|
| 主 benchmark | MemoryAgentBench | ICLR'26 已接收、免判官 exact-match 指标、"一次注入多次提问"省费;SF/CR 切片(FactConsolidation 反事实改写)就是记忆一致性维护的受控靶场;依赖最浅 |
| 副 benchmark 1 | LoCoMo-Plus(六类 + Cognitive 约束一致性判分) | 一天接入,为「隐含约束在存储中失真」提供第二证据源;其论文表格直接给出 A-Mem/Mem0 可引用对照 |
| 副 benchmark 2 | STATE-Bench Agent Learning Track 单域子集(如 travel 的 30–50 任务,num_runs=3 非官方口径) | 补上「下游任务成功率 / pass^n 跨次一致性 / 成本」这一纵向维度;若能搞到 GPU 则改用 LongMemEval-V2-Small(单域起步),权威性更高 |
| 基线系统 | Mem0 + A-MEM(必选);Letta(archive V1) 或 Memento(非参数 CBR) 二选一 | 前两者 pip 级接入、均是被广泛引用的对话记忆系统;Mem0 仓库自带 LOCOMO 评测脚手架可直接改造 |
第一张表怎么在一周内出来
- D1:跑通 MemoryAgentBench 的 fact_mh/fact_sh + event_qa 两列(长上下文行 + RAG 行)。
- D2:以同一口径接 Mem0、A-MEM,得到基线两行。
- D3–D4:LoCoMo-Plus 六类重算同一批系统(repo 数据即装即用)。
- D5:实现审计探针——在轨迹注入流上对每个系统做运行期诊断(矛盾条目率、陈旧条目率、写后覆盖冲突数、检索一致率),产出诊断列。
- D6:把诊断指标与 SF/CR 切片的准确率下降做相关/回归分析。
- D7:汇总 LaTeX 主表 + bootstrap 置信区间;同步留出消融钩子。
原则:至少一张「大规模/活环境」的重头戏表 + 广度表 + 维护开销-精度权衡曲线。
| 角色 | 选择 | 理由 |
|---|---|---|
| 主 benchmark | LongMemEval-V2(先 Small 后 Medium 两档) | 451 题、25M/115M token 的规模权威性;insert/query 插件接口干净;精度-延迟 Pareto(LAFS)正好承载"维护开销换一致性收益"的论证 |
| 副 benchmark 1 | VibeLifeBench 开放 20 任务子集 | 1,483 个静默世界变异 = 天然的一致性压力测试;确定式离线可审计的评分;中英双语利于叙事 |
| 副 benchmark 2 | MemoryAgentBench 全集 | 用 SF/CR + TTL 全切面补广度,且可与 A 线结果复用 |
| 可选加强 | STATE-Bench 全协议(GPT-5.4 × 5 runs);或 TheAgentCompany 通信/文档类 20–30 任务子集 | 仅在有一名工程人力专门背运维时上 TheAgentCompany |
| 基线系统 | Mem0、A-MEM、Letta(优先试新 MemFS/git 化记忆,或钉 archive V1)、Memento(CBR Case Bank)、AWM(借 workflow-induction-toolkit 做写入器) | 外加 LME-V2 官方自带的 RAG / AgentRunbook-R / AgentRunbook-C / Codex 基线 —— 这几行是免费的 |
| 算力前提 | ≥1 张 H100/A100 起自托管 Qwen3.5-9B + Qwen3-Embedding-8B 服务 | 没有就只能降到非官方口径 |
另注:LongMemEval-V1(500 题、115K–1.5M token、生态成熟)可作为 B 线的中档补充实验或 A/B 线之间的过渡验证点。
调研日期:2026-08-26(所有"剩余周"以该日为基准) 用途:规划一篇 长程 LLM agent(含记忆机制) 方向论文的投稿窗口 核实方式:均优先采用会议官网 dates 页(已逐条标注来源);聚合站(myhuiban、wikicfp 等)仅作交叉参考,与官网冲突时以官网为准。 时区说明:ML 类多用 AoE(Anywhere on Earth, UTC-12),等于给北京时间多留约 16–20 小时缓冲;AAAI 用 UTC-12 同义。 CCF 等级依据:CCF 推荐国际学术会议目录(2022 版,最新现行版)。ICLR 目前未列入 CCF 目录,但国内多数高校/评奖实践中按 CCF-A 级对待(清华、多家企业榜单均列为 top-tier),下文按"视同 A(未正式入榜)"处理并明确标注。
| 会议 | 摘要截稿 | 全文截稿 | 时区 | 距今 | CCF | 契合度 |
|---|---|---|---|---|---|---|
| ~~AAAI 2027~~ | 2026-07-21 | 2026-07-28 | UTC-12 | 已过 | A | (错过主赛道) |
| ~~ICSE 2027~~(补充) | 2026-06-23 | 2026-06-30 | AoE | 已过 | A | SE-agent 可改投姊妹会(见 FSE) |
| ICLR 2027 ⭐冲刺 | 2026-09-18(五) | 2026-09-25(五) | AoE | 3.3 / 4.3 周 | 视同A* | 高 |
| FSE 2027(补充)⭐备选 | 无独立摘要截止(仅全文一次提交) | 2026-10-02(五) | AoE | 5.3 周 | A | 中高 |
| ARR 2026 十月周期→NAACL/COLING 2027 | — | 2026-10-12(一) | AoE | 6.7 周 | NAACL=C / COLING=B | 中高(备胎,非A) |
| WWW 2027 ⭐从容首选 | 2026-10-18(日) | 2026-10-25(日) | AoE | 7.6 / 8.6 周 | A | 高 |
| CVPR 2027 | 预计 2026-11 上旬(官网未公布) | 预计 2026-11 中旬(~11/13) | AoE | ~10.4 / ~11.3 周(估) | A | 中低 |
| IJCAI 2027 | 预计 2027-01 中旬(~01/12,官网未公布) | 预计 2027-01 下旬(~01/19) | AoE | ~19.9 / ~20.9 周(估) | A | 中高 |
| ACL 2027(经 ARR 2027 年 1 月周期) | ARR 提交预计 2027-01 中旬(官网写 "January, 2027",具体日 TBA) | 同左(单次提交) | AoE | ~19.7 周(估) | A | 高 |
| SIGIR 2027 | 预计 2027-01 中旬(~01/15,官网未公布) | 预计 2027-01 下旬(~01/22) | AoE | ~20.3 / ~21.3 周(估) | A | 中 |
| ICML 2027 | 预计 2027-01 下旬(~01/23,官网未公布) | 预计 2027-01 底(~01/28) | AoE | ~21.4 / ~22.1 周(估) | 视同A* | 高 |
| KDD 2027 第二轮 | 预计 2027-02 初(官网未公布) | 预计 2027-02 初(+1 周) | AoE | ~22.7 / ~23.7 周(估) | A | 中 |
| NeurIPS 2027(仅参照) | 预计 2027-05-04 | 预计 2027-05-06 | AoE | ~35.9 / ~36.1 周(估) | 视同A* | 高 |
| ACM MM 2027(远期参照) | 预计 2027-03~04(TBA) | 预计同前后一周 | — | >28 周(估) | A | 中低 |
已过截止且 2026 年内不再开的 A 类:AAAI-27(7 月底)、ICSE-27(6 月底)、KDD-27 第一轮(7 月底)。这三者的下一班车分别为 AAAI-28(约 2027 年夏)、FSE/ASE 2027、KDD-27 二轮(约明年 2 月初)。
| 会议 | 权威来源 URL |
|---|---|
| ICLR 2027 | https://iclr.cc/Conferences/2027/AuthorGuidelines |
| WWW 2027 | https://acmweb2027.org/important-dates/ |
| CVPR 2027(地点)/2026 模式 | https://www.thecvf.com/ 、https://cvpr.thecvf.com/Conferences/2026/Dates |
| AAAI-27 | https://aaai.org/conference/aaai/aaai-27/ |
| ARR 周期与承接口 | http://aclrollingreview.org/dates |
| ACL 2027 | https://2027.aclweb.org/ |
| ICML 2026 模式 | https://icml.cc/Conferences/2026/CallForPapers |
| NeurIPS 2026 模式 | https://neurips.cc/Conferences/2026/Dates |
| IJCAI 模式/未来承办 | https://2026.ijcai.org/ijcai-ecai-2026-call-for-papers-main-track/ 、https://www.ijcai.org/future_conferences |
| KDD 2027 第一轮 | https://kdd2027.kdd.org/research-track-call-for-papers/ |
| SIGIR 2026 模式 | https://sigir2026.org/en-AU/pages/submissions/full-papers-track |
| FSE 2027 | https://conf.researchr.org/dates/fse-2027 、https://conf.researchr.org/track/fse-2027/fse-2027-papers |
| ICSE 2027 | https://conf.researchr.org/track/icse-2027/icse-2027-research-track |
综合来源:10 篇 2026-08 论文总结(agent_papers_2026\summaries\)+ 3 份调研报告(本目录)+ 用户已有资产(papers\memory 37 篇、papers\skill优化 8 篇详解)。 生成日期:2026-08-26。
已打穿/饱和(不要作主指标,审稿人会质疑 novelty): ALFWorld 文本版(>95%)、BabyAI、τ²-bench(99.1%)、BrowseComp(92.2%)、OSWorld-Verified(86.1%)、LongMemEval-V1、LoCoMo(只考表层召回)、HAL(已归档)
经典但有明确余量: - WebShop:55–83%,仍是 RL 训练线的可用验证场 - Visual ALFWorld:46–86%,与文本版差 10–50 点,三年未缩小的模态鸿沟 - ScienceWorld、Crafter、BALROG(NetHack 极难)、WebArena(~60–70%)、AppWorld、SWE-bench Hard 变体
未饱和且开源(2025 底–2026 新出,headroom 巨大):
| Benchmark | 长度/特点 | SOTA | 开源 |
|---|---|---|---|
| VibeLifeBench (2608.10875) | 200 个多周任务,活世界,19.9% 事件为静默 mutation | 32.5/100 | ✅ |
| SentinelBench (微软, 2026-06) | 100 监控任务 × 10 自演化环境 | — | ✅ |
| Long-Horizon-Terminal-Bench (2607.08964) | 46 任务/231 回合/85 分钟/9.9M token | 15.2% | ✅ |
| Gaia2 + ARE (Meta, 2602.11964) | 800 场景,异步时间流,世界不等你 | Time/Ambiguity/Noise split <35% | ✅ |
| TheAgentCompany (CMU) | 175 长程职场任务,一键 Docker | 自动完成 30.3% | ✅ |
| LongMemEval-V2 (2605.12493) | 451 题 × 最多 115M token 历史轨迹 | 72.5%(RAG 仅 48.5%) | ✅ |
| LifelongAgentBench (TPAMI 2026) | 3000 任务三环境终身学习 | ★ | ✅ |
| STATE-Bench (微软, 2026-05) | 直接测"记忆是否提升任务成功" | ★ | ✅ |
空白:智能体积累的经验资产(记忆/技能库)在长程运行中会腐化——过期(世界变了)、矛盾(条目冲突)、漂移(目标偏移)——现有工作全在"怎么写入/检索",没有人做"库的运行期健康维护"。
一句话:把软件工程的"运维"思想引入 agent 记忆/技能库——运行期持续审计库内条目与世界当前状态的一致性,矛盾/过期时做依赖传播失效与受控回滚。
为什么是这一个(五条理由):
实验设计雏形:
与最近工作的差异声明(rebuttal 预案): - vs OpenLoopEvolve:它回滚"策略版本"防改进退化;你处理"库条目与世界失配"防环境漂移——正交 - vs ReTree:它在单条轨迹内做 truth maintenance;你做跨任务持久库的一致性维护——时间尺度不同 - vs MedClaw HSD:它蒸馏新技能;你维护已有库的健康——生命周期环节不同(你的 skill 框架里一个是 3.2 获取、一个是 3.5 进化中的"维护"子环节,这个框架就是你的 related work 地图)
风险与对策: - VibeLifeBench 太新(2026-08 刚挂出),复现可能有坑 → 先跑通 TheAgentCompany 保底,VibeLifeBench 作为差异化主秀 - "审计"可能被审稿人说成 heuristic 堆砌 → 诊断实验的因果量化 + 理论化(把库一致性维护形式化为 truth maintenance / belief revision 问题)是防御工事 - 目标会议:ICML 2027(2027 年 1 月底截稿)为主目标,时间充裕;ICLR 2027(2026 年 9 月底)太赶,除非只用 TheAgentCompany+LongMemEval-V2 先冲一篇 workshop
B. Visual ALFWorld 模态鸿沟(46–86% vs 文本 95%+,三年未缩小):信息量最大的空白,但偏视觉多模态,与你积累关联弱,且需要多模态训练资源。 C. Model vs Harness 能力分解(The Horizon Gap 点名无人做):分析型论文,风险是结论被下一代模型迭代作废,适合做第二篇而非第一篇。 D. 长程轨迹归因方法(华为 benchmark d≥2 崩溃到 0.45):可做,但标注贵、与你的积累协同弱。
本报告由以下 Markdown 源文件自动组装(脚本 build_reports.py);源文件更新后重跑脚本即可再生成:
最终课题定稿_跨run漂移.md实验栈可行性.md2026末截稿CCFA会议清单.md研究切入点建议.md