# 基于 ALFWorld 的长程智能体研究:2025–2026 顶会论文检索综述

> 检索日期:2026-08-30
> 检索方式:arXiv API(abs:"ALFWorld",约 300 篇,回溯至 2020)+ Semantic Scholar 批量 venue 核验 + OpenReview API 按会议分组(ICLR 2025/2026、NeurIPS 2025、ICML 2026、COLM 2026)+ Web 检索交叉确认。
> 说明:2026 年 7–8 月的大量 arXiv 新作为未经同行评审的预印本,正文中已单独标注。个别 venue 信息可能随 ARR commitment 变动。

## 0. 为什么是 ALFWorld

ALFWorld(ICLR 2021)把 ALFRED 的家务任务(取物、加热、清洁、摆放、检查等 6 类)对齐到 TextWorld 文本交互环境。它具备长程智能体研究需要的全部要素,同时保持低成本、可复现:
- **部分可观测**(只能看到当前房间/ receptacle)
- **长程**:单任务 30–60 步交互,多子目标组合
- **稀疏奖励**:只在任务完成时给终局信号
- **组合结构清晰**:子任务可切分,便于做 milestone/credit assignment 研究
- **文本接口**:换 backbone 即插即用,是 agentic RL 算法的"试管"

## 1. 科学问题全景(按主题归纳)

### 主题 A:稀疏终局奖励下的长程信用分配(当前最热战场)

**科学问题**:奖励只在 episode 末端给出,如何把成败信号归因到几十步中间动作?错误的早期动作会因终局失败被错误惩罚(credit misattribution),成功轨迹稀缺又导致学习信号近乎为零(sample inefficiency)。

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **GiGPO**(Group-in-Group Policy Optimization) | NeurIPS 2025 | episode 级 + step 级双层分组相对优势,无需 reward model 即得细粒度 step advantage;成为后续大量工作的默认 RL backbone(S2 引用 384) |
| **SPA-RL** | ACL 2025 | 把终局奖励重分配为逐步"进度贡献"(stepwise progress attribution)+ grounding 信号 |
| **SALT** | EACL 2026 | 轨迹图上的 step-level advantage assignment |
| **BEACON**(Milestone-Guided Policy Learning) | ICML 2026 | 利用长程任务组合结构在里程碑处切分轨迹,显式指出 credit misattribution + 样本低效两大根因 |
| **HiPER** | ICML 2026 | 层次化 plan–execute RL,显式时间抽象替代扁平策略 |
| **GLARE** | ICML 2026 | 群组级自动机做可扩展神经符号 reward shaping |
| **Harnessing Uncertainty**(EPO 后续分析) | ICML 2026 | 指出 policy gradient 幅度与策略熵内在耦合的学习动力学缺陷,熵调制梯度 |
| **RLVMR** | ICLR 2026 | 奖励"可验证的元推理行为"(规划类 token),防止 RL 只学成功不学合理推理(inefficient exploration 问题) |
| **SRPO** | ICML 2026 | 把 self-reflection 内化:反思 patch → 反思条件化教师打分 → 稠密 token 级信号 |

### 主题 B:探索–利用平衡与多回合 RL 训练稳定性

**科学问题**:长程稀疏奖励下策略熵坍缩 / 低信息动作反复生成 / 训练崩溃;机械性熵最大化在多回合分布漂移下本身不稳定。

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **T²PO** | ICML 2026 **Spotlight** | token 级 + turn 级不确定性引导的探索控制;归因不稳定性源于"既不降低不确定性也不推进任务"的无效动作 |
| **Learn the Ropes, Then Trust the Wins** | ICLR 2026 | 自模仿 + 渐进探索,以自身成功经验引导 explore–exploit 渐进切换,避免熵坍缩与失控 |
| **SEEA-R1** | NeurIPS 2025 | 树结构强化微调 + 好奇心内在奖励,多模态具身自进化中的中间奖励构造 |

### 主题 C:程序性记忆与经验复用(lifelong / self-evolving)

**科学问题**:成功轨迹如何沉淀为**可构建、可检索、可更新、可迁移**的程序性记忆(procedural memory),而不是一次性 in-context 经验?何时检索(episode 开局 vs 中途)?存什么抽象层级?

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **Memp** | ACL 2025 | 系统研究 procedural memory 的 Build/Retrieval/Update 三策略;步级指令 + 脚本级双层抽象;测试时持续更新 |
| **Self-Generated In-Context Examples** | NeurIPS 2025 | 自生成成功轨迹库做检索式 ICL,ALFWorld 73→89/93%,无需人工知识工程 |
| **AdaMEM** | ICML 2026 | 批判"只在 episode 开始检索一次"的范式,提出 episode 内 test-time 自适应记忆 |
| **Learning How to Remember(MCMA)** | ACL 2026 | 把"记忆抽象"本身当作可学习的元认知技能,与冻结任务模型解耦 |
| **PROCED-MEM benchmark** | ICLR 2026 MemAgents WS | 首个把"程序性记忆检索"从任务执行中隔离出来的 benchmark;发现 embedding 检索在未见词汇上的"泛化悬崖" |
| **Retrospex** | EMNLP 2025 | 反其道:经验不入 context,而是训练离线 RL critic 给动作打分 |
| **FlowEvo** | COLM 2026 | workflow 与可执行技能在推理时共进化,training-free |
| **Learning Hierarchical Procedural Memory** | AAMAS 2026 | 贝叶斯选择 + 对比精化的层次程序性记忆 |

(前作:Agent Workflow Memory ICML 2024、AutoManual NeurIPS 2024、Reflexion NeurIPS 2023)

### 主题 D:世界模型与"心理模拟"

**科学问题**:LLM 先验与环境真实动力学存在 gap,真实交互昂贵;能否学一个对齐的世界模型做 lookahead / 想象推演(vicarious trial-and-error),把试错搬进"脑内"?

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **WALL-E / WALL-E 2.0** | NeurIPS 2025 | 无梯度规则学习实现 world alignment:LLM + 少量环境规则即可对齐动力学,支撑世界模型型 agent |
| **Dyna-Mind** | ICLR 2026 | 两阶段训练让 reasoning model 学会"行动前心理模拟替代未来",直指数学/编码强而交互任务弱的鸿沟 |
| **Test-Time Mixture of World Models** | ICLR 2026 | MoE 范式扩展到具身 agent 的 test-time 世界模型路由,适应动态/未见环境 |
| **DreamPhase** | ICLR 2026 | 离线想象 + 不确定性引导规划 |

### 主题 E:推理–行动对齐与过程监督

**科学问题**:ReAct 式思考容易产生与环境状态脱节的"不落地推理"(ungrounded reasoning)、信念漂移与累积错误;VLM/LLM 该在什么粒度上思考?

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **ReflAct** | EMNLP 2025 | 从"规划下一动作"转向"持续反思目标-状态差距"(goal-state reflection),修复 ReAct 的内部信念不一致 |
| **LAC**(Actor-Critic for LLMs) | ICML 2025 | LLM actor + 原则化 critic 的长期动作评估,替代短视自回归决策 |
| **TCPO** | EMNLP 2025(VLM) | thought-centric 偏好优化,对齐 SFT 后的 VLM 具身决策 |
| **Code Driven Planning + Domain-Adaptive Critic** | ICLR 2026 | 代码化计划 + 领域自适应 critic,降低逐轮 LLM 修正的 query 成本 |
| **Think Fast and Slow(CogRouter)** | ICML 2026 | 步级认知深度自适应:该深思才深思,该执行就执行,提升长程效率 |

### 主题 F:监督信号获取——特权教师、蒸馏与事后重标注

**科学问题**:长程任务中专家示范昂贵稀缺;能否从特权信息、强教师或**失败轨迹**中自动构造监督?

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **LEAP / Better than Your Teacher** | ICLR 2025 | 特权 AI 反馈:教师训练时可见隐藏状态(如真实物体位置),弱教师也能给出精确指导,学生学成后无特权也超越教师 |
| **Spinning Straw into Gold(HSL)** | ICLR 2026 | 事后(hindsight)重标注:用辅助 LLM 找出失败 rollout 中"意外达成"的目标,把失败轨迹变成成功示范 |
| **Q-Evolve** | ICML 2026 | in-distribution 过程奖励自动标注 + 策略学习的自进化闭环 |
| **RLAnything** | ICML 2026 | 环境/策略/奖励三方闭环协同"锻造"的完全动态 RL 系统 |
| **Offline RL for LLM Multi-Step Reasoning** | ACL 2025 | 不依赖成对偏好数据的离线 RL 多步推理(DPO 的两个缺陷:配对数据、token 均匀处理) |

### 主题 G:开放域泛化与神经符号知识

**科学问题**:有限经验如何泛化到开放域/新物体/新环境;感知-推理-决策链条在多模态下如何闭环;状态转移幻觉如何抑制。

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **NeSyC** | ICLR 2025 | 假说-演绎式神经符号持续学习,开放域可执行知识泛化 |
| **NeSyPr** | NeurIPS 2025 | 神经符号程序化(proceduralization):符号规划 → 编译进 LM,低延迟/端侧可用 |
| **PRISM** | ICML 2026 | VLM 感知 × LLM 决策的动态问答(DQA)闭环,LLM 批判性探测 VLM 描述,解决感知信息遗漏 |
| **GiG**(Graph-Informed action Generation) | ICML 2026 | 图约束生成抑制 LLM 规划中的状态转移幻觉 |
| **NL-PDDL** | ICLR 2026 | 开放世界目标导向的常识回归规划表示 |
| **ActiveVOO** | NeurIPS 2025 | 观测价值引导的开放世界主动知识获取 |

### 主题 H:评测、失败归因与实证分析

| 论文 | 会议 | 核心思路 |
|---|---|---|
| **AgentDebug**(Where LLM Agents Fail…) | ICLR 2026 撤稿 → ICML 2026 FAGEN/AIWILD WS、MSLD 2026;ARR 2026-08 在投 | 系统性失败归因:错误何时引入、如何传播、能否修复 |
| **PROCED-MEM** | ICLR 2026 MemAgents WS | 程序性记忆检索的隔离评测 |
| **A Practitioner's Guide to Multi-turn Agentic RL** | arXiv 2510.01132 | 多回合 agentic RL 实证指南(以 ALFWorld 为主要试验田之一) |

## 2. 趋势判断

1. **范式迁移**:2025 上半年以 training-free 方法(记忆/世界模型/prompting)为主(ACL/EMNLP 2025)→ 2025 下半年起 **agentic RL(GRPO 系)在 ALFWorld 上爆发**(NeurIPS 2025 → ICLR 2026 → ICML 2026 一届 12+ 篇)。ALFWorld 正在成为多回合 RL 的 "GSM8K"。
2. **中心问题收敛到两个**:① 稀疏奖励下的**信用分配**(GiGPO 系);② 经验的**程序化沉淀与内化**(in-context 技能 → in-weight 技能,如 2026 年大量 SkillRL/LatentSkill/Skill0.x 工作,多为预印本)。
3. **训练样本经济学**:特权教师、hindsight 重标注、on-policy 蒸馏(2026 年 ATOD/TurnOPD/SAGE-OPD 等一批预印本)都在解决"成功轨迹太贵"这一个问题。
4. **评测深化**:从"成功率"转向失败归因、记忆检索泛化、认知带宽、上下文成本等细粒度科学问题。

## 3. 给 ICLR 投稿人的定位建议(可选参考)

- 纯 ALFWorld + 又一个 RL 变体的边际贡献在收窄,ICML 2026 已见同质化风险;审稿人开始要求 **WebShop/ScienceWorld/BabyAI/TextCraft 等跨环境验证** 与跨 backbone(Qwen/Llama/GLM 系)验证。
- 尚未被充分解决、且有顶会先例支撑的空档:
  - 程序性记忆的**遗忘/冲突管理**(RoMeRL 指出的 memory-reward trap)
  - **上下文管理**(context 压缩对长程记忆-行动耦合的影响,2608.16370)
  - **失败预测 ≠ 失败预防**(2602.03338)这类"评测-干预落差"问题
  - 记忆/技能的**跨环境迁移**(ALFWorld ↔ WebShop ↔ ScienceWorld)

## 附:主要来源
- arXiv API:abs:"ALFWorld"(2025-01 至 2026-08)
- OpenReview 会议分组检索:ICLR 2025/2026、NeurIPS 2025、ICML 2026、COLM 2026
- Semantic Scholar Graph API venue 批量核验(59 篇)
- ACL Anthology / proceedings.iclr.cc 交叉确认