Stay Focused: Problem Drift in Multi-Agent Debate

EACL 2026 FindingsMulti-Agent Debateproblem driftLLM-as-Judge人因分析评测

会议: Findings of EACL 2026（pp. 5068–5102，注意是 Findings 不是主会）

arXiv: 2502.19559（v3 2026-04）

代码/数据: github.com/jonas-becker/problem-drift（含 DRIFTEval 170 样本人工标注数据集）

作者: Jonas Becker, Lars B. Kaesberg, Andreas Stephan, Jan P. Wahle, Terry Ruas, Bela Gipp（Göttingen / LKA NRW / Vienna）

领域: 多智能体系统 / NLP 评测

关键词: problem drift, multi-agent debate, FOCUS metric, DRIFTJudge, DRIFTPolicy

一句话总结 ¶

首个系统量化多智能体辩论（MAD）中"问题漂移"的工作：定义 problem drift = 讨论随轮次逐渐偏离初始任务导致性能下降，用 FOCUS 指标（相邻轮任务分差）在 10 个数据集上量化——生成类任务漂移率高达 74–89%（答案空间主观），推理/知识类 7–21% 但更致命（对→全错）；8 位人类专家归因出 8 类错误（时间性 3 类 + 局部 5 类，缺乏进展 35% 居首）；提出的 DRIFTJudge 检测基线（specificity 0.92 / recall 0.57 / precision 0.15）与 DRIFTPolicy 缓解（减弱漂移 31%，成本仅 +8.5%）。

研究背景与动机 ¶

领域现状：多智能体辩论（多个 LLM 实例轮班讨论投票）被视为提升推理与创造力的手段，还能当测试时算力的扩展方式（对标 o4/R1 类推理模型）。但复杂度上升也放大错误：幻觉传播、编排失败、无效批评。

研究缺口：已有批判性工作（如 Laban et al. 2025 多轮退化、Wang et al. 2024 成本质疑）只指出"MAD 边际收益递减"，没有回答：退化为什么发生、有多普遍、能否恢复。本文用 6 个 RQ 填坑：退化刻画（RQ1）、普遍性（RQ2）、可恢复性（RQ3）、人类专家归因（RQ4）、测试时检测（RQ5）、测试时缓解（RQ6）。

方法详解 ¶

指标设计：FOCUS 与 problem drift 的形式化

设 $(x, y)$ 为任务样本与金标，MAD 进行 $N$ 轮，每轮结束产出解 $\hat{y}^{(r)}$，$M(\hat{y}^{(r)}, y)\in[0,1]$ 为下游任务指标：

$$\mathrm{FOCUS}_r \;=\; M\!\left(\hat{y}^{(r)},\, y\right) \;-\; M\!\left(\hat{y}^{(r-1)},\, y\right) \;\in\; [-1,\, 1]$$

（相邻轮性能增量）

$$\text{problem drift} \;\iff\; \mathrm{FOCUS}_{1,M} \;=\; \sum_{r=1}^{M} \mathrm{FOCUS}_r \;<\; 0$$

（连续多轮累积负增量）

$$\text{recovered} \;\iff\; \exists\, N > M:\;\; \sum_{r=1}^{M} \mathrm{FOCUS}_r < 0 \;\;\wedge\;\; \sum_{r=1}^{N} \mathrm{FOCUS}_r \;\geq\; 0$$

设计取舍：FOCUS 刻意绑定任务指标（outcome-based），作者也测了语义相似度版本但弃用——语义变化 ≠ 性能变化。这继承了 Arike"可计算对齐"的方法学精神，但把观测点从"目标对齐"换成"任务分数轨迹"。其中 $M(\hat{y}^{(r)}, y)\in[0,1]$ 为下游任务指标（1=完全正确），N 轮讨论每轮末产出解 $\hat{y}^{(r)}$。

实验设置：MAD 沙盒

组件	设置
Agent	3 个，persona 由 Llama-3.1-70B 按"任务+样本"自动生成（专家人格）；每轮每 agent 一条消息 + 对当前解表态，不同意则提新解
轮数	7 轮（99% 案例前两轮即首次达成一致，7 轮足以观察漂移与恢复）
决策协议	Voting（每轮投票）为主，Consensus（直接改稿）验证泛化
模型	Llama-3.1-70B（8×A100）、Qwen2-7B（弱模型对照）；附录有 gpt-5-mini
任务	10 个数据集：生成 3（XSum/ETPC/WMT19，主观答案空间）+ 推理 3（StrategyQA/WinoGrande/AQUA-RAT）+ 知识 3（ETHICS/MMLU-Pro/GPQA）+ 指令遵循 1（IFEval）

检测与缓解：DRIFTJudge + 两种缓解

DRIFTJudge：LLM-as-a-judge，输入相邻两轮的解，判断是否发生漂移。刻意用与 agent 同级的模型（非更强判官），证明架构可行性而非模型能力
Regenerate：撤销漂移轮、非零温度重生成一次（简单粗暴基线）
DRIFTPolicy：加第四个"政策反馈 agent"，用 RQ4 归纳的错误类型表提示它，针对当前讨论给出改进建议（便宜：只多生成一条偶发消息）

实验关键数据 ¶

漂移率与恢复率（10 数据集）

	ETPC	XSum	WMT19	StrategyQA	WinoGrande	AQUA-RAT	GPQA	MMLU-Pro	ETHICS	IFEval
漂移率%	88.6	74.6	76.3	6.6	14.9	8.4	13.3	13.1	15.5	20.8
恢复率%	19.8	19.0	8.5	18.5	39.4	39.1	23.3	25.9	45.4	44.7

六大 RQ 结论

RQ	答案	关键数字
1 长讨论的影响	一部分受益（4–38% 改善），显著一部分受损	负漂移占比 4.7%（StrategyQA）~ 69.9%（ETPC）
2 普遍性	生成任务漂移最频繁（主观答案空间→小步累积退化）；复杂任务漂移少但更严重（对→全错）；漂移与复杂度无关、与主观性强相关	生成 74.6–88.6% vs 推理/知识 6.6–15.5%
3 可恢复性	低复杂度任务恢复率高；复杂推理+主观答案恢复最低	ETHICS 45.4% / IFEval 44.7% vs WMT19 8.5%
4 人类归因	8 类错误：时间性（缺乏进展/低质反馈/低质参与）+ 局部（缺乏清晰度/任务不合规/知识缺口/逻辑/语言）	缺乏进展 60/170（35%）、低质反馈 45（26%）、缺乏清晰度 43（25%）；"None of these"仅 17% 上界
5 检测	DRIFTJudge 高特异度、中召回、低精度（假阳性会误触缓解，是最大短板）	specificity 0.92 / recall 0.57 / precision 0.15 / accuracy 0.91（MMLU-Pro）
6 缓解	DRIFTPolicy 缓解 30.6% 漂移；弱模型收益大、强模型用 Regenerate 更好；总成本仅 +8.5%	Qwen2-7B 性能降幅 −3.66%→−0.08%；Llama Regenerate −4.65%→−2.59%；never-drift 比 86.9%→90.4%

亮点与洞察 ¶

任务类型 × 漂移模式的二分法：主观答案空间 → 高频小步漂移（改写措辞累积退化）；客观答案空间 → 低频悬崖漂移（一致性从对翻到错）——两类需要不同的检测粒度，这是后续工作的路标；
人类归因分类法是可复用资产：temporal（跨消息：无进展/低质反馈）vs local（单消息内：任务不合规/逻辑错误）的两分，与 Degeneration-of-Thought（Liang 2024）接上了理论线；DRIFTEval 170 样本开源可直接用作训练检测器的种子数据；
persona 副作用发现：专家人格会放大个体偏好压过任务合规（IFEval 上尤其明显）——给"角色扮演增强"路线敲警钟；
意外发现：辩论中还出现 23 例语言错误（typos/语法/重复生成）——推理增强与语言质量可能此消彼长（呼应 DeepSeek-R1-Zero 现象）；
诚实的成本账：+8.5% 算力买 31% 漂移缓解，且明说"若算力是首要考虑，就不该用 MAD"——这种坦率在方法论文里少见。

局限性 ¶

人工分析只看漂移轮及其前一轮（3+3 条消息），未覆盖完整讨论史——可能漏掉长程致因；agent 的上下文记忆同样限制在一轮内，与真实 MAD 设置有差距；
DRIFTJudge 的 precision 0.15 过低，作为触发器的实用价值受限（假阳性浪费缓解预算）；
缓解效果是增量的（强模型最多挽回约 2pp），未解决根本问题；作者自己说"not a solved issue"；
MAD 设置单一（3 agent/7 轮/memory 范式），轮数与人数的敏感性未系统扫过。

vs Arike et al. 2025（goal drift 开山作）：Arike 测单 agent 对系统目标的偏离（对齐泛函，环境内互斥目标），本文测多 agent 讨论对任务的偏离（任务分数轨迹，通用任务）——观测对象与指标都不同，互补；
vs LLMs Get Lost in Multi-Turn Conversation（Laban 2025）：那是单模型多轮能力退化（把指令拆碎的 simulation），本文是多 agent 交互特有的社会性退化（过度同意、无效批评）——退化来源不同；
vs Drift No More（AAAI'26 WS）：那篇建分布距离的动力学模型（KL 轨迹+平衡态），本文建任务分数的统计+人因归因——理论化 vs 实证归因，正交；
vs Why Do Multi-Agent Systems Fail（MAST）：MAST 是多智能体失败模式总分类学，本文聚焦其中一个动态现象（drift）并做量化与缓解——专项深化。

评分 ¶

新颖性⭐⭐⭐⭐问题命名+FOCUS 指标+人因归因三件套，MAD 漂移首个系统研究

实验充分度⭐⭐⭐⭐10 数据集 × 双协议 × 双模型 + 8 人标注 170 样本；但缓解只在一个数据集细报

写作质量⭐⭐⭐⭐RQ 驱动结构清晰，成本披露坦率

价值⭐⭐⭐⭐DRIFTEval 数据集与错误分类法对后续检测器训练直接可用；对"我们的课题"提供漂移归因编码手册