1 引言
受社会选择理论（Endriss, 2017）启发，近期研究开始利用多个大语言模型（LLM）解决复杂推理任务，以弥补单模型在模块化与答案多样性上的局限（Yin et al., 2023; Chen et al., 2024; Sun et al., 2024）。被赋予不同专长、记忆、规划与工具使用能力的智能体（Chen et al., 2024; Sun et al., 2024; Zhuang et al., 2023; Baker et al., 2020）可以模拟人类交互来解决问题（Guo et al., 2024; Becker, 2024）。近期工作突出了 MAD 在推理与创造力方面的优势（Zhao et al., 2023; Xu et al., 2023; Suzgun and Kalai, 2024）。MAD 还能扩展测试时算力以解决具有挑战性的任务，效果可与 OpenAI o4（OpenAI）、DeepSeek R1（Guo et al., 2025）等推理模型相当，且可能比扩展训练算力或数据更有效（Snell et al., 2024）。
然而，MAD 复杂度的提升也会诱发错误与不良行为（如幻觉传播）（Guo et al., 2024）。辩论中产生的问题包括智能体编排（Wang et al., 2024b; Shah and White, 2024）、规划能力下降（Valmeekam et al., 2023）以及 LLM 生成的无效批评（Stechly et al., 2023）。尽管如此，MAD 为何失败、失败为何发生，在很大程度上仍不清楚。MAD 如何避免无效批评之类的问题仍不确定——而这正是高质量辩论与可靠结果的关键。针对已有工作识别出的少数错误，目前提出的缓解方法也很少。
本文系统分析了导致 MAD 性能退化的错误。通过自动化方法与人工评估，我们观察到多智能体系统可能在长讨论中崩溃。在某些辩论中，智能体之间的交流随时间恶化，漂移到无法恢复、无法完成原始任务目标的地步。我们将这一现象称为问题漂移并研究其深层原因与影响。为了在 MAD 中事后识别问题漂移，我们提出 FOCUS——一个简单而有效的指标，用于度量进行中讨论的质量。我们的结果表明，问题漂移在所有测试任务上都会发生，在生成式任务中最普遍（76%–89% 的样本），其次是指令遵循任务（21% 的样本）。大多数被观察到的漂移不会恢复。一旦讨论漂移，智能体往往无法得出任务的正确解，仅在 9% 的翻译样本与 45% 的伦理问答样本中例外。为了在测试时识别并缓解问题漂移，我们提出 DRIFTJudge 与 DRIFTPolicy。DRIFTJudge 作为 LLM-as-a-judge（Zheng et al., 2023）识别问题漂移；DRIFTPolicy 则引入一个策略反馈智能体（Fu et al., 2023），为参与辩论的智能体提供建议以改进辩论。图 1 展示了 MAD 过程中 DRIFTJudge 与 DRIFTPolicy 的动态关系。我们证明 DRIFTPolicy 能将发生漂移的讨论数量减少 31%，对较弱的模型智能体最多提升 3.6% 的任务准确率。
通过询问八位人类专家，我们识别出 MAD 中问题漂移发生的八个原因，并将其分为时间性错误（如缺乏进展）与局部错误（如任务不合规）两类。智能体讨论尤其容易出现缺乏进展（35% 的漂移样本）的情形，这会导致智能体过度分析问题并给出低质量反馈。本研究可视为对 MAD 的系统分析，展示了 prolonged（长时间）智能体交互的固有局限。我们公开了代码与数据。1
1 github.com/jonas-becker/problem-drift
2 相关工作
自最早的聊天机器人2以来，人类一直着迷于计算机以类人方式交流的能力。LLM 在推理与解决复杂任务上的最新进展（OpenAI et al., 2024）引发了多智能体系统研究的热潮（Zhao et al., 2023; Xu et al., 2023; Suzgun and Kalai, 2024）。Guo et al.（2024）对多智能体 LLM 进行了文献综述，其分类学指向两大应用领域：模拟与问题求解。我们选择探索问题求解，因为这些任务提供了可控环境，可以探测多智能体交互中的各个组件（Yin et al., 2023; Du et al., 2023）。
2 ELIZA 与 PARRY 之间有记录的首次对话见 RFC 439。
支持性工作。若干工作突出 MAD 的优势，包括发散思维（Liang et al., 2024）、推理（Yin et al., 2023）、创意写作（Schick et al., 2022）、对话生成（Chen et al., 2024）与心智理论（Li et al., 2023）。这些工作常使用提示人格（Wang et al., 2023b; Xu et al., 2023）以及自洽性等自纠正机制（Wang et al., 2023a）的对话式设置。然而，这些研究在实验设置上异质（如智能体编排、决策方式、提示词），阻碍了可比性（Becker, 2024; Guo et al., 2024）。
批判性工作。另一些研究者研究多智能体系统的局限。微软与 Salesforce 的工作近期表明，许多 LLM 在多轮设置下的生成式问题上表现更差，存在系统性性能退化（Laban et al., 2025）。Wang et al.（2024b）与 Zhang et al.（2025）关注 MAD 的计算成本，表明单智能体 LLM 常可通过提示达到相似甚至更好的表现。包含自批评机制的系统（如 MAD）可能削弱规划性能（Valmeekam et al., 2023）。LLM 生成批评的正确性与内容可能与迭代提示的性能无关（Stechly et al., 2023）。Shah and White（2024）认为 MAD 存在泛化、可扩展性、协调、鲁棒性与伦理等许多问题。
研究缺口。我们强调，MAD 对需要发散输入或模块化方案的问题是有价值的。尽管已有文献指出 MAD 随时间延长收益递减，其原因仍未被充分探索。本文通过刻画 MAD 性能退化（RQ1）、其普遍性（RQ2）、智能体能否从中恢复（RQ3）来填补这一缺口。我们通过人工评估系统研究可能的原因与影响（RQ4），并提出检测（RQ5）与恢复（RQ6）退化讨论的首个基线。
3 问题漂移
我们引入 MAD 中问题漂移的概念，将其定义为：当智能体逐渐偏离初始任务时，基于轮次的任务性能发生的系统性衰减。为量化这一效应，我们提出 FOCUS 来度量解的质量在连续若干轮中相对上一轮的变化。
设 $(x, y)$ 为某数据集中一个任务样本的输入与金标签对。一个多智能体系统进行 $N$ 轮讨论。在每轮 $r \in \{1,\dots,N\}$ 结束时，智能体尝试通过给出答案 $\hat{y}^{(r)}$ 来求解 $x$。设 $M(\hat{y}^{(r)}, y)\in[0,1]$ 为比较金标解与 MAD 产出解的下游性能指标，其中 1 对应正确解、0 对应错误解，介于 0 与 1 之间的值可表示非二值解的部分正确。我们定义问题聚焦度（problem focus，下称 FOCUS）为：
若 $\mathrm{FOCUS}_r < 0$，解的质量在第 $r$ 轮发生退化；若 $\mathrm{FOCUS}_r > 0$，解得到改善。FOCUS 刻意以任务表现为结果型得分。我们也在附录 C 中测试了基于语义相似度的替代方案，但发现两个主要局限，故不适用于本工作。
问题漂移。若当前解的性能在多轮中低于此前某轮讨论的解，则称该进行中的讨论发生了问题漂移。设 $M$ 为一个任务样本的连续讨论轮数。若满足下式，则称辩论从第 1 轮到第 $M$ 轮发生强度 $\delta \in [-1, 0]$ 的问题漂移：
我们用 FOCUS 值的简单求和来定义问题漂移，以建模辩论轮次间任务表现的偏移。
恢复。若讨论回到或超过问题漂移发生前的性能水平，则称该样本从问题漂移中恢复。若存在 $N, M$（$N > M$）使得：
则称该讨论已从问题漂移中恢复。
4 方法论
本节说明本研究的多智能体环境、我们提出的问题漂移检测与缓解方法，以及数据集与指标。
4.1 辩论设置
我们定义运行 MAD 的三个组件：智能体接口、讨论范式与决策协议。对每个任务，我们创建三个具有不同专家人格的智能体（Xu et al., 2023; Shi et al., 2023）。选择三个智能体是遵循先前工作的超参数（Chen et al., 2024; Yin et al., 2023）。这些人格由 Meta-Llama-3.1-70B-Instruct（Grattafiori et al., 2024）自动生成，会诱导一组偏好（如“执业律师”），并随任务与样本变化（示例与细节见附录 F）。第二，我们运行总共七轮对话。我们发现 99% 的情况下，智能体在前两轮内即达成首次一致。因此选择七轮以充分捕捉长时间智能体交互的效应。这与其他 MAD 设置一致（Yin et al., 2023），并使我们能够分析漂移后的恢复。每个智能体在每轮生成一条新消息，并表明其对当前解的赞同与否。所有智能体都能看到彼此的消息。若某智能体不同意，则同时提出新解。
最后，我们采用两种研究者常用的决策协议，以确保结论可推广到不同对话设置（Yin et al., 2023; Kaesberg et al., 2025; Yang et al., 2024）。其一是对讨论过的候选解进行投票以得出该轮的最终解（Yang et al., 2024）。遵循先前工作，智能体可访问上一轮消息与此前投票的解（Pagnoni et al., 2021; Zhang and Zong, 2020）。其二是共识：每个智能体在其轮次直接修改当前草稿（Yin et al., 2023）。我们在 8 块 NVIDIA A100 上运行 Meta-Llama-3.1-70B-Instruct，在 2 块 40GB A100 上运行 Qwen2-7B-Instruct。主结果使用 Llama-3.1 与投票协议，同时报告 Qwen2 与共识协议的结果以确保发现的普适性。我们的目标是表明问题漂移与 FOCUS 并不专属于某个多智能体系统的特定设计，而是适用于任何具有中间解的 MAD。由于框架3与代码4均开源，确切的设置可以被查证，所有实验均可复现。
4.2 缓解设置
从我们新提出的问题漂移定义出发，一个自然的问题是：即便（在测试时）无法确定漂移是否存在，我们能否缓解它。
4.2.1 用 DRIFTJudge 检测
我们旨在测试时（金标签未知）识别问题漂移的发生。受 LLM-as-a-judge（Zheng et al., 2023）启发，我们提出检测问题漂移的首个基线：它接收焦点轮与其后相邻轮的解，评估问题漂移是否发生。为确保结果来自架构变化而非模型能力，我们不使用强大的微调模型作为判官，而是让 DRIFTJudge 使用与智能体相同的模型。这一缓解思路与具体模型无关，也可以使用轻量分类器或模型。
4.2.2 缓解方法
我们提出两种在检测到漂移时恢复辩论的缓解方法：重新生成发生漂移的焦点轮，或使用提供情境化反馈的 DRIFTPolicy 智能体。
Regenerate（重生成）。我们撤销发生问题漂移的轮次，并以非零温度重新生成该轮。每轮只重生成一次。
DRIFTPolicy。我们在漂移轮末尾引入第四个智能体，就如何改进当前对话、解决导致问题漂移的问题提供反馈。DRIFTPolicy 受 Fu et al.（2023）的策略反馈智能体以及 Kirstein et al.（2025）中使用错误类型的反馈机制启发。反馈生成的提示词见附录 D。
4.3 数据集与指标
数据集。我们从四个领域选择十个数据集：三个生成式任务（XSum、ETPC、WMT19）、三个推理任务（StrategyQA、WinoGrande、AQUA-RAT）、三个知识任务（ETHICS、MMLU-Pro、GPQA）与一个指令遵循任务（IFEval）。经定性评估，我们将 StrategyQA、AQUA-RAT 与 MMLU-Pro 识别为复杂任务，因为它们需要更多推理步骤才能解决。生成式任务 ETPC、XSum 与 WMT19 的特点在于主观性——存在歧义或多个有效解。由于 MAD 消耗大量测试时算力，评估数据集子集已成为研究多智能体系统的通行做法（Yin et al., 2023; Chen et al., 2024），我们遵循这一做法。采样过程的细节见附录 E。
指标。多选数据集（ETHICS、GPQA、MMLU-Pro、StrategyQA、WinoGrande、AQUA-RAT）用准确率评估；生成式任务（ETPC、XSum、WMT19）用 BERTScore（Zhang et al., 2019）；IFEval 用"strict"准确率（Zhou et al., 2023）。
5 实验
我们通过回答一系列关于问题漂移的研究问题来呈现实验。
答：虽然部分辩论受益于更长的交互，但有相当比例的讨论性能退化——即我们所识别的问题漂移。
表 1 展示了进行中 MAD 的性能趋势。我们观察到一些讨论（3.7%–37.9%）受益于更长的 MAD，相比第一轮性能有所提升。然而，相当一部分讨论（4.7%–69.9%）出现负的问题聚焦，导致长辩论中性能下降。生成式任务（如 WMT19）数量最大（54–69.9%），因为其答案空间具有主观性；推理与知识任务（如 StrategyQA、MMLU-Pro）则表现为零星的失焦（4.7–8.7%）。然而，推理与知识任务上一旦失焦就更严重——智能体会从正确解切换到完全错误的解。问题漂移同样影响伦理对齐（8.2%，ETHICS）与指令遵循（11.8%，IFEval）。值得注意的是，负的问题聚焦（即问题漂移）在所有任务上都不同程度地存在。
| 组 | 数据集 | 保持高性能 (>0.7) | 保持低性能 (<0.7) | 改善 (FOCUS>0) | 退化（漂移） (FOCUS<0) | 总样本 |
|---|---|---|---|---|---|---|
| 生成式 | ETPC | 2.0%（22） | 1.9%（21） | 26.5%（287） | 69.5%（753） | 1083 |
| XSum | 0.3%（3） | 7.9%（91） | 37.9%（438） | 54.1%（626） | 1158 | |
| WMT19 | 14.0%（143） | 3.0%（31） | 13.2%（135） | 69.9%（714） | 1023 | |
| 推理 | StrategyQA | 72.2%（715） | 18.3%（181） | 3.7%（37） | 5.8%（57） | 990 |
| WinoGrande | 63.4%（561） | 21.3%（188） | 6.8%（60） | 8.6%（76） | 885 | |
| AQUA-RAT | 70.5%（537） | 21.0%（160） | 3.8%（29） | 4.7%（36） | 762 | |
| 知识 | GPQA | 33.2%（225） | 49.9%（338） | 8.1%（55） | 8.7%（59） | 677 |
| MMLU-Pro | 51.7%（578） | 35.7%（399） | 4.0%（45） | 8.7%（97） | 1119 | |
| ETHICS | 64.0%（675） | 22.0%（232） | 5.7%（60） | 8.2%（86） | 1053 | |
| 指令遵循 | IFEval | 60.4%（898） | 21.7%（323） | 6.1%（90） | 11.8%（175） | 1486 |
更长的讨论为中间错误提供了更多机会。这有两方面意义。第一，这些错误损害问题求解中的任务表现，使收益更不可靠，令其成本收益比（考虑到算力需求）受到质疑。第二，若智能体在持续辩论中不可靠，则在高风险、以人为中心的应用中部署自主智能体时，会引发对失当行为与有害决策的担忧（Hua et al., 2024; Mukobi et al., 2023）。有人可能将辩论限制为单轮以彻底避免问题漂移。但这将错失 4–38% 的 FOCUS 为正的辩论的潜在性能收益。此外，对某些本质上就是多智能体、涉及高级推理链或（半）自主多智能体系统的场景（Slonim et al., 2021），回避持续辩论可能并不可行。
在许多情况下，MAD 期间的性能保持稳定，既不升也不降。鉴于相关工作强调的 MAD 收益（Yin et al., 2023; Schick et al., 2022），这出乎意料。正如后续实验所示，MAD 的成功部分取决于单场讨论的成败以及少数讨论不发生漂移这一事实。成功还取决于任务与对话设置，如智能体编排与决策方式（Guo et al., 2024），相关工作中这些可能被精心设置过。我们随后表明，问题漂移在共识与投票两种决策方式下普遍发生，并影响不同基础模型与模型规模（见表 8）。
答：生成式任务因答案空间的主观性而频繁漂移（76–89%）。客观且高复杂度的任务漂移较少（7–21%）但更严重。
表 2 展示所有数据集上发生问题漂移样本的统计。"漂移样本"列为辩论中任一时刻发生问题漂移的样本百分比；"平均轮数"列为辩论中解处于漂移状态的平均轮数。生成式任务（ETPC、XSum、WMT19）的讨论频繁漂移，XSum 有 74.6% 的样本漂移，ETPC 甚至达 88.6%。我们常观察到智能体对解的措辞与用词提出微小改动。生成式任务的漂移轮数也最多，其特点是 MAD 中的小步增量修改，导致 FOCUS 的小而累积的损失。知识与推理任务的漂移介于 6.6%–15.5%。多选设置提供的答案选项帮助智能体保持正轨、减少漂移。任务的主观性影响问题漂移的发生，但不是唯一因素。StrategyQA（6.6%）与 AQUA-RAT（8.4%）上较少的问题漂移表明漂移不受任务复杂度影响。可能的解释是：需要多个推理步骤的复杂任务没给智能体留下多少辩论无关改动（如审美、改写）的余地，从而使贡献更有价值；而主观性任务（如 WMT19 的歧义）与较不复杂的任务（如 ETHICS）可能因智能体过度贡献或提供无意义信息而受害。我们的多智能体设置在 IFEval 上尤其容易漂移（20.8%）——智能体对如何正确遵循指令尤其犹豫不决，常提及与目标任务无关的要点，通过浅薄或无用的反馈引发漂移。
| 数据集 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| 指标 | ETPC | XSum | WMT19 | StrategyQA | WinoGrande | AQUA-RAT | GPQA | MMLU-Pro | ETHICS | IFEval |
| 漂移样本（%） | 88.6±0.8 | 74.6±0.7 | 76.3±2.7 | 6.6±0.6 | 14.9±1.8 | 8.4±2.1 | 13.3±1.1 | 13.1±0.6 | 15.5±1.2 | 20.8±1.7 |
| 恢复率（%） | 19.8±1.8 | 19.0±1.0 | 8.5±0.3 | 18.5±5.7 | 39.4±4.8 | 39.1±4.4 | 23.3±3.0 | 25.9±7.8 | 45.4±5.4 | 44.7±4.9 |
| 平均漂移轮数 | 2.23±0.04 | 1.29±0.07 | 1.42±0.05 | 0.07±0.00 | 0.17±0.03 | 0.09±0.02 | 0.14±0.01 | 0.14±0.00 | 0.18±0.01 | 0.25±0.02 |
答：任务复杂度较低的问题恢复率高达 45%。需要复杂推理且答案空间主观的任务恢复率低至 9%。
表 2 的"恢复率"列显示漂移样本中在辩论中恢复（性能追平或超过漂移前）的百分比。指令遵循（IFEval，44.7%）与伦理问答（ETHICS，45.4%）的恢复率最高；更复杂的任务（18.5%–39.1%）与主观任务（8.5%–19.8%）恢复率较低。需要复杂策略规划的 StrategyQA 仅有 18.5% 的漂移样本恢复；存在歧义与多种可行译文的 WMT19 仅 8.5% 恢复。问题漂移与任务复杂度和主观性都相关。我们还观察到若干智能体出现冗余与循环行为、过度分析问题、过度同意错误提案的案例。
答：时间性错误与局部错误都伴随问题漂移出现。最常见的是缺乏进展，进而导致智能体给出低质量反馈与缺乏清晰度。
我们用 FOCUS 抽取 170 个发生问题漂移的样本，并通过两步法与八位人类专家一起识别漂移原因。第一步，我们用 Meta-Llama-3.1-70B-Instruct 从大量漂移对话中自动生成错误类型集合，用 ChatGPT-4o5 汇总并人工核查。第二步，八位专家对 170 个漂移辩论的子集进行标注，以确定各错误类型的相关性。我们为标注者保留了额外说明的空间。在系统性与人工评估中，我们抽取讨论的相关片段以控制上下文长度——即漂移轮的前一轮三条消息与漂移轮的三条消息。这是合理的，因为辩论中智能体的上下文记忆同样限制在一轮内。标注流程细节见附录 I。我们公开发布 DRIFTEval——包含 170 个样本、人工标注与标注指南的数据集。
5 版本：2024 年 12 月 3 日。
我们将错误类型分为局部错误（单条消息内自含）与时间性错误（依赖消息间的上下文关系）。表 3 展示与问题漂移伴随出现的错误类型及专家归入各类的样本数。最常见的是缺乏进展（60/170）。长对话中智能体常重复彼此的论点，无法为讨论带来新想法。我们发现这与思维退化（Degeneration-of-Thought，Liang et al., 2024）相关——描述单个 LLM 在持续自反思中无法产生新想法。但缺乏进展本身不直接导致问题漂移，因为性能下降需要对最终答案的改动。进一步调查发现，缺乏进展常与其他错误类型并发（如低质量反馈 45 例、缺乏清晰度 43 例）。当智能体收敛到一个解、对话变得冗余时，它们倾向于对解提出损害任务表现的小步增量修改。人工评估表明，过度分析与过度批评的建议与问题漂移高度相关（如智能体难以把握批评的合适范围）。我们还注意到智能体不遵守任务要求的案例（如结果包含多个候选答案）。这在以指令遵循为主要目标的 IFEval 上尤为突出。任务合规性在辩论中受损的一个可能原因是：人格放大了智能体的偏好，在某些情况下使个人偏好高于任务合规。
MAD 还在讨论片段中产生了 23 处语言错误（如错别字或语法错误）。我们发现智能体有时会陷入重复生成。这一发现令人意外，因为当今的 LLM 被认为在语言能力上高度胜任（Grattafiori et al., 2024）；这引出了推理能力的提升可能以语言质量退化为代价的疑问，DeepSeek-R1-Zero 的近期工作也观察到类似现象（Guo et al., 2025）。由于我们使用模型默认参数（见附录 B），我们预期其因果与我们的特定模型设置无关。提示风格或消息间的话语关系可能是混杂因素。人类专家仅 8 次选择"其他"标签，表明我们提供的列表是完备的。29/170 的案例中标注者选择"以上皆非"，我们将其解读为所给类别在片段中没有明显错误，而非任务分数未下降的证据。这使得 17% 成为人工判断与我们更严格的、基于度量的漂移概念之间分歧的上界；它既不对应 FOCUS 在整个语料上 17% 的假阳性率，也不影响我们依赖任务指标的定量结论。所有错误类型的示例见附录 F。
| 类别 | 错误类型 | 含义说明 | 案例数 |
|---|---|---|---|
| 时间性 | 缺乏进展 | 低效、冗余、循环讨论、重复、无产出的分歧 | 60 |
| 低质量反馈 | 过度批评、过度同意、自相矛盾的反馈、无用的反馈 | 45 | |
| 低质量参与 | 协作差、参与极少、贡献割裂、无视他人 | 25 | |
| 局部 | 缺乏清晰度 | 过度分析、过度泛化、无意义的修改 | 43 |
| 任务不合规 | 跑题、指令遵循差 | 35 | |
| 知识缺口 | 臆断、缺乏数据、虚构事实、错误引用 | 28 | |
| 逻辑错误 | 缺乏常识、推理错误 | 28 | |
| 语言错误 | 流畅性、语法错误、代词错误 | 23 | |
| 其他 | 无问题漂移 | （人工判断与度量口径的分歧上界 17%） | 29 |
| 其他 | 不属于以上任何类别 | 8 |
答：我们的 DRIFTJudge 特异度高（0.92）但召回适中（0.57）、精度低（0.15）。
我们报告 DRIFTJudge 在 MMLU-Pro 上的表现：特异度 0.92、精度 0.15、召回 0.57、准确率 0.91。尽管 DRIFTJudge 准确率高，检测问题漂移的精度仍有很大提升空间。对 DRIFTJudge 而言最小化假阳性至关重要，因为讨论并未真正漂移时它不应触发任何缓解。本文为后人检测问题漂移提供了初始基线。在局部与时间性错误类型（表 3）上微调模型可能有助于构建更鲁棒的检测器。
答：我们的 DRIFTPolicy 能有效缓解 30.6% 的漂移样本，改善长辩论的任务表现。
表 4 展示各缓解方法下"漂移""从不漂移"的样本数及"从不漂移"占比。为使缓解效果的量化独立于检测性能，我们用 FOCUS 判定问题漂移何时发生并触发缓解方法。使用 Regenerate 时，从不漂移讨论的比例为 90.4%，而无任何缓解的多智能体基线为 86.9%。使用 DRIFTPolicy（依据 RQ4 识别的问题提供针对性反馈，见表 3）时，该比例提升至 89.4%。DRIFTPolicy 的能力来自用所识别的错误类型提示反馈智能体。
| 缓解方法 | 漂移 | 从不漂移 | 从不漂移占比 |
|---|---|---|---|
| 无（MAD 基线） | 49.0±2.2 | 324.0±2.2 | 86.9%±0.6 |
| DRIFTPolicy | 39.7±6.2 | 333.3±6.2 | 89.4%±1.7 |
| Regenerate | 35.7±2.1 | 337.3±2.1 | 90.4%±0.6 |
任务表现表明，任一缓解方法（DRIFTPolicy 与 Regenerate）配合 DRIFTJudge 都能减少持续 MAD 中的性能下滑。七轮辩论在投票决策下平均带来 −4.65 个百分点的准确率下降。投票决策从我们的缓解策略中获益最多。对较弱的模型智能体（Qwen-2-7B）使用 DRIFTJudge 与 DRIFTPolicy，我们将性能下滑从 −3.66 个百分点缓解到 −0.08 个百分点。有趣的是，若模型本身已非常强大，通过 DRIFTPolicy 改善表现就更困难——此时重生成漂移轮是更好的选择，将差值从 −4.65 改善到 −2.59 个百分点。性能提升看似增量，因此需要成本收益分析。我们指出，DRIFTPolicy 比重生成对话轮更省算力——只需偶尔生成一条额外消息。与默认 MAD 相比，DRIFTJudge 与 DRIFTPolicy 组合仅增加 8.5% 的计算成本（在原本就已昂贵的七轮辩论之上）——这凸显：若计算成本是首要考量，通常应考虑 MAD 范式之外的方案。更多表现细节见附录 G，计算分析见附录 J。
目标是进一步改进问题漂移的缓解，使 MAD 保持高 FOCUS 以提升任务表现。在那之前，增量改进仍然有意义——因为将 MAD 限制为单轮可能不可行（如对（半）自主系统，Slonim et al., 2021），或会错过 4–38% 样本上的性能收益（见 RQ1）。本工作的范围是理解问题漂移在何处发生、原因是什么、以及从中恢复是否现实。尽管 DRIFTJudge 与 Regenerate 部分地应对了问题漂移，这仍非已解决的问题——并非所有漂移案例都被缓解。一个有趣的方向是微调智能体使其为 MAD 做出高质量贡献，其中也可用到我们提出的 FOCUS 指标。负例感知微调在推理任务上已展现近期成功（Wang et al., 2024c），我们带有人工标注错误类型的 DRIFTEval 数据集可能对此有用。
6 结论
本工作识别了 MAD 中的问题漂移（problem drift）——一种性能退化现象。我们在十个数据集、十种不同任务上做实验量化问题漂移，发现它在所有任务上都会发生。实验表明问题漂移影响 7%（StrategyQA）到 89%（ETPC）的辩论，尤其在讨论低复杂度与生成式问题时。我们提出 DRIFTJudge 与 DRIFTJudge 之外的首个缓解基线 DRIFTPolicy。DRIFTPolicy 降低了问题漂移的发生，对较弱智能体缓解了 30.6% 的问题漂移。我们通过八人人工评估刻画了八种错误类型，归入两大类：时间性（缺乏进展、低质量反馈、低质量参与）与局部（缺乏清晰度、任务不合规、知识缺口、逻辑错误、语言错误）。我们公开了代码、DRIFTEval 数据集与人工标注。
未来工作可探索智能体讨论与任务无直接相关但有助深度推理的新想法的角色。另一些有趣方向包括比较人类与智能体辩论的内部动态（如探索性、简洁性、论证结构的差异）。可以追问：问题漂移是否是多智能体系统在探索新想法与解时的固有属性——正如人类在讨论中探索不同推理路径那样。我们的发现表明，在某些情况下智能体漂移后会在讨论后期恢复；但这些智能体仍持续容易出现简单的时间性与局部错误。
局限性
MAD 中海量的生成文本会妨碍对讨论的定性人工分析，因为标注昂贵。本人工研究只考察了漂移轮及其紧邻前一轮。这一决定提供了搜索智能体在辩论中所犯局部与短上下文时间性错误的合理空间，但未考虑完整讨论历史——其中可能包含有价值的信息。为使错误类型上的发现与真实 MAD 保持可比，我们在所有实验中将智能体的上下文长度同样限制为当前轮与上一轮。
我们的 DRIFTJudge 需要转发相邻两轮的解，计算上可能昂贵。DRIFTJudge 与 DRIFTPolicy 组合带来 8.5% 的计算成本增加（见附录 J 表 10）。本项目未受此限制，但需注意：对生产环境，在漂移与非漂移样本上微调更省算力的分类器（如 BERT，Sun et al., 2020）可能是有前景的替代方案。
附录要点（A–J，节译）
以下为附录各节的要点中文摘译。完整提示词模板、标注指南全文与全部附表请参见原文（arXiv:2502.19559）。
附录 A MALLM 框架
实验基于开源框架 MALLM（Becker et al., 2025）。人格自动分配：显式提示另一个 LLM（Meta-Llama-3.1-70B-Instruct）为每个样本生成三个多样的专家人格，遵循 Solo-Performance-Prompting（Wang et al., 2023b）与 Meta-Prompting（Suzgun and Kalai, 2024）的做法。讨论范式采用 Yin et al.（2023）定义的记忆范式：所有智能体每轮各贡献一次，且可见全部信息。每轮末的投票机制允许固定讨论长度的同时每轮都产出可评估的解；平票时随机选择（仅发生于 0.65% 的投票）。
附录 B 参数
遵循所用模型的默认参数；实现使用 langchain 0.1.16 与 openai 1.25.0；温度 = 1.0。
附录 C 基于语义的 FOCUS 替代方案
我们测试了基于嵌入相似度的 FOCUSSim 变体，但发现两个主要局限使其不适用于本工作：（1）语义变化不必然对应任务性能变化；（2）数值不可比。比较见表 5。
附录 D 提示词模板
包含六组提示词：智能体讨论贡献提示（图 3）、解抽取提示（图 4）、轮末投票处理提示（图 5）、人格自动分配提示（图 6）、LLM-as-a-judge 提示（图 7）与策略反馈智能体提示（图 8）。全文见原论文附录 D。
附录 E 数据集采样
因讨论需要生成大量 token 而算力有限，仅评估数据集子集。以 95% 置信区间与 5% 误差边际（MoE）、保守假设样本比例 p=0.5（Cochran, 1953）计算子集规模：n = Z²₀.₉₇₅ · p(1−p)/MoE² = 1.96² · 0.5(1−0.5)/0.05² ≈ 384.16 → 385，再经有限总体校正。各数据集实际采样数见表 6。
附录 F 人格与错误类型示例
提供各任务的自动生成人格示例（如法律、语言、领域专家组合）以及八种错误类型的真实讨论片段示例。
附录 G 补充结果
表 7（MMLU-Pro 上第 1 轮与第 7 轮的任务准确率，%）：
| 设置 | Llama-3.1-70B 投票 | Llama-3.1-70B 共识 | Qwen2-7B 投票 | Qwen2-7B 共识 | ||||
|---|---|---|---|---|---|---|---|---|
| 轮次 | 1 | 7 | 1 | 7 | 1 | 7 | 1 | 7 |
| MAD（基线） | 60.32±2.0 | 55.67±1.9 | 59.70±1.6 | 57.46±2.8 | 42.90±1.5 | 39.23±3.0 | 43.61±1.0 | 41.17±1.7 |
| DRIFTJudge+DRIFTPolicy | 63.27±1.5 | 60.14±1.0 | 60.80±1.9 | 56.72±1.3 | 40.21±1.2 | 39.41±2.7 | 41.91±4.4 | 39.50±4.4 |
| DRIFTJudge+Regenerate | 58.98±3.1 | 56.39±3.6 | 61.16±2.2 | 57.80±2.2 | 42.27±2.6 | 38.07±1.2 | 39.71±2.8 | 35.69±1.2 |
表 8（第 7 轮相对第 1 轮的准确率变化 Δ，百分点）：
| 模型/决策 | Llama 投票 | Llama 共识 | Qwen2 投票 | Qwen2 共识 |
|---|---|---|---|---|
| MAD（基线） | −4.65±1.9 | −2.23±1.3 | −3.66±1.5 | −2.44±0.7 |
| DRIFTPolicy+DRIFTJudge | −3.13±2.4 | −4.08±0.8 | −0.08±1.5 | −2.41±0.1 |
| Regenerate+DRIFTJudge | −2.59±1.3 | −3.37±1.5 | −4.2±1.7 | −4.02±1.3 |
表 9 为 gpt-5-mini 的补充结果，趋势一致。
附录 H 共识协议示例
附录 I 人工评估（DRIFTEval 标注）
为获得简洁的问题漂移诱因集合，我们人工核查第一步生成标签的正交性，消除冗余项并将其余原因归入共九个类别（完整列表见表 3）。随后邀请八位自然语言处理领域的人类专家，共同使用该错误列表标注 170 场漂移讨论。标注者为三名博士生与五名研究助理，年龄 21–31 岁。要求他们基于与问题漂移相关的两轮消息与解（漂移前一轮与造成漂移的轮次）选择一个或多个错误类型——设置此限制是为控制人类可处理的上下文规模。每位专家承担一部分工作量；因复杂标注流程的成本，标注者之间样本无重叠，但要求为所选择标签提供简要理由，该说明也包含在最终数据集中。考虑到系统性抽取可能遗漏重要错误类型，我们为标注者提供"其他"字段并可解释；同时提供"以上皆非"字段，以捕捉可能被误抽取为漂移样本的情形（如评估或数据集噪声）。我们公开发布含 170 个样本及人工标注的 DriftEval 数据集。
附录 J 计算成本
| 方法 | 平均计算时间 |
|---|---|
| MAD（基线） | 7.062 s |
| DRIFTJudge + DRIFTPolicy | 7.665 s（+8.5%） |
| DRIFTJudge + Regenerate | 8.260 s |
参考文献
参考文献列表与原文一致（约 80 条，含 Endriss 2017 社会选择理论、Du et al. 2023 多智能体辩论、Laban et al. 2025 多轮退化、Fu et al. 2023 策略反馈、Zheng et al. 2023 LLM-as-a-Judge 等），此处从略，详见 arXiv:2502.19559。