智能体 AI 系统的能力来自其自主反思、多步规划、调用多种工具以及利用智能体间协作来实现复杂目标的能力。构建智能体系统的平台进展迅速，但真实用例的部署需要鲁棒的评测方法。作者指出现有评测的三类局限：（i）早期"步级（step-level）"评测往往只关注最后一步的得失，忽视端到端表现；（ii）依赖人类专家标注金标答案的方法虽有价值，但标注成本高昂、常不现实；（iii）许多方法只评最终结果，对失败的根因与针对性改进机会缺乏可操作的洞察。
本文主张按照智能体的自然运行动态来评测智能体：正如智能体设定目标、制定计划、执行行动，有建设性的评测应当分析这些组件内部及其之间的失败。为此作者提出 Agent GPA 框架，引入七个指标：目标达成度（Goal Fulfillment, GF）、计划质量（Plan Quality, PQ）、工具选择（Tool Selection, TS）、计划遵循度（Plan Adherence, PA）、工具调用（Tool Calling, TC）、逻辑一致性（Logical Consistency, LC）、执行效率（Execution Efficiency, EE）。这些 GPA 对齐指标虽也可由人类评估者计算，但作者引入一套自动化的无参考（reference-free）LLM-as-a-Judge 评估器以规模化该框架，并在三个数据集上验证：公开的 TRAIL/GAIA（通用多智能体推理）、公开的 TRAIL/SWE-bench（单编码智能体）与内部 Snowflake Intelligence 数据集（商业生产级数据分析智能体）。三项贡献如下：
构建 LLM 智能体需要确立目标、制定计划、执行行动，但现有评测方法倾向于孤立地考察这些要素，并严重依赖金标参考，限制了其在开放式任务上的可扩展性。作者沿四条线索梳理：
目标推进与达成（Goal Progression and Fulfillment）。现有方法主要通过将最终输出与已知参考答案比对来测量事实正确性，但标注的最终答案昂贵且罕有。测量目标达成仍然关键：当上下文窗口被新信息饱和时，智能体可能在长交互中偏离初始目标。Arike 等（2025）的股票交易智能体模拟显示，所有被测智能体都出现了目标漂移（goal drift），尤其在面对竞争性目标或在不同目标间切换时——这凸显了对无参考目标达成评测的需求。
基于推理轨迹的规划（Planning via Reasoning Traces）。Plan-and-Act 通过把高层计划步骤翻译为环境特定动作，在网页导航基准上取得 SOTA；AdaPlanner 展示了利用环境反馈进行自适应计划精炼的价值。但现有计划评测依赖模拟验证器、人工标注或金标（如 Plancraft 将 Minecraft 智能体的计划与金标规划器比对）。随着更多系统采用显式规划，发展 PQ 与 PA 的无参考评测至关重要。
基于动作轨迹的执行（Execution via Action Traces）。AgentBench 等工作表明仅看最终结果不足以评估执行成功——表面正确的结果可能掩盖不安全或无效的动作。Vertex AI 与 LangChain AgentEvals 等方案将轨迹与参考轨迹（预期的工具调用序列）比对；但 AgentRewardBench 表明这类基于规则的评测过于僵硬，常人为惩罚偏离"黄金路径"的合理轨迹。执行轨迹也可用于调试：TRAIL 基准提供 GAIA 与 SWE-bench 的标注轨迹，要求 LLM 找出目标偏离、幻觉等类别的错误；MAST 提出多智能体系统失败模式分类学。但这类静态分类学常分类"错误症状"而非运行性故障，可能把坏计划与坏执行混为一谈。除准确性外，智能体评测（尤其企业场景）还需考虑运营成本与效率。
LLM 裁判（LLM Judges）。作为金标比对的可扩展替代，LLM 裁判已被用作无参考智能体评估器，但轨迹评测常依赖单一、单体裁判用同一提示评估不同智能体的轨迹。AgentRewardBench 指出：规则法低估成功率，而 LLM 裁判常高估成功率，且在处理长而复杂的轨迹时遗漏重要细节；TRAIL 报告即使最强的 LLM 在其任务上也仅有 11% 的准确率（受上下文长度与推理难度限制），说明让单一 LLM 裁判同时识别、定位并分类错误十分脆弱。这些发现提示：将评测分解为带定制指令的专职裁判，可能提供更可靠、更可解释的评估。
背景注释 1 · 文献簇定位：本文属于"目标漂移 / 目标对齐评测"这一文献簇：Arike 等（2025）在股票交易智能体模拟中实证了目标漂移的普遍存在（本文引作核心动机之一）；Stay Focused: Problem Drift in Multi-Agent Debate（问题漂移，EACL 2026 Findings）刻画多智能体辩论中讨论偏离初始问题的现象并提出 DRIFTJudge 检测；GoalAlignmentUserSimulators 等工作则从用户模拟侧评测目标对齐。与这些工作"检测漂移现象"不同，Agent GPA 的定位是给出一个覆盖目标-计划-行动全环节、可因子化自动运行的评测框架，把"对齐"拆成可独立测量的七个维度。
背景注释 2 · 单体裁判的脆弱性：本文反复引用的一个关键证据是 TRAIL 基准的发现——最强 LLM 在"从轨迹中识别并分类错误"这一任务上仅 11% 准确率，原因是上下文长度限制与推理难度。这正是"用一个万能提示同时做识别 + 定位 + 分类"必然失败的实证依据，也是本文因子化拆分（每裁判只做一件事）的直接动机；后文表 2/表 3 显示拆分后单裁判 F1 普遍可达 0.6–0.92。
GPA 是一个新颖的概念框架，将 AI 智能体失败诊断为基本运行回路内部的故障。其核心假设是：智能体失败模式很少孤立存在，而是显现于目标（Goal）、计划（Plan）、行动（Action）这三个关键要素的内部与交叉处（原文图 1 的维恩图示意）。由于智能体行为是交叉的且常彼此正交，单一指标不敷使用——例如，智能体可能以迂回路径（低执行效率）完美达成用户目标（高目标达成度），或严格遵循一个并不能真正解决用户请求的计划（高计划遵循度、低计划质量）。从交叉处导出如下指标：
| 指标（中英对照） | 缩写 | 所处交叉 | 评什么 |
|---|---|---|---|
| 目标达成度 Goal Fulfillment | GF | 行动 × 目标 | 已完成的行动最终是否满足用户的目标。 |
| 计划质量 Plan Quality | PQ | 目标 × 计划 | 从轨迹中抽取计划，评估其达成给定目标的最优性：最优计划将目标分解为最小可行动子任务集、为每步在可用工具中选择最合适者、并平衡细节粒度；若发生重规划，还评估新计划是否充分回应了变更诱因。 |
| 工具选择 Tool Selection | TS | 计划（PQ 补充） | 每个子任务是否选择了最合适的工具：任务需求与规划器可见的工具能力之间的对齐，包括遵守关于工具使用的显式系统指令、避开无关或能力不足的工具、知道何时无需工具。 |
| 计划遵循度 Plan Adherence | PA | 计划 × 行动 | 行动是否遵循其声明的计划：独立于计划质量，检查执行轨迹是否严格对应每个计划（或重计划）步骤；在计划高质量的前提下，完全遵循即最优地驶向最终答案。 |
| 工具调用 Tool Calling | TC | 行动（PA 补充） | 每次工具调用本身完成得多好：生成参数是否句法与语义有效、工具前置条件是否满足、输出是否被忠实解读，以隔离智能体经由外部系统落实计划时出现的问题。 |
| 逻辑一致性 Logical Consistency | LC | 目标 × 计划 × 行动 | 轨迹每一步是否立足于先前上下文与推理；检查对各智能体系统指令的遵守、对错误的承认与恢复、以及所有自生成待办任务的完成。 |
| 执行效率 Execution Efficiency | EE | 目标 × 计划 × 行动 | 无论具体计划如何，评估行动朝最终状态的全局最优性：分析整个执行轨迹中的冗余、多余的工具调用或不必要的资源使用；特别适合评测不生成显式计划的智能体。 |
范围说明。工具相关评测只关注智能体可控的行为（工具选择与工具调用）。生产部署中团队常开发企业专属的工具质量评测（如检索模型的搜索相关性、批处理 API 的吞吐），这被视为智能体控制范围之外。
由于这些失败模式交叉且细微，单一"万能"LLM 裁判往往缺乏诊断根因的分辨率。作者因此提出因子化评测（factorized evaluation）：一套专职 LLM 裁判，每个只针对特定组件或其交叉处。
三个数据集覆盖多智能体通用推理（TRAIL/GAIA）、单智能体软件工程（TRAIL/SWE-bench）与企业数据分析（Snowflake Intelligence）：
TRAIL/GAIA。TRAIL 数据集提供 148 条专家标注的 OpenTelemetry 格式智能体轨迹（源自 GAIA 与 SWE-bench）。其中 GAIA 117 条轨迹由 Hugging Face 的 Open Deep-Research 智能体生成：高层 Manager 智能体负责事实调查、规划与向 Search 智能体委派任务；Search 智能体同样可做事实调查与规划，并可访问网页搜索、访问与导航网页、字符串搜索、文件检查、访问归档 URL 等工具。以固定种子做 50/50 开发/测试划分。
TRAIL/SWE-bench。软件工程任务：单个智能体拿到 GitHub 代码库与 issue，须生成代码补丁。31 条轨迹由 Code-Act 生成，可访问沙箱环境、Python 解释器与 gitingest 库。
Snowflake Intelligence。生产级数据智能体，配备 text-to-SQL 工具与复合检索搜索工具；在 17 条内部轨迹上评估，轨迹来自需要复杂推理与多步工具使用的数据科学查询，聚焦数据分析工作流中的智能体失败。
| 数据集 | 智能体架构 | 轨迹数 | 划分 | 轨迹数 | 错误数（低/中/高） | 错误总数 |
|---|---|---|---|---|---|---|
| TRAIL/GAIA | Open Deep-Research：Manager 智能体 + Search 智能体（多智能体） | 117 | 开发集 | 58 | 63 / 85 / 141 | 289 |
| 测试集 | 59 | 57 / 95 / 129 | 281 | |||
| TRAIL/SWE-bench | Code-Act（单编码智能体；沙箱 Python + gitingest） | 31 | 开发集 | 15 | 21 / 76 / 16 | 113 |
| 测试集 | 16 | 29 / 87 / 10 | 126 | |||
| Snowflake Intelligence | 生产级数据智能体（text-to-SQL + 复合检索） | 17 | 内部数据集，无 TRAIL 式金标错误 | — | ||
如 TRAIL 原文所述，许多原始 OpenTelemetry 轨迹超出 LLM 裁判的输入上下文窗口。作者遍历轨迹中每个 span，抽取与每个 Manager/Search 智能体关联的系统指令与新消息，同时剥离对话历史中的重复消息。
两名人类标注者独立审阅开发集与测试集的全部 TRAIL/GAIA 错误，按运行失败的根因将每个错误指派到一个或多个 GPA 维度；第三名标注者交叉核验了映射。
为使裁判能泛化到多样架构与领域，提示被分解为两个组件：
（1）通用组件（领域不变）：人工撰写的 GPA 指标定义，不随领域改变，从而在不同数据集间保持一致的核心评测标准。（2）定制组件（领域专属）：使裁判适配被评智能体系统的定制指令，包括 (i) 智能体架构的高层描述；(ii) 取自开发集的 1–2 个由人类标注的少样本示例；(iii) 结构化输出模板。通用组件静态不变，定制组件可在目标数据集上通过提示优化技术自动生成。完整评测提示见原文附录 D。除特别说明外，实验使用 claude-4-sonnet（高推理努力）。
GPA 框架基于"设定目标-制定计划-执行行动"的普适生命周期，但这些组件的可观测性因架构而异；框架天然模块化，故按可观测遥测部署相应子集：
错误识别与定位（TRAIL/GAIA）：每个裁判跑完每条轨迹后，三名人类标注者人工核验裁判是否 (i) 识别出错误、(ii) 通过显式引用轨迹中恰当的 span ID 完成定位。为分离性能增益来源，将 GPA 裁判与两个版本的单体基线对比：原始 TRAIL LLM 裁判（无控制流的基线）与附加了 Open Deep Research 架构高层描述的同款裁判（有控制流的基线）——从而辨明提升来自因子化维度还是仅仅来自更好的系统上下文。同时分析各裁判的整体分类性能以衡量错误检测与误报的权衡。
与人类判断的对齐：TRAIL/GAIA 上，一名标注者沿每个 GPA 维度为每条轨迹打分、另一名核验。LLM 裁判在 0–3 的 4 点量表上打分（最小/最大分有严格定义、中间分定义较宽以保留弹性），故同时报告准确率与"差一准确率"（off-by-one）；鉴于差一提升主要来自中间分的区分，将分数分桶为 3 点——0（最低分 0）、1（中间分 1 或 2）、2（最高分 3）——并报告桶准确率（表 4）；相关性按原始 4 点分计算。Snowflake Intelligence 上，两名标注者按 3 点量表（错误 / 部分正确 / 完全正确）打分、三名核验；对 LC 与 EE 裁判计算 3 点准确率、相关性与归一化平均绝对误差（NMAE）。该评测中两个裁判的定制指令聚焦检查生成的 SQL 代码是否符合用户意图。
对每个新领域都做人工审阅是不可扩展的瓶颈。为测试泛化性并解决定制提示调优（5.3）的人工成本，作者实现 GEPA 来自动优化通用 GPA 裁判提示，然后在 TRAIL/GAIA 与 TRAIL/SWE-bench 测试集上评估裁判召回率——后者用于证明框架可在无需费力的人工重调与验证下泛化到未见领域。所有提示优化与指标评估均用 claude-4-sonnet。为可扩展评测，使用"元裁判"（meta-judge，一个强对齐的 LLM 裁判核验器）对照 TRAIL 错误为 GPA 裁判的输出评分。
LLM 裁判天然随机：固定提示的重复评测可能给出不同分数与理由。为评估随机性下的稳定性，作者用固定 GPA 提示重复调用同一模型（claude-4-sonnet）：TRAIL/GAIA 测试划分（$n=59$）与 TRAIL/SWE-bench（$n=31$）每条轨迹独立运行 5 次、Snowflake Intelligence（$n=17$）运行 10 次，收集 [0,1] 区间分数。将每次运行视为独立评分者，计算 (i) 每指标 Krippendorff's $\alpha$（刻画 ≥2 评分者在绝对量表上的一致性）与 (ii) 跨运行的逐轨迹标准差（std）；另计算语义一致性指数（Semantic Consistency Index, SCI）——跨独立运行的文本理由的平均成对余弦相似度。最后，用 OpenEvolve 以评分标准差为适应度目标迭代精炼裁判提示；对基线标准差 > 0.1 的任何指标（无论人工撰写还是 GEPA 优化）应用该优化。
GPA 系统化地归类了 TRAIL 中人类核验失败的全谱：TRAIL/GAIA 的全部 570 条人类标注错误（289 + 281）与 TRAIL/SWE-bench 的全部 239 条（113 + 126）都落在至少一个 GPA 裁判的管辖范围内。表 1 给出 TRAIL/GAIA 上映射错误的分布：测试集上 LC、TC、EE 相关错误最普遍（281 条中分别占 140、128、119 条），而 PQ 失败最少（仅 14 例）；与开发集分布大体一致，说明核心推理、工具使用与效率是当前智能体在这类任务上最常见的挑战。
| 指标 | 开发集 | 测试集 | ||||||
|---|---|---|---|---|---|---|---|---|
| 低 | 中 | 高 | 全部 | 低 | 中 | 高 | 全部 | |
| LC | 31 | 19 | 70 | 120 | 34 | 29 | 77 | 140 |
| EE | 36 | 49 | 55 | 140 | 23 | 62 | 34 | 119 |
| PA | 3 | 17 | 41 | 61 | 2 | 11 | 52 | 65 |
| PQ | 3 | 7 | 7 | 17 | 1 | 10 | 3 | 14 |
| TS | 17 | 28 | 48 | 93 | 9 | 22 | 73 | 104 |
| TC | 23 | 36 | 70 | 129 | 22 | 53 | 53 | 128 |
如原文图 2 所示，GPA 裁判套件在测试集上捕获 95%（267/281）的 TRAIL 标注错误，而两个单体基线只能识别约 54%（151–154/281）。值得注意的是，给单体裁判提供控制流上下文仅带来 1.1% 的微弱提升——说明性能增益来自把评测维度因子化到各 GPA 裁判，而非仅靠架构描述。更明显的是低/中影响错误：基线召回率降至低影响 22.8–29.8%、中影响 41.4–44.2%，而 GPA 套件在低影响错误上达 80.7%、中影响 96.8%。这印证了假设：分解为专职裁判能让其集中注意力、捕获单体评估器可能遗漏的细微失败。
各裁判呈现不同运行画像：TC 最稳健（测试集 F1 > 0.92，精度召回俱佳），TS 是高召回专家（总召回 > 0.97 且 F2 稳定高企，但精度受损，适合漏检代价远高于误报审查代价的关键应用）。PA 与 PQ 的 F1 较低由精度拖累，可归因于这两类错误在 GAIA 中样本量较小。两个背景因素也压低了精度读数：其一，人工审阅发现 TRAIL 金标错误偶有不全，故将原始 TRAIL 人工标注视为"经验证的下界金标集"而非穷尽真值，为此以召回为优化目标并同时报告 F2；其二，精度严格对照该下界金标集计算——GPA 裁判常标记出合法的、此前未被发现的真实错误，这些有效标记在严格 TRAIL 基线下被计为假阳性，故真实精度大概率高于报告值。
| 指标 | 开发集 | 测试集 | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P | R | F1 | F2 | Acc | P | R | F1 | F2 | Acc | |
| LC | 0.636 | 0.800 | 0.709 | 0.761 | 0.727 | 0.763 | 0.829 | 0.795 | 0.815 | 0.787 |
| EE | 0.787 | 0.921 | 0.849 | 0.891 | 0.841 | 0.760 | 0.933 | 0.838 | 0.892 | 0.847 |
| PA | 0.549 | 0.918 | 0.687 | 0.809 | 0.824 | 0.523 | 0.892 | 0.659 | 0.782 | 0.787 |
| PQ | 0.682 | 0.882 | 0.769 | 0.833 | 0.969 | 0.370 | 0.714 | 0.488 | 0.602 | 0.925 |
| TS | 0.736 | 0.989 | 0.844 | 0.926 | 0.882 | 0.647 | 0.971 | 0.777 | 0.883 | 0.794 |
| TC | 0.858 | 0.985 | 0.917 | 0.956 | 0.920 | 0.879 | 0.969 | 0.922 | 0.950 | 0.925 |
因子化 GPA 套件在定位上大幅胜出：在 TRAIL/GAIA 测试划分上成功为 85.8%（241/281）的标注错误指出确切 span ID。有趣的是（原文图 3）：给基线裁判附加架构描述对"识别"几乎无益，却显著提升"定位"——召回从 31%（87/281）跳至 49%（138/281）；即便如此仍远逊于 GPA 套件的 86%（241/281）。这表明架构上下文可改善单体裁判对轨迹的结构感知，但因子化方法在持续定位 span ID 以支持针对性调试上依然占优。
表 3 显示 EE 是定位最均衡的裁判（F1 = 0.79）；PA 与 TC 分别是高召回与高精度裁判。这些指标揭示了一种按应用选裁判的新框架：PA 是"宽松型"裁判——高召回（0.86）低精度，适合由人复核所有标记的交互式调试；TC 是"保守型"裁判——精度最佳（0.88）而召回较低，其稀疏反馈在数据过滤、奖励塑形等精度至上的自动化流程中高度可信。PA 与 PQ 得分较低仍是"人为严格的精度惩罚 + 小样本"的共同结果。
| 指标 | 开发集 | 测试集 | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| P | R | F1 | F2 | Acc | P | R | F1 | F2 | Acc | |
| LC | 0.670 | 0.642 | 0.655 | 0.647 | 0.720 | 0.748 | 0.721 | 0.735 | 0.727 | 0.740 |
| EE | 0.752 | 0.714 | 0.733 | 0.722 | 0.747 | 0.750 | 0.832 | 0.789 | 0.814 | 0.811 |
| PA | 0.632 | 0.787 | 0.701 | 0.750 | 0.858 | 0.629 | 0.862 | 0.727 | 0.802 | 0.851 |
| PQ | 0.647 | 0.647 | 0.647 | 0.647 | 0.959 | 0.348 | 0.571 | 0.432 | 0.506 | 0.925 |
| TS | 0.750 | 0.484 | 0.588 | 0.521 | 0.782 | 0.779 | 0.644 | 0.705 | 0.667 | 0.801 |
| TC | 0.857 | 0.465 | 0.603 | 0.512 | 0.727 | 0.881 | 0.406 | 0.556 | 0.455 | 0.705 |
TRAIL/GAIA（表 4）：裁判与人类判断总体强对齐。PA 与 TS 的桶准确率（86.4% 与 86.8%）与测试集相关性尤其高（分别为 0.917 与 0.895）。EE 裁判虽有广泛错误覆盖（表 1），但对齐较弱——作者假设其偶尔标记与效率无严格关系的错误，导致生成分数低于人类分数。
| 指标 | 开发集 | 测试集 | ||||
|---|---|---|---|---|---|---|
| Acc-OB1 | Acc-3pt | Correl | Acc-OB1 | Acc-3pt | Correl | |
| LC | 0.983 | 0.793 | 0.626 | 0.983 | 0.881 | 0.764 |
| EE | 0.862 | 0.483 | 0.513 | 0.949 | 0.356 | 0.623 |
| PA | 1.000 | 0.862 | 0.869 | 0.983 | 0.864 | 0.917 |
| PQ | 0.879 | 0.690 | 0.565 | 0.966 | 0.695 | 0.672 |
| TS | 0.895 | 0.719 | 0.663 | 0.962 | 0.868 | 0.895 |
| TC | 0.889 | 0.667 | 0.589 | 0.941 | 0.725 | 0.706 |
Snowflake Intelligence（表 5）：LC 与 EE 均与人类判断一致，3 点量表上平均 82% 一致。更重要的是，裁判识别出了可追溯到智能体架构根因缺陷的系统性错误模式；这些发现经独立验证，其分析促成了若干被后续纳入智能体设计的针对性改进建议。
| 指标 | Acc-3pt | Correl | NMAE |
|---|---|---|---|
| LC | 0.765 | 0.795 | 0.118 |
| EE | 0.882 | 0.772* | 0.059 |
* 原文表 5 中 LC 的 Correl（0.795）数值上高于 EE（0.772）；EE 优势体现在准确率与 NMAE。
元裁判说明。规模化评测时，自动元裁判的评分阈值比人工审阅更严格：同一"通用 + 定制"提示在 TRAIL/GAIA 上经人工审阅的 TC 覆盖率为 96.9%，而元裁判下仅 78.6%。作者经人工验证确认元裁判与人类判断总体对齐后，所有后续性能差值均严格用自动元裁判评估以保证公平的相对比较；元裁判结果均为 3 次运行平均。
TRAIL/GAIA（原文图 4）：仅靠通用（Generic）基线提示对复杂推理任务覆盖很差——LC 错误仅捕获 57.9%、PQ 仅 33.3%；人工追加定制指令可将 LC 提至 83.6%、PQ 提至 52.4%；而 GEPA 优化（auto-light 或 auto-medium）在全部六个指标上匹配甚至超越人工方案，在最难的维度上提升最大——PQ 升至 76.2%，LC 升至 88.8%。这证明自动化提示优化可有效取代人工工程。
TRAIL/SWE-bench（原文图 5）：GPA 框架在完全未见的领域与架构上成功泛化，无需任何领域专属的人工重调。GEPA 在 SWE-bench 编码轨迹上的增益与 GAIA 上镜像：LC 从 49.8% 升至 83.1%，TC 从 70.8% 升至 84.7%，在这两个指标上甚至超过人工撰写的定制提示。EE 因 CodeAct 智能体操作回路简单而在各类提示下都保持高位。扩展方法学见附录 H。
| 数据集 | 指标 | 仅通用提示 | 通用 + 人工定制 | GEPA 优化 |
|---|---|---|---|---|
| TRAIL/GAIA | 逻辑一致性 LC | 57.9% | 83.6% | 88.8% |
| 计划质量 PQ | 33.3% | 52.4% | 76.2% | |
| TRAIL/SWE-bench | 逻辑一致性 LC | 49.8% | — | 83.1% |
| 工具调用 TC | 70.8% | — | 84.7% |
TRAIL/GAIA（表 6）：评分者间一致性强，几乎所有指标 Krippendorff's $\alpha$ > 0.70。EE 与 TS 稳定性最高（$\alpha$ 分别为 0.934 与 0.907，且标准差更低、置信区间更紧），反映对具体操作行为打分的高度可靠；PQ 与 LC 稍显嘈杂（$\alpha$ 较低、方差更高、CI 更宽），对采样波动与裁判解读更敏感。跨运行的 SCI（原文图 6）给出相似结论：EE 裁判生成的理由高度相似（余弦相似度紧密聚集），而 PQ 与 LC 的理由语义一致性较低，与其略高的方差相吻合。
| 指标 | $n_{\text{traces}}$ | $\alpha$ | 平均 std | 95% CI |
|---|---|---|---|---|
| LC | 46 | 0.732 | 0.079 | 0.032 |
| EE | 59 | 0.934 | 0.053 | 0.021 |
| PA | 59 | 0.827 | 0.082 | 0.035 |
| PQ | 59 | 0.628 | 0.171 | 0.041 |
| TC | 55 | 0.878 | 0.071 | 0.026 |
| TS | 58 | 0.907 | 0.059 | 0.028 |
| PQ（OpenEvolve 优化后） | 59 | 0.814 | 0.078 | 0.034 |
TRAIL/SWE-bench（表 7）：LC 稳定性极佳（$\alpha$ = 0.960），表明推理重型评测亦可高度可复现；TC 保持扎实一致（$\alpha$ = 0.83）；所有指标逐轨迹方差低（std ≤ 0.08）。框架可靠迁移到新领域且无需领域重调。
| 指标 | $n_{\text{traces}}$ | $\alpha$ | 平均 std | 95% CI |
|---|---|---|---|---|
| EE | 31 | 0.618 | 0.041 | 0.024 |
| LC | 31 | 0.960 | 0.038 | 0.024 |
| TC | 31 | 0.829 | 0.078 | 0.027 |
Snowflake Intelligence：10 次独立运行下两个指标均获高评分者间可靠性（LC $\alpha$ = 0.66，EE $\alpha$ = 0.81）。
OpenEvolve 的作用。对标准差超过 0.1 的高方差指标，自动演化提示优化显著降低评测噪声——通过生成更细粒度的评分细则并减少边界情形的歧义。TRAIL/GAIA 上，PQ（人工版）是唯一超阈值的指标：OpenEvolve 将 Krippendorff's $\alpha$ 提升 30%（0.628 → 0.814，表 6）。TRAIL/SWE-bench 上，TC 即便经 GEPA 优化仍有噪声（std = 0.118）；以 OpenEvolve 作二次精炼阶段将 $\alpha$ 提升 38%（0.539 → 0.743，表 8）——即摘要所称"一致性提升至多 38%"的来源。演化式提示优化是缓解 LLM 评测框架随机性的高效系统化方法。
| 指标 | $n_{\text{traces}}$ | $\alpha$ | 平均 std | 95% CI |
|---|---|---|---|---|
| EE（GEPA） | 31 | 0.804 | 0.076 | 0.028 |
| LC（GEPA） | 31 | 0.825 | 0.080 | 0.028 |
| TC（GEPA） | 31 | 0.539 | 0.118 | 0.025 |
| TC（GEPA + OpenEvolve） | 31 | 0.743 | 0.085 | 0.031 |
背景注释 3 · 数字一致性说明（精读勘误）：(1) 引言将 SWE-bench 上 TC 的提升表述为 55.5% → 84.7%，而第 6.2 节及图 5 报告为 70.8% → 84.7%；本精读版在结果节以 6.2 节为准（表 C 同），引言部分按原文照译并在此注明。(2) 引言与第 3 节列出七个指标（含 GF 目标达成度），但实验表 1–4 只报告六个维度（LC/EE/PA/PQ/TS/TC），TRAIL 实验中未见独立的 GF 裁判结果列——推测因 TRAIL 金标错误体系已隐含目标偏离类别。
GPA 框架是跨目标、计划、行动评测 LLM 智能体的结构化方法。将评测分解为独立指标维度后，GPA 捕获了单体方法或纯结果导向方法所忽视的多样而细微的失败模式。作者总结 Agent GPA 的三重性质：（1）有效——专职 GPA 裁判在错误识别与定位上均大幅超越单体评估器，同时与人类评估者保持强对齐；（2）可泛化——自动提示优化使 GPA 裁判能适配完全未见的领域与架构，且常优于人工提示工程；（3）一致——GPA 裁判跨多次运行高度可靠，并可经演化式提示优化进一步提升一致性。未来工作包括扩展到具身智能体（embodied agents）、精炼目标达成与计划质量的无参考指标。通过让评测更贴近智能体设定目标、制定计划与执行行动的方式，GPA 可作为可靠的诊断工具，助力构建更有能力、更可解释、更可信赖的智能体。可复现性：作者将开源 Agent GPA 评测框架（含轨迹预处理与裁判运行的全部代码），评测提示见附录 D，并计划发布实验中重标注、增广的 TRAIL/GAIA 数据集。
以下为附录各节要点中文摘译。六个裁判的完整提示词全文、GEPA/OpenEvolve 优化前后提示对照及全部附表请参见原文（arXiv:2510.08847）。
覆盖率（coverage）定义为裁判在其被设计检测的错误子集上的召回率。TC、TS、EE 展现高而稳的覆盖率（> 91%）；LC 持续漏检低影响错误（覆盖率 < 60%）；PQ 在测试集上下滑（88% → 71%），提示泛化性不足，可能偏向更明显的逻辑错误而忽略细微失误。PA 与 PQ 在低影响错误上 0% 的测试覆盖率基于统计上不显著的样本（$n \le 2$）。定位覆盖率方面，针对离散原子错误的 PA 与 EE 擅长定位超 83% 的错误（具体错误参数或步骤更易定位），而 TC（41%）、TS（64%）与更抽象推理的 PQ（57%）吃力——检测到复杂计划失败却难以指明确切源头，因为定位程序性缺陷需要模型推理链的因果追踪，对当前 Transformer 架构是公认难题。按影响级别细分（表 11–16）还揭示了"上下文特化"与角色反转：低影响错误上 TC 近乎完美（F1 = 1.0）而 PA/PQ 失效；高影响错误上，求最大灵敏度用 TS（召回 99%）、求最大可靠性用 TC（F1 最均衡）、求最大置信度用 LC（精度最高，标记即可信）；定位侧 PA 在高影响失败上成为最佳定位器（F1 = 0.85），TS 反转为最高精度定位器（P = 0.85）。结论：单一聚合分数有误导性，有效的自动调试需要按失败上下文动态选择裁判组合。
| 指标 | 开发集 | 测试集 | ||||||
|---|---|---|---|---|---|---|---|---|
| 低 | 中 | 高 | 全部 | 低 | 中 | 高 | 全部 | |
| LC | 54.8% | 84.2% | 90.0% | 80.0% | 58.8% | 79.3% | 94.8% | 82.9% |
| EE | 97.2% | 85.7% | 94.5% | 92.1% | 91.3% | 91.9% | 97.1% | 93.3% |
| PA | 66.7% | 82.4% | 97.6% | 91.8% | 0.0% | 90.9% | 92.3% | 89.2% |
| PQ | 66.7% | 100.0% | 85.7% | 88.2% | 0.0% | 80.0% | 66.7% | 71.4% |
| TS | 100.0% | 100.0% | 97.9% | 98.9% | 100.0% | 90.9% | 98.6% | 97.1% |
| TC | 95.7% | 100.0% | 98.6% | 98.5% | 100.0% | 94.3% | 98.1% | 96.9% |
| 指标 | 开发集 | 测试集 | ||||||
|---|---|---|---|---|---|---|---|---|
| 低 | 中 | 高 | 全部 | 低 | 中 | 高 | 全部 | |
| LC | 48.4% | 47.4% | 75.7% | 64.2% | 47.1% | 79.3% | 80.5% | 72.1% |
| EE | 83.3% | 67.4% | 67.3% | 71.4% | 82.6% | 82.3% | 85.3% | 83.2% |
| PA | 66.7% | 70.6% | 82.9% | 78.7% | 0.0% | 81.8% | 90.4% | 86.2% |
| PQ | 0.0% | 85.7% | 71.4% | 64.7% | 0.0% | 70.0% | 33.3% | 57.1% |
| TS | 41.2% | 39.3% | 56.2% | 48.4% | 66.7% | 50.0% | 68.5% | 64.4% |
| TC | 60.9% | 30.6% | 50.0% | 46.5% | 27.3% | 39.6% | 47.2% | 40.6% |
3 名人类标注者审阅 117 条轨迹并沿六个 GPA 维度打分。除正文表 4 外，这里报告 LLM-人类的 Krippendorff's $\alpha$ 与逐指标 Cohen's $\kappa$：各裁判类型上的平均 Krippendorff's $\alpha$ 在开发/测试集分别为 0.7346 / 0.6718；全局 $\alpha$ 为 0.7690 / 0.7387，支持" tentative conclusive "（尝试性结论）级别的置信。人-人一致性（共识裁判一致率）为开发集 0.7009、测试集 0.6674。Cohen's $\kappa$（人类 vs LLM）：开发集 LC 0.6410、EE 0.7272、PA 0.8221、PQ 0.7058、TS 0.8594、TC 0.6629；测试集 LC 0.5161、EE 0.7626、PA 0.7681、PQ 0.4952、TS 0.8584、TC 0.6658。
将各 LLM 指标分数二值化（0/1）后计算 Krippendorff's $\alpha$、Cohen's $\kappa$、Jaccard 相似度与 phi 相关。四项测度下的一致性与相关性均持续偏低，证明六个指标识别的是不重叠、互补、语义不同的错误类型，支撑多维度评测的动机。要点：(1) 各指标捕捉不同失败模式；(2) PQ 最独立（与多数指标近零或负相关、Jaccard 重叠最低），反映独立的计划质量轴；(3) EE 与 TC 最相关（EE–TC 在所有测度下都是最强对，如二值 $\alpha$ = 0.468612、Jaccard = 0.591837），提示执行失败常与工具调用问题共现；(4) TS 与 LC/EE/PA 弱关联但仍是独立维度；(5) LC 与 PQ/PA 差异大，捕捉另一种推理失败；(6) PA 仅有局部关联（与 TS 中等）；(7) Jaccard 多落于 0.04–0.40，确认稀疏共激活；(8) phi 与 $\kappa$ 一致，确认弱相互依赖。
所有裁判共享统一骨架：0–3 单一数值评分（0 最低、3 最高）；结构化输出模板（Criteria / Supporting Evidence / Score）；要求引用具体 span ID；按 Manager / search_agent 分节报告问题；附 1–2 个 JSON 格式 few-shot 示例。六个裁判的通用准则要点：
GEPA 优化后的提示普遍从"原则式准则"演化为"系统化检查框架"。典型案例：LC 优化后新增一套 12 步"系统化评估框架"，包括（1）格式合规与指令遵循（最优先检查，如验证 <end_plan> 结束标记）；（2）证据链核验（标记"我们知道/已确立"类无前置验证的措辞）；（3）工具使用评估（区分"打印工具任务描述"与"真正调用工具"）；（4）数据捏造检测（警惕"I will assume / Let's simulate"）；（5）计划到执行的映射清单；（6）验证要求检查；（7）数据源与文件处理核验；（8）假设传播检测；（9）错误处理分析；（10）上下文与记忆一致性；（11）级联错误分析（如"未调用工具 → 捏造数据 → 未验证答案"的因果链）；（12）内部矛盾检测。PQ 优化后强调"计划未显式指定用哪个工具"是常见关键缺陷（如计划写"从 GitHub 取提交历史"而不写"用 search_agent 查找"，智能体可能靠纯推理硬解或捏造）。TC 优化后新增"捏造验证"模式：区分"注明搜索摘要说了什么"（可接受）与"声称信息已确认/验证"（捏造），以及"跳过验证步骤"（过程问题、中等严重）与"跳过且谎称做过"（捏造、高严重）。
PQ 优化后引入小数分值锚点（3.0 完美 / 2.7 一处小瑕疵 / 2.2 两三处小问题 / 1.5 明显问题 / 0.5 关键缺陷）、"边界情形取低分"的保守准则与一致性锚点表。TC 优化后则演化为严格定量计数细则：按严重度（CRITICAL 阻断完成 / MAJOR 损害完成 / MINOR 影响质量）计数问题，自纠正问题计 0.5 倍，失败修复计为新问题，再按精确阈值映射分数（如 3 分要求零关键/重大问题且最多一个已自纠正的小问题、100% 错误承认率；6+ 小问题或 3+ 重大问题或任何未解决关键问题即 0 分），并强制在响应中给出问题计数、比率计算与证据索引。这解释了演化优化为何能降低评分方差：决策边界被显式量化。
跨模型比较 LC 与 EE 的人类对齐（Acc-3pt / Acc-2pt / Correl / NMAE）：
| 模型 | LC | EE | ||||||
|---|---|---|---|---|---|---|---|---|
| Acc-3pt | Acc-2pt | Correl | NMAE | Acc-3pt | Acc-2pt | Correl | NMAE | |
| Claude-4-Sonnet | 0.765 | 1.000 | 0.795 | 0.118 | 0.882 | 0.941 | 0.772 | 0.059 |
| Claude-3-7-Sonnet | 0.294 | 0.882 | 0.477 | 0.382 | 0.353 | 0.824 | 0.574 | 0.324 |
| gpt-4o | 0.471 | 0.941 | 0.514 | 0.265 | 0.882 | 0.941 | 0.772 | 0.059 |
| gpt-4.1 | 0.294 | 0.882 | — | 0.412 | 0.824 | 0.941 | 0.772 | 0.088 |
与 TRAIL/GAIA 上一致：LC 仍是更难的维度，需要复杂推理，投稿时只有 Claude-4-Sonnet 可靠胜任；而执行效率类错误所需的抽象思考较少，多个模型（Claude-3-7-Sonnet、gpt-4o、gpt-4.1）可达相近的高表现（注意 Claude-3-7-Sonnet 的 EE Acc-3pt 反常偏低，0.353）。
GEPA 配置（原文图 4/图 5 的五种条件）：所有 GEPA 优化均用 DSPy 实现、默认设置。(1) Generic + custom（人工审阅）：通用准则 + 人工定制指令，人工标注者评分；(2) Generic（元裁判）：仅通用准则，元裁判评分；(3) Generic + custom（元裁判）；(4) GEPA（auto-light，元裁判）：以通用准则为种子的 DSPy 'light' 自动预算优化；(5) GEPA（auto-medium，元裁判）。
OpenEvolve 配置：OpenEvolve 是受 AlphaEvolve 启发的开源演化式编码智能体。与 GEPA 优化文本提示不同，OpenEvolve 演化源代码：一个含两个字符串变量的 Python 文件——评分细则（CRITERIA）与补充指引（ADDITIONAL_INSTRUCTIONS），由 EVOLVE-BLOCK 标记界定。每次迭代：(i) 从 MAP-Elites 质量-多样性档案（基于岛屿的种群）中选择父程序；(ii) 提示 LLM 生成变异体；(iii) 用自定义适应度函数评估。种群规模 30、2 个岛屿、精英档案 15、特征维度为 mean_gt_deviation 与 avg_std_dev；开发比率 0.7、精英选择比率 0.2、相似度阈值 0.95。变异 LLM 为 Claude 3.5 Sonnet（temperature = 0.7，max_tokens = 16,000）；评估候选提示的裁判 LLM 为 Claude 4 Sonnet（temperature = 0.0，高推理努力，经 TruLens Cortex 提供）——与基线可靠性测量同模型。
适应度函数：每个候选提示从 TRAIL/SWE-bench 语料采样 15 条轨迹（固定种子 42），每条评估 5 次（25 并行工作进程）得到逐轨迹均值与标准差。逐轨迹得分为：
其中 $g_t$ 为轨迹 $t$ 的金标均分（由初始程序在全部 31 条轨迹上 10 次运行得到）。惩罚因子在 $|\bar{s}_t-g_t|\le 0.2$ 时为 1.0、$\ge 0.5$ 时为 0.5、其间线性插值。返回 OpenEvolve 的适应度为：
同时奖励低方差与对初始提示分数分布的保真。级联评估：为减少在句法无效或退化提示上的浪费计算，采用两阶段级联——第一阶段仅以 2 次运行评 1 条轨迹，combined_score 超过 0.01 阈值的候选才进入第二阶段的完整 15 轨迹 × 5 运行评估。种子与变体：对附录 F 中每个种子提示独立运行 OpenEvolve——(1) 通用种子（与 Generic 基线相同，50 次迭代）；(2) GEPA 种子（DSPy auto-medium 优化结果分解为 CRITERIA 与 ADDITIONAL_INSTRUCTIONS，测试 OpenEvolve 能否继续改进已优化提示；max_code_len 由 15,000 增至 25,000）。其余设置全程固定；禁用 diff 式演化以防 LLM 输出出现合并冲突标记。
评测细则是为 GEPA、MIPROv2 等反思式提示优化方法提供可操作反馈的关键；AlphaEvolve、OpenEvolve 等系统也依赖评测反馈驱动代码演化。将 GPA 评测细则嵌入这些演化式代码系统内，有望利用文本反馈的质量显著改进所用智能体系统的底层代码。
该节将随数据验证/格式问题的识别与修正持续更新（当前版本为空）。
参考文献列表与原文一致（32 条，含 GEPA / DSPy、TRAIL、GAIA、SWE-bench、AgentRewardBench、MAST、Plan-and-Act、AdaPlanner、Plancraft、OpenEvolve / AlphaEvolve、Arike 等 2025 目标漂移报告等），此处从略，详见 arXiv:2510.08847。