8.29 日报

一、今日定位：从"想清楚"到"跑起来"

课题空位再确认一遍：多智能体协作情景下的目标漂移"溯因 + 量化"，目前没有人做——溯因（偏移从哪一跳、哪类信息、哪个机制内核产生）与量化（偏移多少、随污染剂量怎么变）在 τ-bench 这个载体上都还是空白。我们的整条路线（基线 → 受控注入 → 差分归因）就架在这个空位上。

二、τ-bench 精读：评测方法四个要点，以及各自"对我们意味着什么"

① 交互协议：agent ↔ LLM 用户模拟器 多轮对话 + 工具调用

被测 agent 与 LLM 扮演的用户模拟器多轮对话，agent 通过调用领域工具（API）操作数据库。对我们的意义：多智能体化时用户模拟器保持零改动，只动 harness 层的 agent 拆分——保证分数与原版协议、与先例可比。

② 判分锚定：数据库终态 + 对话检查项 不看你说了什么，看世界变成了什么样

判分不看对话"像不像完成了"，而是比对数据库终态与预期状态、加上对话中应交付信息的检查项（checklist），由 judge 判定，且有 check 级的细粒度得分。对我们的意义：GD 层（行为/终态偏离金标）直接继承原版判分器，不另造尺子；check 级粒度还能给 hop-FOCUS 的对齐度提供落点。

③ pass^k：专测可靠性而非单次正确 同一任务跑 k 次全过才算过

τ-bench 的核心指标是 pass^k——衡量 agent 的稳定性与方差，这正是对"漂移"敏感的设计。对我们的意义：注入实验必须固定采样协议、多次重复——否则污染效应和采样噪声会混在一起，差分不可信。这是量化设计的硬约束，今天记入实验规范。

④ 数据：261 道任务已备齐 对齐 AgentTether 的任务规模

数据准备完成，共 261 道，与 AgentTether（τ-bench 261 任务运行时修复）同规模——基线分数将来可直接与它对表，验证我们 harness 的正确性。

三、基线先行的逻辑：不是走过场，是给实验定标尺

今天想清楚的一件事：跑基线之前，我们并不知道 Qwen3.8-27B 这类候选模型在 τ-bench 上到底能考多少分。这直接影响实验能不能做：

• 基线是 T0 对照的分数锚点：所有漂移量（CD/CC/GD、hop-FOCUS）本质上都是"注入轨 − 无污染轨"的差分。基线不落地，"漂移-剂量曲线"就没有纵轴零点；
• 基线是仪器校准：若模型本身通过率过低，漂移信号会被"能力性失败"淹没；若过高（天花板），污染注入后又没有可下降的空间。先看基线落在哪个区间，才能确认被测模型工作在合理灵敏度带内，必要时换档或调 harness；
• 基线顺带验证链路：数据加载、vllm 推理服务、判分器、指标计算全链路先用原版单 agent 协议跑通，之后多智能体化出问题才能定位在 harness 而非地基。

四、实验环境与进度

T0 基线运行进度（截至 29 号当前），按域推进，infra 错误为 0——链路稳定：

五、明日计划

• 跑通 Qwen3.8-27B 基线，拿到 pass^1 / pass^k 与按域分层的通过率，确认落在合理灵敏度区间；
• 基线若异常（工具调用不稳 / 分数过低过高），先修 harness 与提示词，把"能考"变成"考得稳"；
• 基线锚点就位后，把实验设计文档里的 hop-FOCUS 与 CD/CC/GD 计算脚本挂到真实轨迹上，进入注入轨。