| 中文 | 英文 | 释义 |
|---|---|---|
| 承诺漂移 | commitment drift | 意图在后续上下文中干脆缺席,误差复利累积;目标放弃型失败,修复为代码执行的外部承诺存储 |
| 绑定漂移 | binding drift | 意图与指称对象都在场,但二者的连接只活在注意力中,随距离与低显著性丢失;修复是位置性的 |
| 预注册预测 | pre-registered prediction | 行动前写入日志的预测;须由代码与观测 diff 匹配成功,断言方被接纳 |
| 结构化挫败者 | structural defeater | 预注册的、从结构上挫败效能声明的零结果条件(本文:~0 通关终点) |
| 类型化提案 | typed proposals | 模型器官只能通过准入门控、以封闭词表提交的提案 |
| 执行者 | Executive | 持有全部状态转移的确定性控制平面(差分器、匹配器、校验器、编译器、渲染器、测试评估器) |
| 影子参考 / 影子编译 | shadow reference / shadow-compiling | 在每一格中编译但不渲染、不执行的参考计划,使漂移指标在无活动计划的格子中仍有定义 |
| 运行有效性门控 | run-validity gate | 写错误率 / 渲染规模 / 金丝雀回声三重底线,任一击穿即整场运行自判无效 |
| 加盐金丝雀回声 | salted-canary echo | 注入每个提示区域的隔离合成行,用于区分传输缺陷与消费腐烂 |
| 结构性吸收 | structural absorption | 失败类别被代码所有权消除,不再以逐节拍漂移的形式显形 |
| 参考节拍 | reference beat | 影子计划中可按 bind / aligned / abandon 打分的执行节拍 |
| 接地 | grounding | 仅指相对形式微世界(formal micro-world)的因果—信息意义上的接地,不主张感知或社会接地 |
一个在数百乃至数千步上行动的智能体会偏离自己的目标。这一现象——目标漂移(goal drift)——如今已被当作语言模型智能体的一等公民失败加以测量与基准化 [2, 8]。但我们验证它的方式在两个对可靠智能体开发至关重要的维度上都很弱。其一,多数评测信任智能体自己的状态与自我报告:一个说"完成了"的智能体就被记为完成。其二,漂移被报告为一个总分,既说不出哪种失败发生了,也说不出某次运行是否有效到可以归因一个数字。本文把 workshop 的问题——谁来验证智能体?——按字面意义对待,并用构造来回答。
在此之上,我们再加两个针对测量本身的验证器:一个运行有效性门控(run-validity gate),使运行在机器失灵时自我失效;以及一个影子仪器(shadow instrument),在包括"被测机制已被删除"在内的每个实验单元格中定义漂移指标。
该仪器换来一个结果。"漂移"不是一种失败,而是至少两种,签名不同、修复也不同:
绑定成分并非纯粹假设:针对前身系统的前作 [3] 诊断出一种自洽幻觉级联(self-consistent hallucination cascade)——感知层错误传播进内部自洽但事实上错误的世界模型。该工作所称的感知层级联,在本文分类学中即绑定丢失:一个指称对象落地于模型自身的先前文本,而非观测之中。我们的仪器把每种失败的修复外化为一个独立开关,因此二者可以被分别关闭、分别测量。
贡献。
1. 一种自验证智能体仪器(§2–§3):持有信念的确定性控制平面;在逐器官错误、渲染规模与金丝雀回声底线上自我失效的运行;以及一个渲染不可见的影子参考,凭字节同一性保证在每个消融单元格中定义漂移。
2. 一个因果分离(§4):消融承诺机制把目标放弃率推到天花板($0.00\to1.00$)而绑定错误纹丝不动;消融绑定修复则不改变任何逐节拍指标——证明"漂移"应当先分解、再修复。
3. 零结果,先行报告(§5):52 次门控运行零任务通关,预注册为挫败条件——并论证机制性结论独立于该零结果成立。
精读注 1(二分法的文献对应):本文"承诺 / 绑定"二分可与既有两条文献线对上。承诺漂移对应智能体安全文献中的目标走私 / 目标漂移谱系(Menon et al. 的 inherited goal drift:上下文压力侵蚀目标 [8];Arike et al. 的目标漂移评测 [2]),其修复范式是把承诺外部化(agenda / 承诺存储);绑定漂移则对应长上下文文献中的位置偏差与证据分隔("迷失于中部" [7]、LongPiBench [9]),以及前作 Sensi [3] 诊断的自洽幻觉级联——感知层错误注入后在模型自身先前文本中"落地"为指称,即信息错误注入的级联形态。两条失败通道的修复手段不同(议程 / 记忆问题 vs. 位置 / 指称问题);把它们混进同一个"漂移"总分里,会让两种修复都做不对。
LLM 提议,执行者裁决。任何模型输出都不改写状态,任何模型也不读取原始转储。三个模型"器官"——解读机器计算变更集的观察者(Observer)、提交目标 / 假设 / 实验的勘测者(Surveyor)、发出动作的致动器(Actuator)——只能通过准入门控、以封闭词表提交类型化提案。一个确定性执行者(Executive)(差分器 differ、匹配器 matcher、校验器 validator、编译器 compiler、渲染器 renderer、测试评估器 test-evaluator)持有每一次状态转移。所有存储都是只追加(append-only)的;状态是计算出来的,从不被覆写;每条后果回执(consequence receipt)都以其被观测时的精确逐帧锚点为键,因此身份是可重放的数据,而非破坏性合并。
一个指称对象逐级攀升,且每次跃迁都被机器检查:
仅具名(named-only)的文本还不构成指称对象;对原始观测做一次与显著性无关的抽取使其获得锚定(anchored);一条已记日志的动作回执使其被启用(engaged);而只有当它被一条经过测试(TESTED)的规则引用时——即该规则的预测在行动前提交到日志、并由执行者与确定性观测 diff 匹配——它才算完成刻画(characterized)。这是严格意义上的验证:模型无法为它未曾预承诺的匹配署名,"达成"是日志事件上被触发的谓词("LLM 说完成了"不是一个事件),且降级永不删除审计链。
绑定修复 $J$是"目标 ↔ 指称对象"的连接(join):一个持久结构,从经过后果测试的证据中规范化指称对象,并在每一轮以固定的提示位置把每个活动目标连同其指称对象预先连接后重新呈现,使任何消费者都无需跨越遥远的提示区域去拼接事实。
承诺修复 $A$是由代码执行的外部承诺存储:一份编译好的计划,致动器对它的查阅独立于模型注意力。
每个开关都只是一个环境标志位(ARG_JOIN=0、ARG_AGENDA=0);其余全部脚手架在格子间完全一致,因此格子间的差分无法被归因于泛型脚手架或调用次数。除一个小型声明式环境适配器外,没有任何任务是特定的——正是这一性质让"从未见过的游戏"结果(§5)有意义,并在发布时通过示例清洗(exemplar scrub)强制执行。
一个分离结论的可信度不会超过测量它的仪器。三个机制在任何信念层面的断言被允许之前,先验证测量。
一场运行对归因而言是 INVALID 的(整体排除),当下列任一条件成立:任一器官的逐项写错误率(类型化拒绝行数 / 总操作数)超过 0.25;任一渲染视图在每节拍或每次调用上突破硬性 token 上限;或每个提示区域的加盐金丝雀回声率低于底线。
金丝雀(canaries)是注入每个区域的隔离合成行;逐区域回声率把传输缺陷(信息没送到)与消费腐烂(送到了没被用)区分开来,先于任何信念层面的诊断。这不是装饰性的:前八次架构运行中有四次被这些底线击穿而失效,且每次失效都定位到一个真实的契约缺陷。§4 中的每个数字都来自有效运行,并可从只追加日志重放。
目标漂移是对计划的偏离——但在承诺被消融的格子里,根本没有可供偏离的计划。仪器用影子编译(shadow-compiling)来闭合这一缺口:在每一格中编译"完整系统本会承诺的计划",但不渲染、不执行——一次对同一存储的纯读取。字节同一性测试证明影子路径不可能泄漏进行为(影子开与关时渲染字节完全一致)。由此,即使在完全没有活动计划的格子里,也存在正的参考节拍计数——从而 bind 与 abandon 分数都有定义。没有它,分离中的承诺一半将建立在一个无定义的指标上。
对每个带计划步 $(\text{target},\,\text{action})$ 的参考节拍:
即:bind(绑定失手)——执行了计划的动作且带瞄准,但落在不等于计划目标的指称对象上;aligned(对齐)——忠实执行了活动计划步;abandon(放弃)——既未执行计划动作、也未命中计划的既定目标。无目标动作不携带瞄准参数,因此不存在绑定接缝——它们可以放弃,却不可能绑定失手;这解释了为何在计划无目标的场合 bind 分数结构性接近零(与 §4.2 相关)。
完整系统相对裸骨干模型的运行开销比为:
它花的是更少而非更多的推理——因此任何报告的效应都不能归因于额外推理开销。效率数字只对已完成的关卡报告;零通关的格子打印"0 completions",永远不打印效率数字。
截至目前的活动:52 次运行、约 1700 万 token、两个协议日,基于 ARC-AGI-3 交互式游戏 [1]、中端骨干模型(除非另有说明)、200–400 步行动视野。每个数字均来自有效运行。
在单个游戏上按协议种子数实验(每格三种子,每格均有效):
| 单元格 | 绑定修复 $J$ | 承诺修复 $A$ | GDS-bind | GDS-abandon | 参考节拍 / 运行 |
|---|---|---|---|---|---|
| FULL | 开 | 开 | 0.00 | 0.00 | 至多 96 |
| J0 | 关 | 开 | 0.00 | 0.00 | 至多 72 |
| A0 | 开 | 关 | 0.00 | 1.00 | 至多 394 |
| J0A0 | 关 | 关 | — | — | (无定义;见 §4.3) |
杀死承诺存储,使目标放弃率 $0.00 \to 1.00$ 翻转,而绑定错误在指标有定义之处稳稳保持 0.00(abandon 在 A0 的三个种子中的 $n=2$ 个上有定义;第三个种子没有抽到假设原料,是无定义,不是零)。该效应是单变量的:FULL 与 J0 都把放弃率压在 0.00;只有移除 $A$ 才会移动它——而且一动就顶到天花板,对抗的是单次运行中多达 394 个影子编译参考节拍。仅仅被剥夺外部承诺存储,智能体就在几乎每一个节拍上放弃它本来会遵循的计划,而其绑定行为分毫未变。
绑定的一半并没有像对称双分离所预言的那样表现——而原因本身就是一个结果。上表每个格子(包括杀死 join 的格子)的 bind 分数都是 0.00。我们在第二个瞄准动作丰富的游戏上、以配对 engaged 比较确认:这是吸收(absorption),而非单游戏的特例:
| 指标(游戏 2,配对 engaged) | FULL | J0(join 关闭) |
|---|---|---|
| GDS-bind | 0.00 | 0.00 |
| GDS-abandon | 0.00 | 0.00 |
| 接地率(grounding rate) | 1.00 | 1.00 |
| 目标遵循(goal adherence) | 0.964 | 0.964 |
杀死模型侧的 join 在逐节拍层面什么都没改变。join 本来要防的绑定失败类别在这里根本无法打开,因为瞄准(aiming)、包含检查(containment checking)与回执归属(receipt attribution)都是执行者持有的代码:一次带瞄准的发射落在哪里由几何决定(发射坐标落在哪个指称对象的锚点单元格内),错误落点会在污染信念之前被捕获并压制其回执。join 的贡献已从"防止逐节拍绑定丢失"转移到结构之中,因而不再以漂移的形式打印出来。
一条完整性记录使这些 0.00 显得可信而非可疑:早期一个包含判定 bug 把点击归属到按 id 排序的第一个包含指称对象、而非最具体的那个——单次运行中 96 条回执被错误归属,悄然饿死被瞄准的规则并打印出假漂移。仪器自身的分解让它显形;修复(归属最小包含指称对象)当天即被一个 fixture 钉死。干净的 0.00 是纠正后的读数。
精读注 2(0.00 是被仪器"逼"出来的):论文专门披露上述包含判定 bug,其方法论价值值得放大:当一个测量系统能自我失效、且按 bind / aligned / abandon 分解到回执粒度时,"异常漂移"会反向暴露测量机器自身的缺陷,而不是被平均进总分。换言之,本文中干净的 0.00 不是运气,而是"可自我纠正的测量"纠正之后的读数——这正是"仪器验证自身科学"这一主张的实证支撑。
如果 join 的载荷是结构性的,移除它应该在某处显形——不是逐节拍,而是更早一层:效应关联的假设究竟还会不会形成。跨因子设计,假设形成率为:
同时移除两个机制,把系统按倒在漂移的上游:既没有 join 也没有 agenda 上下文时,效应关联的假设几乎从不形成(4 个种子中 0 个)。这正是双杀格子在 §4 中对漂移无定义的原因——系统从未走得远到拥有一份可供偏离的计划——它把绑定修复的可测效应重新定位到假设原料(hypothesis feedstock)上,与绑定执行相隔一步。
跨全部 52 次运行、所有格子——包括所有基线——零关卡完成、零得分。我们预注册了"~0 胜"终点作为对效能声明的结构化挫败者(structural defeater)而非脚注式的 caveat,且本文不做任何效能声明。该零结果不影响 §4:那些是对内部参考计划的测量,其定义与门控独立于是否赢下任何关卡。它确实意味着系统尚未找到能得分的机制;观察到的行为是一位有纪律的实验主义者——识别自身的知识缺口、提交有针对性的假设、以预注册预测运行有界实验、并凭回执降级错误理论——每个 400 步运行测试约 3 个错误的对象域理论。基线同样是零;且后续分析发现该家族中许多公开游戏可被非智能策略解出 [6],因此我们把 0 通关视为真实差距,而非被难度开脱。
一个小型(Haiku 级)骨干模型在写错误率 0.0 下有效跑通了完整循环,全程 engaged(2 个假设 → 2 个里程碑 → 48 个带瞄准的实验节拍,零被拒操作)。这是一个契约问题,不是模型之墙:单一杠杆——器官契约中加入逐操作示例——把其写错误率从 $0.55\text{–}0.71 \to 0.333 \to 0.0$。档次差距是真实的(更大模型分解得更丰富),但底线已被跨过;这对小型智能体模型的经济性论证 [4] 有直接意义:正因验证是结构性的、模型的工作被简化为在封闭语法中填空机器提出的问题,这一点在此才变得可测试。
引擎在 3/3 个从未见过的游戏上 engaged,零游戏特定代码,在全部三个游戏上生成课程、假设与里程碑(2/3 通过有效性门控)。在没有播种目标的情况下,它从自身的类型化缺口出发,逐字生成了规范的"学习形"课程(learn-shaped curriculum)。
精读注 3(成文背景与阅读定位):这是一篇 6 页单作者短文(独立研究者,前作为 Sensi,arXiv:2603.17683),围绕 workshop 议题"谁来验证智能体?"成文,属预印本 / 非主流评审渠道,发表时未经常规会议评审。证据规模有限:承诺分离在单个游戏上达到协议种子数(每格 3 种子),吸收确认仅一个配对游戏,机制泛化为三个游戏;完整的声明性协议(分离本身 ≥3 游戏 × ≥3 种子)尚未完成,且全程零通关。阅读时宜将其定位为"验证方法学 + 初步单变量因果证据"而非大规模基准研究。但值得一提的是其报告方式:零效能作为预注册挫败条件置于结论之前、所有数字限定于有效运行、并附只读重放仪器与密封测试——这种"先声明什么没做到"的写作纪律在当前智能体文献中相当罕见。
验证与验证者。Workshop 的前提——智能体行为必须由智能体之外的某种东西来检查——驱动了本设计:不是一个给输出打分的下游验证者,而是确定性一侧持有信念、运行自我门控。提议—验证式控制(LLM-Modulo 规划;"Symbolic Governor";"Blueprint First, Model Second")共享确定性检查器的模式,但在那些工作里验证者检查输出;在这里它持有智能体可以视为真的东西。目标漂移已被确立并基准化 [2, 8];我们增加的是成分分解与逐格测量,而非新的总分。长上下文参照 / 位置偏差 [7, 9] 支撑绑定构念;我们的发现是:一旦 join 为代码所有,位置性失败不再以漂移显形。共指缓存(LQCA 式 join;LINK-KG 式规范指称缓存)是 join 管道的前作;差异在于我们的指称对象只能通过执行者验证过的后果回执逐级攀升,这是静态文本缓存不具备的。接地仅在相对形式微世界的因果—信息意义上被主张 [5];我们实现了其认可的"策展—验证—工具化"路线,不做更强的主张。
效能为零(§5);本文每一条都是机制性声明。结果是"一个干净的孤立(承诺)+ 一个结构性吸收发现(绑定)",而非两条对称臂:我们无法展示"杀死 $J$ ⇒ bind 分数上升",因为绑定被构造性地阻止了。承诺分离达到协议种子数但在单个游戏上;吸收确认是一个配对游戏;机制泛化是三个游戏,但完整的声明性协议(分离本身 ≥3 游戏 × ≥3 种子)尚未完成,且双杀格子在漂移上无定义、不是零。封闭词表未必覆盖所有环境;按记录量化的里程碑可被博弈;当探针缺乏区分力时,自洽但错误的理论也能通过回执检验。全文的"接地"指相对形式微世界的因果—信息接地;不主张感知与社会接地。相同配置下的运行间方差很大,因此没有任何单次运行读数被视为有意义——协议与门控是唯一的透镜。
"目标漂移"不是一种失败。它内部至少藏着两种机制上截然不同的失败,修复各异;而借助一台能验证自身运行、能在每个格子中定义漂移的仪器,二者被拉开:只移除承诺存储、别的什么都不动,智能体就在几乎每个节拍上放弃自己的计划,而绑定保持干净;把绑定外部化为代码,它就干脆不再以逐节拍漂移的形式打印出来。我们在任务效能为零的情况下报告这一切,因为分解本身就是贡献,且它不依赖于效能。验证正在发生的是哪种漂移——在每一个格子里——是修复任何一种的前提;而且这是你必须造进智能体里的性质,不是事后 bolt-on 上去的。
全部结果可由只读仪器从只追加日志重放,见 github.com/arjmandi/ARG(tag v1.0-paper);有效性门控(probe_arg_legibility.py)、漂移分类学(probe_arg_metrics.py)与发布 lint(probe_arg_release.py)均由密封测试(hermetic tests)钉定。
[1] ARC Prize Foundation. ARC-AGI-3: A new challenge for frontier agentic intelligence. arXiv:2603.24621, 2026.
[2] R. Arike, E. Donoway, H. Bartsch, M. Hobbhahn. Technical report: Evaluating goal drift in language model agents. arXiv:2505.02709, 2025.
[3] M. Arjmandi. Sensi: Learn one thing at a time — curriculum-based test-time learning for LLM game agents. arXiv:2603.17683, 2026.
[4] P. Belcak, G. Heinrich, S. Diao, Y. Fu, X. Dong, S. Muralidharan, Y. C. Lin, P. Molchanov. Small language models are the future of agentic AI. arXiv:2506.02153, 2025.
[5] L. Floridi, Y. Jia, F. Tohmé. A categorical analysis of large language models and why LLMs circumvent the symbol grounding problem. arXiv:2512.09117, 2025.
[6] L. K. Han. Explore before you solve: The speed–depth trade-off in epistemic agents for ARC-AGI-3. arXiv:2605.25931, 2026.
[7] N. F. Liu, K. Lin, J. Hewitt, A. Paranjape, M. Bevilacqua, F. Petroni, P. Liang. Lost in the middle: How language models use long contexts. arXiv:2307.03172, 2023.
[8] A. Menon, M. Saebo, T. Crosse, S. Gibson, E. Jang, D. Cruz. Inherited goal drift: Contextual pressure can undermine agentic goals. arXiv:2603.03258, 2026.
[9] R. Tian, Y. Li, Y. Fu, S. Deng, Q. Luo, C. Qian, S. Wang, X. Cong, Z. Zhang, Y. Wu, Y. Lin, H. Wang, X. Liu. Distance between relevant information pieces causes bias in long-context LLMs (LongPiBench). arXiv:2410.14641, 2024.