15 · Agent评测：少查一次资料，为什么先不采用这次优化？

评测要把“省下了什么”和“丢掉了什么”放在同一组任务里比较，才知道一次改动该保留、回退还是加条件。

本课的位置：Eval位于图底部，面向整套系统比较结果与关键过程；它不是每次回答之后必须经过的运行步骤。

研究Agent要根据版本说明回答“v2活动日志保留多久”，附上支持结论的出处。原方案先读目录摘要，再读源文档。现在有人建议缩短提示：目录已经有数字，直接回答，少一次工具调用。

只看最新资料时，两个方案都答45天。真正的问题藏在变化里：摘要还是v1怎么办？原文根本没给保留期怎么办？任务中途停止，或发布结果未知时，系统还会不会错误地继续动作？

本课用一个完整的教学评审案例比较三种方案。下文直接给出任务、资料、候选答案和判定理由，表中的结果用于说明决策过程，不代表某个真实模型的成功率或性能。

评测位于日常执行链路之外：固定任务与运行条件，收集候选结果和执行事实，再按同一标准判断。第14课解释一份报告错在哪，这里进一步判断一项改动影响哪些能力，而不是只挑一个成功案例展示。

把“成功”写得比一句答案更完整

任务集是一组有固定输入与判定标准的任务。每题说明初始资料、允许动作、触发条件，以及期望事实或允许结果。标准不必是一段固定文案，也可以是必须成立的条件。

案例包含六种情形。前3种看资料，后3种看行为：

正确数字不能抵消错误行为。例如重复发布的报告即使数字完全正确，也没有通过这次任务。反过来，发布结果未知时明确保留未知并查询，可能恰好是正确结果，不能一概判失败。

要比较方案，题目、资料版本、工具权限和判定标准都要固定。否则A读到旧资料，B读到新资料，结果差异就无法归因于改动。每次还应恢复相同的初始状态，避免上一轮留下的产物或已发生动作改变下一轮条件。

三种方案到底省掉了哪一步？

A保留双查：先读摘要，再核对源文档。B无条件相信摘要，摘要没数字时沿用旧默认30天。C增加证据守卫：摘要已核对、版本匹配、数字存在，三项同时满足才复用，否则回源。

“已核对”必须来自受控资料流程，能够追到源修订、抽取规则与授权范围，资料变化后失效。不能让模型自称“我已经核对”，就获得跳过查询的资格。

这也不是要求Agent永远沿同一条路线执行。只要证据获准、足以支持当前任务，C少读一次可以合格；精确事实缺证据时，就必须补查。评测约束最终结果与必要行为，不应把某条标准调用顺序当成唯一正确路线。

逐题看答案，改动的代价就清楚了

按上述条件推演，三种方案的结果如下。停止、恢复和未知动作沿用同一套执行控制，改动只影响资料读取：

B的旧版摘要问题很直接：只看到v1的30天，就回答了v2的问题。没有回源，资料版本错误便进入报告。

缺值情形更能说明为什么不能只验引用。B给出的出处可以是v2的合法位置，版本也对，但原文没有30天这个结论，数字来自默认值。引用位置有效、引用能支持结论，是两道不同的检查。

三道资料任务中，A共读取6次，B读取3次，C读取5次。B最省，却在两种情形失败；C仅在新鲜且已核对的证据上省一次，其余仍双查。这个案例支持的决定是：撤回无条件省查与缺值补默认，保留有条件复用。

采用C之前，还应增加同版本原文修改、权限变化、标记过期等任务。维护证据也有成本，不能把一个“已核对”标记当作永久事实。当前六种情形支持了一个较好的方向，并不保证它覆盖所有真实任务。

判定标准应该在哪一步挡住错误？

先检查任务状态与动作事实，再核对报告的事实、资料版本、出处和未知表达。所有适用的必需项都成立，任务才成功；不能把这些项目平均后互相抵消。

金额、版本、文件是否存在、动作是否重复等，适合规则判定：成本较低，结果清楚，也容易定位。代价是规则只覆盖已写明的条件，合法但不同的表达还可能被误拒。

例如资料里的保留期后来改为71天，合格答案就必须跟随证据更新。若判定器仍接受“45天，加上一个合法链接”，说明它只认熟悉答案，没有真正检查事实支持。也要检查相反情况：意思正确但措辞不同的报告，不能因没有照抄模板而失败。

复杂解释更适合先用人工量表：必需结论是否完整，证据是否支持推断，未知是否表达清楚。让审阅者独立判断一部分样本，核对分歧，再修正模糊标准。

模型评审可以扩展语义判断，但要与人工样本校准，隐藏候选身份、交换答案顺序，检查是否偏爱更长或更熟悉的风格。候选输出也不能成为评审者的新指令。关键动作仍查业务事实，不能让模型一句“看起来安全”代替执行核对。

失败记录应直接指出问题：事实不符就查实际值与期望，资料版本不符就查选择过程，退出未确认就查停止链路。这样评审结果才能推动具体修正，而不是只留下一个总分。

六种情形之外，怎样比较真实系统？

真实模型可能在同一任务上走不同路线，需要重复观察，并同时记录独立任务数、每题尝试次数与失败类别。重复十次同一题，也不等于增加十种覆盖。小样本差异应保留不确定范围，不能由几次全对就宣称线上成功率100%。

总成功率使用事先约定的任务分母。超时、业务结果未知、证据不足和评测基础设施错误分别列出，不能删掉慢题或无结果题后再展示好看的比例。引用准确率、取消能力也有各自适用范围，不能混成一个随意加权的大分数。

比较Prompt时先固定模型和资料；比较检索时固定生成配置；同时换三项，即使结果更好，也难知道贡献来自哪里。开发任务可以反复查看，保留任务限制使用；期望答案不能混进历史对话、知识索引或共享缓存，否则评测会失真。

质量门槛通过之后，再比较完成时延与总成本。少一次读取是具体变化，但是否更便宜取决于工具收费、缓存和失败重试；更早输出第一句话，也不代表整份可用报告更早完成。

下一课更换模型或启用备用路由时，继续使用同一判定思路：先保住事实、证据和动作边界，再判断省下的时间与费用是否值得。