问答题【72/1935】Agent 的评测体系如何设计?

难度:
2026-06-08 创建
想动手验证一下?打开练习场,写代码、看结果。在线练习

参考答案:

Agent 的评测体系不能只评“最终回复像不像”,而要把 Agent 当成一个会推理、调用工具、读写上下文、产生副作用的工程系统来评。核心目标是判断它在真实约束下能否稳定完成任务,并且过程可控、成本可接受、风险可收敛。

比较合理的设计方式是先定义任务边界。比如一个 Agent 是负责代码修改、数据分析、客服回复,还是工作流自动化,不同场景的评测重点完全不同。代码 Agent 要看是否正确理解需求、是否改对文件、是否通过测试、是否引入回归;客服 Agent 要看事实准确性、语气、拒答边界和问题解决率;工作流 Agent 还要关注工具调用顺序、权限边界和异常恢复能力。

评测集需要分层建设。第一层是基础能力集,覆盖指令理解、信息抽取、格式遵循、工具调用参数生成等能力。第二层是场景任务集,来自真实业务日志、常见工单、历史缺陷和人工构造的高风险案例。第三层是对抗与边界集,比如上下文缺失、用户意图模糊、工具失败、权限不足、数据冲突、恶意提示注入等情况。这样可以避免评测只覆盖“正常路径”,但上线后在真实环境里频繁翻车。

指标也要分层看。最终结果上,要看任务完成率、答案正确率、是否满足验收条件。过程上,要看工具选择是否正确、参数是否准确、是否有不必要调用、失败后是否能重试或降级。安全上,要看是否泄露敏感信息、是否越权执行、是否在证据不足时编造结论。工程指标上,还要看延迟、token 消耗、工具调用次数、单任务成本和多次运行稳定性。同一个任务重复跑多次,如果结果波动很大,也说明 Agent 的可控性不足。

判断方式不能完全依赖 LLM-as-Judge。确定性强的部分应该用程序化断言,比如文件是否被正确修改、API 参数是否符合 schema、测试是否通过、数据库状态是否符合预期。主观性较强的部分,比如表达质量、需求覆盖度、是否需要追问,可以使用评审模型配合明确 rubric 打分。对于高风险场景,还需要人工抽检,尤其是权限、合规、财务、医疗、法律等任务。

评测环境要做到可复现。工具调用最好在沙箱或 mock 环境中执行,外部 API、时间、随机数、数据源都要尽量固定。每次评测要记录完整 trace,包括输入、上下文、模型输出、工具调用、工具返回、最终回答和评分结果。Agent 出错时,不能只看到“失败”,还要能定位是理解错了、计划错了、工具选错了、参数错了,还是工具结果被错误解释了。

上线后还需要在线评测闭环。离线评测只能证明历史样本表现不错,不能覆盖真实用户分布变化。线上应该采集任务完成率、用户追问率、人工接管率、撤销率、失败工具调用、成本异常和用户反馈,再把典型失败样本回流到评测集。这样评测集会随着业务演进持续更新,而不是一次性建设后失效。

在工程流程上,Agent 评测应该接入 CI/CD。每次改 prompt、模型、工具 schema、检索策略或记忆策略,都要跑核心回归集。低风险变更可以跑 smoke eval,高风险变更要跑完整场景集和对抗集。评测结果最好有基线对比,关注通过率、成本、延迟和安全指标是否退化,而不是只看单次绝对分数。

最后,Agent 评测的关键不是追求一个总分,而是建立一套能解释问题、阻止回归、指导优化的体系。一个成熟的评测系统应该能回答三个问题:这个 Agent 能不能完成任务,为什么失败,改动之后有没有变差。

最近更新时间:2026-11-17

赞赏支持

题库维护不易,您的支持就是我们最大的动力!