LLM 智能体评测与基准构建综述

LLM 智能体的评测，是当前一个复杂且尚不成熟的领域。这份由 SAP Labs 的 Mahmoud Mohammadi、Yipeng Li、Jane Lo 和 Wendy Yip 完成的综述，正是要回答一个问题：当基于 LLM 的 agent 从研究原型走向真实应用，我们该按什么框架去系统性地评估它们。作者在开篇给出的判断是，评测 agent 比评测单独的 LLM 复杂得多——LLM 主要被考察文本生成或问答，而 agent 要在动态、交互式的环境里推理、规划、调用工具、使用记忆，甚至与人类或其他 agent 协作。文中有一个比喻：LLM 评测像检查一台发动机的性能，agent 评测则要像评估整车在各种路况下的综合表现。这也是它现在值得一读的原因：能力在快速推进，评测方法却明显滞后。

覆盖范围上，这份综述提出的是一套二维分类法，把已有工作沿两条轴组织起来。第一条轴是评测目标，即评什么，包含 agent 行为、能力、可靠性、安全与对齐；第二条轴是评测过程，即怎么评，包含交互模式、数据集与基准、指标计算方法、评测工具以及评测环境。方法上它做的是文献梳理与框架搭建，把分散的研究归入这棵树状结构，而不是跑实验产出新数据。作者还指出，现有综述要么只聚焦 LLM 评测，要么只覆盖 agent 的某项具体能力，缺少整体视角；此外，他们把自己的贡献概括为两点：提出上述分类法，以及点出企业场景特有的挑战。这意味着，读者拿到的首先是一张地图，而非一组实测结论。

在评测目标这一维度上，四条线索各有侧重。Agent 行为偏结果导向，关注任务完成情况与输出质量，衡量的是 agent 在多大程度上满足了终端用户的期待。Agent 能力偏过程导向，涵盖工具使用、规划与推理、记忆与上下文保持、多 agent 协作，用来判断 agent 是如何达成目标的、是否符合设计规格。可靠性考察的是同一输入下行为是否一致，以及输入变化或系统出错时是否依然稳健。安全与对齐则针对可信与安全属性，材料中列举到的包括公平性与合规等。换句话说，这套划分把「做成了没有」和「怎么做到的」分开处理，再叠加一致性与安全性两个横切面。

评测过程这一维度，回答的是操作层面的问题：采用什么样的交互模式、用哪些数据集和基准、指标怎么算、用什么工具和什么环境来承载评测。作者强调，agent 的评测处在自然语言处理、人机交互与软件工程的交叉口，因此需要额外的视角；传统软件测试面向确定性的静态行为，而 LLM agent 本质上是概率性的、行为是动态的，旧方法不够用。这些判断共同指向一个结论：评测不是选一个基准跑分，而是一整套需要设计的选择。文中也提到，企业应用对 agent 提出了额外要求，包括对数据和系统的安全访问、可用于审计与合规的高可靠性，以及更复杂的交互模式。

企业场景是这份综述着力补上的部分。作者点名的挑战有四类：基于角色的数据访问控制、对可靠性保证的需求、动态且长周期的交互，以及合规要求；他们认为这些在现有研究中常被忽略。作为延伸，作者给出的未来方向包括更整体、更贴近真实、更可扩展的评测。我的解读是，企业关注点与研究关注点之间存在错位：学术基准大多在相对干净、回合数有限的环境里测能力，而落地时最先卡住的往往是权限边界、可审计性和长程交互中的稳定性。如果这个判断成立，那么团队在选型或自建评测时，把这几项提前纳入设计，会比事后补测更省成本。

读这份资料，能拿走的是一套可复用的组织方式：先明确要评的是行为、能力、可靠性还是安全，再决定交互模式、数据集、指标与工具，而不是把两者混在一张榜单里比较。它也提醒实践者，agent 的概率性与动态性决定了评测必须考虑重复运行与扰动下的表现，而不能只看一次结果。需要说明边界：这是一篇综述，价值在框架与问题清单，不提供具体基准的实测对比或排名；企业挑战部分提出的是问题，而非已验证的解决方案；文中不少论断引自其参考的既有工作，细节需回到原文核对。

Evaluation and Benchmarking of LLM Agents: A Survey Mahmoud Mohammadi [email protected] SAP Labs Bellevue, WA, USA Yipeng Li [email protected] SAP Labs Bellevue, WA, USA Jane Lo [email protected] SAP Labs Palo Alto, CA, USA Wendy Yip [email protected] SAP Labs Palo Alto, CA, USA Abstract The rise of LLM-based agents has opened new frontiers in AI ap- plications, yet evaluating these agents remains a complex and un- derdeveloped area. This survey provides an in-depth overview of the emerging field of LLM agent evaluation, introducing a two- dimensional taxonomy that organizes existing work along (1) eval- uation objectives—what to evaluate, such as agent behavior, capa- bilities, reliability, and safety—and (2) evaluation process—how to evaluate, including interaction modes, datasets and benchmarks, metric computation methods, and tooling. In addition to taxonomy,