基于LLM的智能体评估综述

LLM-based agents 被描述为 AI 的一次范式转变：它们能自主规划、推理、调用工具，并在动态环境中交互。LLM 本身是静态的，知识固定，局限于文本到文本的交互；agent 则把 LLM 作为骨干嵌入多步工作流，接上外部工具，从而能计算、检索最新信息、与环境互动，自主规划、执行并调整复杂策略。能力上去了，评估就成了瓶颈——传统测文本输出的办法，无法衡量 agent 在多步决策和动态环境中的表现。这份资料要回答的正是：当 agent 越来越能干，该用什么方法、什么 benchmark 来评估它们，现有评估格局长什么样，缺口又在哪里。它声称是首个针对 LLM-based agents 评估方法的全面综述，在 agent 能力快速演进的当下，这个梳理本身就有参考价值。

覆盖范围按五个视角展开：agentic workflow 所需的核心 LLM 能力，包括 planning、tool use、self-reflection、memory；应用特定 benchmark，包括 web agents、software engineering agents、scientific agents、conversational agents；通用 agent 的评估；agent benchmark 核心维度的分析；以及面向 agent 开发者的评估框架与工具。分析材料来自对相关文献的系统梳理，并配有一个 GitHub 仓库持续跟踪该领域的工作。结构上从单项能力出发，逐步过渡到具体应用、通用 agent、benchmark 设计与开发工具，形成一条从“测什么”到“怎么测”再到“用什么测”的线索。

在能力层面，规划与多步推理是重点之一。PlanBench 这类专用规划 benchmark 把经典规划任务改造后用于评估 LLM，暴露出长期规划的短板；材料中的结论很直接：即便是 SOTA 模型，在 long-horizon planning 上仍然吃力。工具调用与函数调用有 BFCL、ToolBench、ComplexFuncBench 等；自我反思有 LLM-Evolve、LLF-Bench；记忆有 StreamBench、MemBench、MemoryAgentBench。换句话说，评估已经细到把 agent 拆成若干可单独测量的能力模块，既可以隔离测试，也可以放回完整工作流里观察。

应用层面的 benchmark

A Survey on Evaluation of LLM-based Agents Asaf Yehudai1,2, Lilach Eden2, Alan Li3, Guy Uziel2, Yilun Zhao3,Roy Bar-Haim 2,Arman Cohan 3,Michal Shmueli-Scheuer 2 1The Hebrew University of Jerusalem 2IBM Research 3Yale University {Asaf.Yehudai, Guy.Uziel1}@ibm.com {lilache, roybar, shmueli}@il.ibm.com {haoxin.li, yilun.zhao, arman.cohan}@yale.edu Abstract LLM-based agents represent a paradigm shift in AI, enabling autonomous systems to plan, reason, and use tools while interacting with dynamic environments. This paper provides the first comprehensive survey of evaluation methods for these increasingly capable agents. We analyze the field of agent evaluation across five perspectives: (1) Core LLM capabilities needed for agentic workflows, like planning, and tool use; (2) Application-specific bench- marks such as web and SWE agents; (3) Evalu-