AI Agents That Matter：评估真正重要的智能体

智能体的开发在很大程度上由基准驱动：榜单位置一变，研究方向往往就跟着变。但用来排名的这些基准和评估做法本身是否可靠？《AI Agents That Matter》要回答的正是这个问题。作者系统梳理了当前智能体基准与评估实践，指出若干会妨碍其在真实应用中发挥作用的缺陷。现在值得看的原因很具体：已有十几个智能体基准发布，覆盖网页交互、编程、工具使用等领域；而评估方法上的偏差，会把整个领域引向“榜上更好看、实际更没用”的方向。

覆盖范围上，论文不只批评，还给出五项对应建议，并按节展开：评估必须控制成本，联合优化准确率与成本，区分模型开发者与下游开发者的基准需求，防止基准捷径，补上标准化与可复现性。方法上是实证加案例：作者自己构造三个简单基线智能体，在 HumanEval 上做对比实验；改动 DSPy 框架，在 HotPotQA 上做成本与准确率的联合优化；并以 NovelQA、WebArena、HumanEval 为案例，研究下游评估、过拟合与复现问题。论文还先澄清“什么是 AI 智能体”。在 LLM 时代这个词用得更窄，许多研究者把它看作一个“智能体化”（agentic）的光谱，而非二元定义；作者归纳出三簇相关因素：环境与目标的复杂度、用户界面与监督程度、系统设计；后者包括工具使用，以及反思、子目标分解等规划模式，控制流由 LLM 驱动。

第一项发现关于成本。当前评估窄化地聚焦准确率，不看其他指标；结果是 SOTA 智能体不必要地复杂和昂贵，社区对准确率增益的来源也得出了一些错误结论。作者指出，底层语言模型是随机的，仅仅多次调用模型就能提升准确率。他们引入三个简单基线，实证显示这些基线在 HumanEval 上优于许多复杂的 SOTA 架构，成本却低得多。成本量级可以参考 SWE-Agent：其作者把每次运行上限定在 4 美元，这相当于数十万语言模型 token。把评估结果画成准确率与推理成本的 Pareto 曲线，就能看到一个“联合优化两个指标”的新设计空间；作者修改 DSPy 框架做了这样一次优化，在 HotPotQA 上降低成本并保持准确率。

第二项发现是，模型开发者与下游开发者的基准需求被混为一谈，导致难以判断哪个智能体最适合某个具体应用。以 NovelQA 为例，为模型评估设计的基准用在下游评估上可能产生误导；论文主张下游评估应计入美元成本，而不是参数量这类成本代理。第三项是留出集问题：许多智能体基准留出集不足，有时完全没有，于是智能体会走捷径、以各种方式过拟合基准而变得脆弱。作者区分出智能体的 4 个通用性层次，认为应据此设计不同类型的留出样本，并用 WebArena 做案例说明。第四项是标准化与可复现性：作者在 WebArena 和 HumanEval 的评估复现中发现普遍缺陷（汇总于表 A6）；这些错误会抬高准确率估计，让人对智能体能力过于乐观。

AI Agents That Matter Sayash Kapoor∗, Benedikt Stroebl ∗, Zachary S. Siegel, Nitya Nadgir, Arvind Narayanan Princeton University July 2, 2024 Abstract AI agents are an exciting new research direction, and agent development is driven by benchmarks. Our analysis of current agent benchmarks and evaluation practices reveals several shortcomings that hinder their usefulness in real-world applications. First, there is a narrow focus on accuracy without attention to other metrics. As a result, SOTA agents are needlessly complex and costly, and the community has reached mistaken conclusions about the sources of accuracy gains. Our focus on cost in addition to accuracy motivates the new goal of jointly optimizing the two metrics. We design and implement one such optimization, showing its potential to greatly reduce cost while maintaining accuracy. Second, the benchmarking