RAGBench：可解释RAG系统基准

检索增强生成（RAG）已经成为把领域知识接入大模型对话应用的常见架构，但怎样评价一个 RAG 系统好不好，长期缺乏统一标准和带标注的数据集。这份资料针对的正是这个缺口：它提出 RAGBench，一个可解释的 RAG 评测基准，同时给出配套的 TRACe 评测指标框架。材料中的判断是，现有研究各自动设计数据集、各自定义指标，甚至用大模型来生成和标注数据，导致结果难以复现、方法之间难以横向比较。对正在搭建或调优 RAG 系统的人来说，这类“评测基础设施”的缺失，往往比模型本身更影响迭代效率。

覆盖范围上，RAGBench 被描述为第一个全面、大规模的 RAG 基准数据集，规模为 10 万条样本，横跨五个不同的行业领域，并涵盖多种 RAG 任务类型。数据来源是用户手册一类的行业语料，材料强调这使它特别贴合行业应用场景。方法层面，作者没有停留在做一个数据集，而是把评测拆成可解释、可执行的指标集合，命名为 TRACe。按材料的说法，这套指标在既有 context relevance、answer faithfulness 等定义的基础上，新增了 context utilization 和 answer completeness 两项，作者认为这套组合能更完整地刻画 RAG 系统的整体表现。数据集以带标签形式公开在 Hugging Face 上，路径为 rungalileo/ragbench。

关键发现之一与评测方式本身有关。作者在 RAGBench 上测试了当前的大模型和已有的 RAG 评测系统，结论是：基于大模型的 RAG 评测方法，在这个评测任务上难以与一个经过微调的 RoBERTa 模型竞争；引言部分进一步把结果落到具体规模，指出一个 4 亿参数的 DeBERTa-large 模型在 RAGBench 上微调后，在多个领域和任务类型上超过了少样本的大模型评判者（LLM judges）。这意味着，至少在“给 RAG 输出打分”这件事上，专用小模型加高质量标注数据，可能比直接提示通用大模型更可靠。作者把这一结果单独提出来，是为了推动后续工作利用这批数据改进 RAG 评测模型。

第二个值得注意的点是问题诊断的粒度。材料把 RAG 系统拆成两部分：从领域语料中检索相关文档的检索器，以及结合查询和上下文生成回答的大模型生成器。作者批评已有的幻觉检测类数据集，例如 RAGTruth、DelucionQA、HaluEval，虽然适合训练幻觉检测模型，但颗粒度不足以理解整个 RAG 系统；而 ChatRAGBench、CRAG、DomainRAG、ALCE 这类带标准答案的数据集，走的是端到端路线，用 exact match 或 ROUGE 之类的回答级指标评估。RAGBench 的定位与两者都不同：它要支撑的是能沿检索相关性、回答的忠实度与完整性等多个维度分别打分的评测系统。换句话说，它想回答的不只是“这个回答对不对”，而是“错在检索还是错在生成”。

这些结论对实践的影响，可以从两个方向理解。其一是选型与调优：材料指出，RAG 系统的检索器与生成器组合选择复杂，且直接影响系统质量和成本，最优配置需要多组参数的迭代评测，这正是自动化评测方案的价值所在。其二是评测工具的选择：如果专用微调模型在 RAG 评测任务上优于少样本大模型评判，那么在构建生产环境的持续评估时，投入标注数据训练专用评分模型可能是更务实的路径。作者同时指出，现有方法仍有明显短板，并建议采用 RAGBench 配合 TRACe 来推进 RAG 评测体系的成熟。这属于作者的自我判断，读者可结合后续研究验证。

读这份资料，能拿到的是一个明确的评测框架加一份可下载的带标签数据集，以及一组关于“谁更适合当 RAG 评委”的实证对比，对需要设计 RAG 评估流程、或想复现和比较不同评测方法的人有直接参考价值。边界也需要说明：材料显示该论文处于预印本、审稿中的状态，其“首个全面大规模基准”的定位是作者自述；10 万条样本分布在五个行业领域，是否覆盖读者所在的具体场景需要自行核对；文中列举的对比结论主要围绕评测模型之间的胜负，并未给出各指标在真实业务中的阈值建议。

RAGBench: Explainable Benchmark for Retrieval-Augmented Generation Systems Robert Friel∗ Galileo Technologies Inc. [email protected] Masha Belyi∗ Galileo Technologies Inc. [email protected] Atindriyo Sanyal Galileo Technologies Inc. [email protected] Abstract Retrieval-Augmented Generation (RAG) has become a standard architectural pat- tern for incorporating domain-specific knowledge into user-facing chat applica- tions powered by Large Language Models (LLMs). RAG systems are charac- terized by (1) a document retriever that queries a domain-specific corpus for context information relevant to an input query, and (2) an LLM that generates a response based on the provided query and context. However, comprehen- sive evaluation of RAG systems remains a challenge due to the lack of unified evaluation criteria and annotated datasets. In response, we introduce RAGBench: