多模态大语言模型基准评测综述

多模态大模型（MLLMs）这几年在视觉问答、视觉感知、理解与推理等任务上表现突出，学术界和工业界的兴趣随之快速升温，随之而来的问题也变得具体：这些模型究竟强在哪里、弱在哪里，用什么标准去比较才可靠。这份综述要回答的正是评价问题——它系统梳理了 MLLMs 的评测现状，并明确主张「评测应当被视为一门支撑 MLLMs 更好发展的关键学科」。作者给出的理由很直接：只有全面、客观的基准，才能比较和探究不同模型的性能，而这直接关系到 MLLMs 能否成功。在模型能力快速迭代、专有模型不断刷新成绩的当下，一套关于「怎么评」的整体地图，比单个榜单的分数更值得先看清楚。

覆盖范围上，这份综述审查了 200 个面向 MLLMs 的基准与评测，并按五类组织文献：感知与理解、认知与推理、特定领域、关键能力以及其他模态。按作者的说法，整个分类体系覆盖 5 个关键领域、20–30 个细分类别，其中感知与理解一类下又分综合评测与细粒度感知，细粒度感知再细分为视觉定位与目标检测、细粒度识别等方向，材料中可见的基准包括 MME、MMBench、SEED-Bench、MM-Vet 等。分析材料来自对已有评测文献的归纳与统计，论文同时维护了一个 GitHub 仓库用于汇集更多细节。换句话说，这是一份面向「评测全景」的二次整理，而非提出新基准的实证研究。

几个数字能说明这个领域的扩张速度。综述统计了 MLLMs 评测论文随时间的变化趋势，显示论文数量快速增加，作者据此判断该研究方向已获得广泛关注。另一项统计针对 2024 年以来 83 个基准上排名前三的 MLLMs 表现，数据显示 OpenAI 的 GPT-4 与 Google 的 Gemini 表现更优，也吸引了更多学术关注。这些数字本身不是性能榜单，而是领域热度和竞争格局的侧面写照——解读一下，评测已经从附属环节变成一个自带增量的研究方向。

在具体结论上，综述强调评测至少有四重作用：帮助理解模型的强项与弱项；为医学、工业、自动驾驶等场景的应用提供指引，进而启发后续设计；在安全敏感领域确保模型的鲁棒性、安全性与可靠性；以及考察长上下文处理、指令遵循等用户友好特性。作者还举了一个具体的观察作为例证：SEED-Bench 显示，当前 MLLMs 在理解物体间空间关系方面能力较弱，而在整体图像理解上表现相对较高。这说明「总分」之外，能力结构的不均衡才是评测真正要暴露的东西。

这些结论对实践的含义比较清楚。其一，选型时不能只看单一榜单排名，需要按感知、认知、领域适配、关键能力等维度分别对照，否则容易把整体图像理解的优势误当成全面的视觉能力。其二，领域应用的评测应当前置，医学、工业、自动驾驶等场景的失败代价与通用问答不同，鲁棒性与安全性需要在部署前被单独验证。其三，作者指出当前 MLLMs 评测方法仍存在局限，并探讨了有前景的未来方向——这意味着现有的 200 个基准并不是一套已经闭合的答案，而更像一张还在扩张、且自带空白的地图。换个说法，评测方法本身的成熟度，目前落后于被评测模型的发展速度。

这份材料适合正在做多模态模型选型、评测设计或相关研究的人读，读完可以拿走的是一套五类的评测分类框架、一批可直接检索的基准名称，以及「评测应作为独立学科对待」这一立场。需要点明边界：材料未提供各基准的具体分数与题目规模，也未给出各细分类别的完整名单；机构信息在 OpenAlex 中未能获取，原始论文署名的单位包括腾讯、PKU、NUS、SEU、NJU，但这是原文摘录而非检索元数据。此外，综述的统计截至其成文时点，之后新出的基准与模型表现并未纳入。

A Survey on Benchmarks of Multimodal Large Language Models Jian Li1∗, Weiheng Lu 2, Hao Fei 3, Meng Luo 3, Ming Dai 4, Min Xia 2, Yizhang Jin1, Zhenye Gan 1, Ding Qi 1, Chaoyou Fu 5, Ying Tai 5, Wankou Yang4, Yabiao Wang 1, Chengjie Wang 1 1Tencent, 2PKU, 3NUS, 4SEU, 5NJU Abstract Multimodal Large Language Models (MLLMs) are gaining increasing popularity in both academia and industry due to their remarkable performance in various applications such as visual question answering, visual perception, understanding, and reasoning. Over the past few years, significant efforts have been made to examine MLLMs from multiple perspectives. This paper presents a comprehensive review of 200 benchmarks and evaluation for MLLMs, focusing on (1)perception and understanding, (2)cognition and reasoning, (3)specific domains, (4)key capa- bilities, and (5)other modalities.