高效多模态大语言模型综述

多模态大语言模型在视觉问答、视觉理解与推理等任务上已经拿出了相当亮眼的成绩，但代价是模型规模庞大、训练与推理开销高，这直接卡住了它在学术界和产业界的普及。这份综述要回答的问题正是：在尽量不掉性能的前提下，怎么把这类模型的资源消耗压下来、把适用面铺开。它值得现在看的一个直接信号是被引 107 次——说明「高效 MLLM」已经从边角话题变成了需要系统梳理的活跃方向。

覆盖范围上，它把高效 MLLM 的文献组织成六个一级类别：架构、高效视觉、高效语言模型、训练、数据与基准、应用。做法是文献综述而非实验对比：给出代表性高效 MLLM 的时间线，梳理高效结构与策略的研究现状，再讨论应用、当前研究的局限和有前景的方向，并提供一个 GitHub 仓库（Efficient-Multimodal-LLMs-Survey）供查阅更多细节。作者来自腾讯 Youtu Lab、上海交通大学、北京智源人工智能研究院与华东师范大学，其中 Yizhang Jin 为腾讯实习生，Jian Li 为项目负责人。

成本这件事，材料用两个具体例子讲实了。训练侧，MiniGPT-v2 按 NVIDIA A100 计算，总共需要 800 多个 GPU 小时，这笔开销对大型企业之外的研究者很难承受。推理侧，输入一张 336×336 像素的图片加一条 40 个 token 的文本提示，用 LLaVA-1.5 搭配 Vicuna-13B 作为语言模型主干，需要 18.2T FLOPS 算力和 41.6G 内存占用。作者把这归因于 scaling law：投入更多数据、算力或参数，性能就更好，但可扩展性的账单是高昂的资源需求。

研究脉络也交代得比较清楚。早期做法是拿轻量语言模型替换大模型，再做常规的视觉指令微调；此后沿三条线推进：一是更轻的架构，减少参数量或计算复杂度；二是更专门的组件，针对先进架构做效率优化，或赋予局部性这类特定性质；三是面向资源敏感任务的支持，例如用视觉 token 压缩把能力迁移到高分辨率图像和视频理解上。落到架构内部，又拆成视觉编码器、视觉-语言投影器和小语言模型三块，材料列出的代表工作包括 ViTamin、Cobra、SPHINX-X，QFormer、Perceiver Resampler、C/D-Abstractor，以及 MobileVLM、LLaVA-Phi、TinyLLaVA、MoE-LLaVA、MiniCPM-V 2.0 等。

这些结论的实践含义，不止是「省一点算力」。作者明确指出边缘计算场景是高效 MLLM 的主要落点，并把它和民主化、隐私保护挂在一起：以 GPT-4V 和 Gemini 为代表的主流模型由少数公司掌控、运行在云上，即便是开源 MLLM，其算力要求也让边缘设备难以承载，这进一步加剧了公平获取与用户隐私方面的难题。换句话说，效率研究决定的是模型能否离开云端。视觉 token 压缩这类手段的意义也类似——它让高分辨率图像、视频这类吃资源的任务变得可做。

做多模态系统落地、端侧部署、模型压缩与架构设计的读者，读这份资料的收益比较直接：一张六类的分类地图，一组可以拿来对齐的成本基准，以及一条从「换小语言模型」到「改架构、改组件、压缩 token」的演进线索。需要点明的边界是，它属于综述，不产生新的实验结果；800 GPU 小时和 18.2T FLOPS 都是针对具体案例的引用数字，不是跨模型的统一基准；此外材料中的正文只到引言与分类框架，各方向的细粒度对比还需回到原文与仓库。

Efficient Multimodal Large Language Models: A Survey Yizhang Jin1,2,*, Jian Li1,*, Yexin Liu3, Tianjun Gu4, Kai Wu1, Zhengkai Jiang1, Muyang He3, Bo Zhao3, Xin Tan4, Zhenye Gan1, Yabiao Wang1, Chengjie Wang1, Lizhuang Ma2 1Youtu Lab, Tencent,2SJTU, 3BAAI, 4ECNU Abstract In the past year, Multimodal Large Language Models (MLLMs) have demon- strated remarkable performance in tasks such as visual question answering, vi- sual understanding and reasoning. However, the extensive model size and high training and inference costs have hindered the widespread application of MLLMs in academia and industry. Thus, studying efficient and lightweight MLLMs has enormous potential, especially in edge computing scenarios. In this survey, we provide a comprehensive and systematic review of the current state of effi- cient MLLMs. Specifically, we summarize the timeline of representative effi-