多模态大语言模型综述

多模态大语言模型（MLLM）过去两年成为研究热点，这份资料要回答的是：这条技术路线从哪里来、已经走到哪一步、接下来还有哪些问题没有解决。材料给出的判断很明确——以 GPT-4V 为代表的 MLLM 把强大的大语言模型当作「大脑」去执行多模态任务，由此出现了传统多模态方法中罕见的能力，例如看图写故事、不依赖 OCR 的数学推理。这类能力的意外涌现，被作者视为通往通用人工智能的一条可能路径。正因如此，学术界和产业界都在竞相开发能与 GPT-4V 竞争甚至超越它的模型，把研究边界以惊人的速度往前推。在这样一个变化极快的节点上，一份系统梳理进展的综述，价值不在于复述某个模型的指标，而在于提供一套理解这个领域的坐标系。

资料覆盖的范围相当完整。作者首先给出 MLLM 的基本表述，并厘清相关概念，包括架构、训练策略与数据，以及评测方式；随后讨论如何把 MLLM 扩展到更细的粒度、更多模态、更多语言和更多场景；再往下是multimodal hallucination（多模态幻觉）以及若干延伸技术，具体包括 Multimodal ICL（M-ICL）、Multimodal CoT（M-CoT）和 LLM-Aided Visual Reasoning（LAVR）。结尾部分讨论现有挑战并指出有前景的研究方向。分析依据是作者对已有文献的追踪与归纳，而不是新做的实验；材料还提到一个持续收集最新论文的 GitHub 仓库，作者声明会不断更新这份综述，理由是「MLLM 的时代才刚刚开始」。换句话说，这份资料更像一张持续维护的地图，而不是一次性完成的定论。

梳理中几个具体判断值得单独拎出来。作者指出 MLLM 相比传统多模态方法有两个代表性特征：一是基于十亿参数规模的大语言模型，这是以往模型不具备的；二是采用新的训练范式，例如用多模态指令微调促使模型遵循新指令。此前多模态工作大致分为判别式与生成式两类，CLIP 是前者的代表，把视觉与文本信息投影到统一表示空间；OFA 是后者的代表，以序列到序列的方式统一多模态任务。MLLM 按序列操作可归入后者，但凭借上述两个特征展现出新能力，材料举的例子包括根据图像编写网站代码、理解 meme 的深层含义，以及不依赖 OCR 的数学推理。这里有一个背景判断：LLM 只能理解离散文本，对视觉天生「看不见」，而大型视觉模型看得清却常在推理上落后，两条路线相向而行才汇成了 MLLM 这个新领域——这是对领域成因的一种解释，而非实验结论。

研究进展被归结为四条扩展线索，每一条都对应材料中的具体例子。其一是粒度更细的支持：通过框选特定区域、通过点击指定某个物体，来实现对用户提示的更精细控制。其二是输入输出模态的增强，覆盖图像、视频、音频、点云等，像 NExT-GPT 这样的项目进一步支持以不同模态输出。其三是语言支持的改进：在训练语料相对有限的情况下，把 MLLM 的成功扩展到中文等其他语言。其四是向更多领域与使用场景延伸：把能力迁移到医学图像理解、文档解析等垂直领域，并发展出多模态智能体来辅助现实交互，材料举出的是具身智能体与 GUI 智能体。这些线索放在一起看，说明这个领域的扩张不是单点突破，而是沿着「更细、更多模态、更多语言、更多场景」四个方向同时铺开。

把这些放在一起意味着什么？就实践而言，最直接的提示是评测与幻觉无法回避。资料把评测与架构、训练策略和数据并列为基础概念，又单独列出多模态幻觉作为研究议题，说明能力增强与可靠性风险是同步增长的。换句话说，当一个模型能看图写代码、能推理数学题时，它犯的错也会更难被察觉，这决定了落地时的验证成本。另一个解读是，M-ICL、M-CoT 与 LAVR 被归入「延伸技术」而非基础能力，暗示这些方法目前更像是把 LLM 已有的推理与上下文学习能力迁移到多模态场景的加速器，而不是已经定型的标准组件。至于「通往通用人工智能的潜在路径」这一说法，作者用的是「suggesting」，属于方向性判断，不宜读成已被证明的结论。

这份资料的读者，应当是希望快速建立 MLLM 整体图景、需要一条可追溯的文献线索的研究者与工程实践者。读完能拿走的是一套概念框架（架构、训练、数据、评测）、一份按粒度与模态与语言与场景展开的进展分类，以及 M-ICL、M-CoT、LAVR 与多模态幻觉这几个后续深入的路标，加上一个作者承诺持续更新的论文仓库入口。边界也需要说清楚：它是对已有进展的追踪与归纳，材料中没有给出作者自己的实验数据与量化对比；覆盖重心在视觉与语言模态，视频、音频等只有涉及；被引次数等外部指标反映的是关注度，不构成对结论正确性的背书。作者本人也承认这个时代才刚开始，因此任何基于这份资料的判断，都应当随仓库的更新而重新校准。

IEEE TRANSACTIONS ON PATTERN ANAL YSIS AND MACHINE INTELLIGENCE 1 A Survey on Multimodal Large Language Models Shukang Yin*, Chaoyou Fu*†, Sirui Zhao*, Ke Li, Xing Sun, Tong Xu, and Enhong Chen, Fellow, IEEE Abstract—Recently, Multimodal Large Language Model (MLLM) represented by GPT -4V has been a new rising research hotspot, which uses powerful Large Language Models (LLMs) as a brain to perform multimodal tasks. The surprising emergent capabilities of MLLM, such as writing stories based on images and OCR-free math reasoning, are rare in traditional multimodal methods, suggesting a potential path to artificial general intelligence. To this end, both academia and industry have endeavored to develop MLLMs that can compete with or even better than GPT -4V, pushing the limit of research at a surprising speed. In this paper, we aim to trace and summarize the recent progress of MLLMs.