可解释与可解读的多模态大语言模型综述

多模态大语言模型把文本、图像、音频、视频放进同一个系统，在图文生成、视觉问答、跨模态检索等任务上表现出很强的能力，但它们的复杂度与规模也让「模型为什么给出这个答案」越来越难回答。这份综述处理的正是这个问题：如何让 MLLMs 的决策过程变得可解释、可解读。现在值得看有两层原因：这类模型已经进入自动驾驶、医学、机器人等高风险场景，透明与可信不再是可选项；材料显示它已被引用 67 次，说明「怎么解释多模态模型」正成为一个被集中讨论的议题。

作为综述，它的工作不是提出新模型，而是为已有研究画一张地图。作者提出的框架把相关工作拆成三个视角：数据、模型、训练与推理。数据视角关心输入与输出数据如何被归因到模型决策，并梳理用于评估各类任务可信度与可靠性的基准与应用；模型视角从 token 级到 embedding 级的表示展开，兼顾架构分析与架构设计；训练与推理视角则考察哪些策略能提升透明度。按「数据—模型—训练/推理」切分本身，就是它的主要方法论主张。

在概念上，这份综述做了一个值得注意的区分。它把 MLLMs 的可解读性（interpretability）定义为模型内部结构本身可被理解，能直接看清输入如何变换为输出；把可解释性（explainability）定义为事后技术，从外部对模型决策背后的行为给出分析。换句话说，前者要求「内部本来就看得懂」，后者是「事后想办法讲清楚」，两者常被混用，这里被明确分开。

关键发现首先就是这套三维度框架：它覆盖了从数据归因、表示分析到训练与推理策略的整条链路，而没有停留在事后归因。其次，综述指出单模态的可解释性研究已有相当积累，卷积网络、面向图像的 transformer、面向文本的 LLM 都有相应工作，但多模态带来的是另一类难题——不同模态之间的对齐与分解。这意味着困难不只来自模型规模，也来自「跨模态信息如何被组合、又如何影响输出」这一结构性问题。此外，作者通过比较不同方法识别其优势与局限，并据此提出未来研究方向。

对实践者来说，这套框架可以当作检查清单使用。评估一个多模态系统是否「可解释」，不能只问有没有可视化或归因图，还要看数据层面的归因是否站得住、模型层面的表示分析是否到位、训练与推理环节是否留下可追溯的痕迹。解读：这份综述的潜台词是，可解释性不是某个单点工具，而是贯穿数据、模型与训练流程的工程问题；在高风险应用中，它与可信、可靠是同一问题的不同侧面。

读者对象上，正在做 MLLMs 评测、安全与对齐的研究者，以及需要在产品中说明模型行为依据的工程师，都能从中拿到一套共同词汇和分类坐标；读完至少能判断一项具体研究落在三维框架的哪一格，以及它没有解决什么。边界也需要说清楚：这是一篇综述，不提供新实验或新模型，结论来自对已有文献的归纳与比较；材料只呈现了框架与摘要层面的要点，具体方法的强弱对比在正文之中。另外，多模态可解释性是一个快速变动的方向，框架的覆盖范围会随新工作出现而需要更新。

JOURNAL OF LATEX CLASS FILES, VOL. 14, NO. 8, OCTOBER 2024 1 Towards Explainable and Interpretable Multimodal Large Language Models: A Comprehensive Survey Yunkai Dang1,* Kaichen Huang 1,* Jiahao Huo 1,* Yibo Yan1,2 Sirui Huang 1 Dongrui Liu 3 Mengxi Gao 1 Jie Zhang 3 Chen Qian 3 Kun Wang4 Yong Liu5 Jing Shao 3 Hui Xiong 1,2 Xuming Hu 1,2 1The Hong Kong University of Science and Technology (Guangzhou) 2The Hong Kong University of Science and Technology 3Shanghai AI Laboratory 4Nanyang Technological University 5Renmin University of China Abstract—The rapid development of Artificial Intelligence (AI) has revolutionized numerous fields, with large language models (LLMs) and computer vision (CV) systems driving advancements in natural language understanding and visual processing, respectively. The convergence of these technologies