多模态大语言模型中的视觉提示综述

多模态大语言模型（MLLMs）把预训练语言模型的文本能力延伸到视觉通道，随之而来的问题是：给模型的指令不再只是一段文字，还可以直接落在图像上。材料点出的背景是，LLM 中的文本提示（textual prompting）已被广泛研究，而视觉提示（visual prompting）是为了更细粒度、更自由形式的视觉指令才出现的。换句话说，当任务需要指出“图中哪一处”“按什么空间关系处理”时，纯文字提示就开始显得不够用。这份资料要回答的，正是视觉提示在 MLLMs 中已经形成哪些做法、这些做法如何分类、提示本身又怎样被生成和学习。它现在值得看，是因为这个方向正从零散方法走向需要一张整体地图的阶段，而作者把自身工作定位为对该主题的首次系统梳理。

覆盖面按材料给出的四条线索展开：视觉提示本身、提示生成、组合式推理（compositional reasoning）与提示学习。方法上这是一份文献综述，对已有研究做归并和分类，不提出新模型，也不报告新的实验结果。具体做法包括对现有视觉提示进行类别划分，并讨论在图像上自动生成提示标注的生成式方法。解读来看，前一条线索回答“已有工作分别站在什么位置”，后一条线索回答“提示从哪里来”，两者合起来构成一个从方法到生产流程的框架。

材料列出的第一条要点是问题定位：文本提示研究充分，视觉提示补的是更细粒度、更自由形式的那部分视觉指令。第二条是作者对自身工作的定性，即首份针对 MLLMs 视觉提示方法的综合性综述，范围覆盖上述四个方面。这两条放在一起说明，这份资料的贡献不在于提出某个新方法，而在于把一个散落在多篇论文里的问题域收拢成可讨论的对象。“首次”是作者的自我定位，读者可以把它理解为对“该领域此前缺少统一梳理”这一状态的判断，而不是一条被外部验证过的结论。

第三条要点落在操作层面：对现有视觉提示做分类，并讨论自动在图像上生成提示标注的方法。分类的意义在于让后来的新方法有位置可放；自动标注的意义在于把提示设计从手工试错转为可生成的过程。这是解读，材料只说了讨论生成式方法，没有给出效果数字。材料另外给出的一个数字是被引 35 次，可以作为该综述短期内被同行注意到的旁证，但这一数量本身仍处在早期积累阶段。作者分布在 Dartmouth College、Rutgers, The State University of New Jersey、University of California, Los Angeles 与 Adobe Systems，学界与产业界兼有；这只是作者构成的事实，不宜据此推断综述的立场。

对做 MLLM 应用的人来说，最直接的意味是提示工程的边界变了：需要设计的对象不止是那句文字，还包括落在图像上的标记、框选或标注。若自动生成提示标注的方法站得住，提示的产出方式就会更像一条数据处理流程，而不是一次性的手工调参。组合式推理被单列为一条线索，说明多步的视觉指令需要被拆开处理，而不是硬塞进一句长提示里。这些都是从材料关键词推出的判断，综述本身没有给出方法间的性能对比，因此不能当作效果结论使用。

这份资料适合正在做 MLLM 应用、或需要给自己的视觉提示方法找定位的研究者与工程师：读完能拿走的是一套问题划分（提示、生成、组合推理、学习）和一个分类视角，而不是可直接复现的实验配置。边界也很清楚：它是综述，结论来自对既有文献的归纳，没有自己的评测；“首次”“全面”出于作者自述；被引 35 次说明影响仍在形成中；材料标注的时间点是 2024 年 9 月，此后出现的新工作不会进入其中。把它当作进入该方向的索引和坐标系是合适的，当作方法优劣的裁决则不合适。