个性化多模态大语言模型综述

多模态大语言模型（MLLM）在文本、图像、音频等模态上表现出很强的处理与整合能力，材料提到它已进入医疗、推荐、自动驾驶等应用场景。随之而来的问题是：怎样让这类模型从“通用”走向“个体”，按单个用户的偏好、上下文和需求生成内容。这份由 Junda Wu、Hanjia Lyu、Yu Xia 等人完成的综述，要回答的正是个性化 MLLM 的技术地图问题：现有工作怎么分类、覆盖哪些任务、用什么指标和数据集评估、还有哪些开放挑战。材料显示它被引 12 次，说明这一主题已经积累了一定关注；在个性化从文本扩展至多模态的当下，这类梳理值得先看。

这份资料的范围限定在近期利用 MLLM 生成个性化文本、图像、音频或其他模态的工作，关注生成多模态输出时如何引出并纳入用户偏好。它不做新模型或新实验，而是以文献梳理和分类为主：提出一套对称的 taxonomy，按文本生成、图像生成、推荐、检索四个任务类别组织技术，每个类别再按指令遵循、多模态对齐、个性化生成、模型微调四种机制展开。材料还说明，工作可以沿三个维度拆解：生成内容的模态、个性化技术（如 prompt-based、prefix tuning、finetuning/adapters）、以及应用场景。作者名单覆盖 UC San Diego、University of Rochester、Dartmouth College、Adobe Research 等 12 个机构，视野横跨学术与产业研究。

关键发现之一，是这套“四类任务 × 四种机制”的分类把分散的方法放进了同一张表。表 1 给出了每类任务和机制下的代表模型：文本生成有 CGSMP、ModICT、MPDialog、Athena 3.0、PTSCG、PVIT 等；图像生成有 MuDI、λ-ECLIPSE、MoMA、Layout-and-Retouch、MS-Diffusion、UNIMO-G 等；推荐有 InteraRec、X-Reflect、PMG、MMREC、GPT4Rec、MMSSL 等；检索有 ConCon-Chi、Med-PMC、AlignBot、Yo’LLaVA、FedPAM、VITR 等。换句话说，个性化并不是只有“微调”一条路，指令设计、对齐、生成策略和 fine-tuning 都被放在同一框架下比较。这个分类的价值在于，它让不同应用中的技术选择有了可对照的坐标。

第二个值得注意的点，是个性化在多模态场景中的特殊困难。材料指出，要做个性化体验，必须有用户个体级的数据；到了多模态场景，这些数据还要跨模态。一个具体例子是：用户用文本 prompt 生成图像，再对结果给出 thumbs-up 或 thumbs-down，于是同时出现文本和图像两种模态，以及针对 prompt 的隐式反馈和针对生成图像的显式反馈。这份综述还专门梳理了已有研究中的个性化任务、常用评估指标，以及可用于基准测试的数据集，并列出关键开放挑战。也就是说，它不只给技术分类，也把“怎么定义任务、怎么评、用什么数据评”一并摆了出来。

这些结论对实践的含义比较直接。若把个性化理解成单一微调步骤，很容易忽略指令、对齐和生成阶段的设计空间；从材料给出的 taxonomy 看，个性化更像一组可以组合和适配的设计选择，作者也讨论了这些技术何时可以结合、各自优势及背后理由。对做多模态产品的人来说，这意味着选型时要同时看生成模态、应用任务和用户反馈形式，而不是只比较某个模型是否“更强”。另一个现实影响是评估：跨模态个体数据难得，指标和数据集不统一，会直接影响个性化方案能不能被可靠比较。材料

Personalized Multimodal Large Language Models: A Survey Junda Wu1 Hanjia Lyu2 Yu Xia1 Zhehao Zhang3 Joe Barrow4 Ishita Kumar5 Mehrnoosh Mirtaheri6 Hongjie Chen7 Ryan A. Rossi4 Franck Dernoncourt4 Tong Yu4 Ruiyi Zhang4 Jiuxiang Gu4 Nesreen K. Ahmed8 Yu Wang9 Xiang Chen4 Hanieh Deilamsalehy4 Namyong Park10 Sungchul Kim4 Huanrui Yang11 Subrata Mitra4 Zhengmian Hu4 Nedim Lipka4 Dang Nguyen12 Yue Zhao6 Jiebo Luo2 Julian McAuley1 1University of California, San Diego 2University of Rochester 3Dartmouth College 4Adobe Research 5University of Massachusetts at Amherst 6University of Southern California 7Virginia Tech 8Cisco Research 9University of Oregon 10Meta AI 11University of Arizona 12University of Maryland Abstract Multimodal Large Language Models (MLLMs) have become increasingly important due to their state-of-the-art performance and ability to