MiniCPM-V：手机上达到 GPT-4V 级的多模态大模型

多模态大模型的能力在过去一段时间里提升很快，但能不能真正用起来，卡点往往不在效果而在成本。这份由面壁智能与清华大学 OpenBMB 团队署名的技术报告，正面对着这个问题：把达到 GPT-4V 水平的 MLLM 放进手机等端侧设备，是否已经可能。报告给出的回答是肯定的——它提出了可部署在端侧的 MiniCPM-V 系列，并把这一系列放进一个更长的趋势里观察。对关心多模态模型落地成本的人，这份材料提供了一个具体的样本。

报告的组织方式是系列迭代加综合评测。2024 年内团队公布了三个模型：2 月的 MiniCPM-V 1.0（2B），被描述为最早一批面向手机设计的 MLLM 之一；4 月的 MiniCPM-V 2.0（2B），开始支持高分辨率图像输入并展现出 OCR 能力；5 月的 MiniCPM-Llama3-V 2.5（8B）。技术上，报告称其整合了架构、预训练和对齐三方面较新的 MLLM 技术。评测口径主要是 OpenCompass，一个覆盖 11 个流行基准的综合评测；此外还从 OCR、高分辨率感知、幻觉率、多语言和端侧部署几个维度描述模型特征。

最直接的一组对比来自 OpenCompass：8B 的 MiniCPM-Llama3-V 2.5 在该评测上超过了 GPT-4V-1106、Gemini Pro 和 Claude 3。更早的 2.0 版本以 2B 规模，超过了 Qwen-VL 9B、CogVLM 17B 和 Yi-VL 34B 这些参数更大的模型。能力维度上，报告给出的数字是：支持任意纵横比下 1.8M 像素的高分辨率图像感知，覆盖 30 种以上语言，并强调低幻觉率带来的可信行为。这些数字的意义在于，把「小模型达到大模型水平」从一句口号变成了可对照的评测结果。

报告里更值得琢磨的是 Figure 1 那张图。横轴是时间，纵轴是模型规模，颜色代表性能；红线标出达到 GPT-4V 级性能所需的模型尺寸随时间快速下降，蓝线则定性地表示端侧算力的持续增长。作者把这种现象类比为「MLLM 的摩尔定律」，并据此判断 GPT-4V 级的 MLLM 部署到端侧设备正变得越来越可行。需要说清楚的是，蓝线在图中是定性描绘而非实测数据，红线反映的是公开模型的一个总体走势，并非严格意义上的定律。

如果这一趋势成立，影响会落在应用场景上。报告的出发点是：当前 MLLM 参数规模大、计算开销重，大多只能跑在高性能云服务器上，这既带来可观的能耗与碳排放，也把移动设备、能源敏感场景、无稳定网络的离线场景，以及个人和工业用户对隐私与安全有要求的场景排除在外。端侧部署被寄望于更广的使用范围、更好的计算效率、更稳健的离线行为和更好的隐私保护。代价是参数与推理预算被严格约束，因此需要在架构设计和训练配方上做更精细的取舍——报告把「性能与效率的平衡」明确为设计理念。

关心多模态模型端侧落地的人，可以从这份材料里拿到一条清晰的技术路线和一组可对照的评测结果：什么规模的模型、在什么时间点、达到了什么水平。它同样适合用来校准预期。所谓「GPT-4V 级」是在 OpenCompass 这一综合口径下的结论，材料层面没有展开逐项基准的细节，也没有给出手机上的实测速度与功耗数据。更稳妥的读法，是把它当作趋势判断与能力清单，而不是端侧性能的完整验收报告。

MiniCPM-V: A GPT-4V Level MLLM on Your Phone Yuan Yao∗† Tianyu Yu∗ Ao Zhang∗ Chongyi Wang∗ Junbo Cui∗ Hongji Zhu∗ Tianchi Cai∗ Haoyu Li Weilin Zhao Zhihui He Qianyu Chen Huarong Zhou Zhensheng Zou Haoye Zhang Shengding Hu Zhi Zheng Jie Zhou Jie Cai Xu Han Guoyang Zeng Dahai Li Zhiyuan Liu Maosong Sun ‡ MiniCPM-V Team, OpenBMB [email protected] https://github.com/OpenBMB/MiniCPM-V time model size GPT-4V (2023.11.16) InternVL 1.5 QwenVL-Max Gemini Pro LLaVA-Next-Yi-34B Claude3 Opus DeepSeek-VL 7B MiniCPM-V 2.0 26B 8.5B Nov.2023 Jan.2024 Apr.2024 May2024 2.8B Jun.2024 34B OpenCompass score GPT-4V (2024.04.09) mplug-owl2 CogVLM-Chat MiniCPM-Llama3-V 2.5 unkown OmniLMM-12B Yi-VL-34B Yi-VL-6B GPT-4V level performance end-side computation before Qwen-VL Chat IDEFICS-80B Instruct LLaVA 1.5 13B LLaVA 1.5 7B ShareGPT4V MiniCPM-V 1.0 DeepSeek-VL 1.3B Emu-Chat 2 GPT-4o IDEFICS2-8B 10B