大语言模型综述 Large Language Models: A Survey

大语言模型的研究节奏有多快，材料里有一句直白的描述：新发现、新模型、新技术以数月甚至数周为单位出现，研究者和实践者常常难以判断为自己的任务构建LLM系统的最佳配方。自2022年11月ChatGPT发布以来，LLM在广泛自然语言任务上的表现吸引了大量注意力，arXiv 2402.06196这篇综述想做的，就是把这段高速演进收拢成一张可用的地图。作者包括Shervin Minaee、Tomas Mikolov、Narjes Nikzad、Meysam Chenaghlu、Richard Socher、Xavier Amatriain和Jianfeng Gao，分别来自Amazon、CIIRC CTU、科隆应用技术大学、Ultimate.ai、You.com、Google和Microsoft Research。它值得现在翻看的原因不在于提出了新模型，而在于把几条主流技术路线放在同一张桌上对照。

覆盖范围从历史讲起：语言建模被划为四波——统计语言模型、神经语言模型、预训练语言模型和大语言模型，每一波的起点与演进速度都不同。接着聚焦三个最流行的LLM家族GPT、LLaMA、PaLM，讨论各自的特征、贡献与局限；然后综述构建与增强LLM的技术，梳理用于训练、微调、评估的数据集和广泛使用的评估指标，并在代表性基准上横向比较几个流行模型。从摘要看，方法是文献盘点加基准对比，材料来自公开论文与已有基准结果，而非新的训练实验。最后落在开放挑战与未来研究方向。

这条历史线索本身有信息量：统计语言模型把文本看作词序列，用n-gram和马尔可夫链估计概率，靠平滑处理数据稀疏；神经语言模型改用低维连续向量表示词，但仍是任务特定；预训练语言模型转向任务无关，走“预训练+微调”范式；LLM则是基于transformer、参数规模在数百亿到数千亿之间、在Web规模文本上预训练的模型，材料举的例子是PaLM、LLaMA和GPT-4。关键区别不只是规模：综述强调LLM具备小模型没有的涌现能力。材料列出三项——in-context learning，推理时从prompt中的少量示例学会新任务；instruction following，指令微调后无需显式示例即可遵循新类型任务的指令；multi-step reasoning，借chain-of-thought提示把复杂任务拆成中间推理步骤。

综述还覆盖了LLM的增强路径：接入外部知识和工具，使用户与环境的交互成为可能，并通过交互中收集的反馈数据（例如RLHF）持续改进模型。评测部分值得单独留意，因为它同时整理了训练、微调、评估三类数据集和多种评估指标，再在代表性基准上做跨模型比较。这意味着读者拿到的不是一句“某模型更强”，而是一套可核对的判断依据。换句话说，评测条目越分散，越说明没有单一指标能刻画LLM的综合能力——这一层是从综述结构中读出来的。

对做系统的人来说，这份综述的实用价值在于把“选模型”还原成“选组合”：模型家族各有特征与局限，scaling laws解释了能力从何而来，但涌现能力提示使用方式同样关键，提示设计、指令微调、思维链都会改变实际表现。外部工具与RLHF的部分则说明，一个可用的LLM系统往往由模型之外的组件共同支撑，而不只是参数规模。对研究者而言，末尾的开放挑战与未来方向可以当作选题清单来读。需要说明的是，以上是从综述结构推出的判断，不是论文给出的实验结论。

综述作者明确希望它对学生、研究者和开发者都有价值，这个定位基本对应三类读者：想建立整体框架的学生、需要选型参照的开发者、要找研究缺口的学者。读完能拿走的是一张三层地图：从1950年代Shannon把信息论用于语言开始的演进脉络、GPT/LLaMA/PaLM三大模型家族的对照、以及数据集与评估指标的索引。边界也要说清楚，它是对已有工作的盘点，不提供新模型或新实验，而LLM领域以月为单位更新，任何综述的覆盖都会随时间变旧。好在公开摘要页与PDF可直接下载，按章节取用比从头通读更实际。

Large Language Models: A Survey Shervin Minaee 1, Tomas Mikolov 2, Narjes Nikzad 3, Meysam Chenaghlu 4 Richard Socher 5, Xavier Amatriain 6, Jianfeng Gao 7 1 Applied Scientist, Amazon Inc 2 Senior Researcher, CIIRC CTU 3 Cologne University of Applied Sciences 4 Staff Machine Learning Scientist, Ultimate.ai 5 CEO, You.com 6 VP of Product, AI and Compute Enablement, Google Inc 7 VP of Deep Learning Group, Microsoft Research Abstract—Large Language Models (LLMs) have drawn a lot of attention due to their strong performance on a wide range of natural language tasks, since the release of ChatGPT in November 2022. LLMs’ ability of general-purpose language understanding and generation is acquired by training billions of model’s parameters on massive amounts of text data, as predicted by scaling laws [1], [2]. The research area of LLMs, while very