大语言模型综合概览

LLM 研究在过去几年密集到何种程度，以及在这种密度下如何仍然看清整体图景，是这份综述要处理的核心问题。摘要直言，LLM 的成功带来了研究贡献的大量涌入，这些工作分布在架构创新、更好的训练策略、上下文长度改进、微调、多模态 LLM、机器人、数据集、评测、效率等不同方向。技术迭代快、突破频繁，反而让人难以把握这一方向的全貌。正因如此，作者认为研究社区需要一份简洁但全面的近期进展概览——这份资料被引用 1920 次，说明它确实被当作这样一个入口在使用。

覆盖范围上，材料说明这是一份“自包含”的综述：既讨论相关背景概念，也覆盖 LLM 研究前沿的进阶主题，关键词包括 Large Language Models、chatGPT、Augmented LLMs、Multimodal LLMs、LLM training、LLM Benchmarking。它的定位不是单点深挖，而是把已有工作压缩成有信息量的摘要，供研究者和实践者取用，原文称之为“系统综述”兼“快速、全面的参考”。方法上是对文献的梳理与组织，并用两张图把领域走势可视化：一张统计历年含“Large Language Model”“+Fine-Tuning”“+Alignment”关键词的论文数量变化，另一张按时间顺序排列各模型的发布，并用颜色区分预训练与指令微调、开源与闭源。

材料给出的技术脉络相当清晰：NLP 从统计语言模型走到神经语言模型，再从预训练语言模型（PLM）走到 LLM。传统语言建模在监督设置下训练任务专用模型，PLM 则在大规模文本上做自监督训练，学习可跨任务共享的通用表示，经下游任务微调后性能超过传统做法。更大的 PLM 带来更多收益，于是参数规模被推到数十亿至数千亿、训练数据被推到数 GB 至数 TB，PLM 由此过渡为 LLM。这条线索里还有一个转折点：早期 T5、mT5 仍依赖迁移学习，直到 GPT-3 表明 LLM 不经微调也能零样本迁移到下游任务。

但材料同时指出预训练 LLM 的短板：提示中给出任务描述和示例时它能准确作答，可它并不总能遵循用户意图，零样本表现不如少样本。用任务指令数据微调、并与人类偏好对齐之后，对未见任务的泛化能力提升，零样本表现显著改善，失配行为减少。模型发布时间线还显示出两个趋势：指令微调模型与开源模型的比例在上升。换句话说，从“预训练完即发布”到“预训练加指令微调加对齐”的范式转移，在这份材料里是被当作主线来呈现的。

这些结论对实践的含义，解读下来有两点。其一，选型时不能只看基座模型的零样本分数，材料明确指出预训练模型在零样本场景弱于少样本，指令微调与偏好对齐才是把能力转成可用行为的关键环节。其二，架构、上下文长度、效率、评测等议题被并列列出，说明 LLM 的进展不是单一维度的竞赛，只盯参数规模会漏掉相当一部分变量。对于要判断“该改模型、改数据还是改对齐”的团队，这种并列本身就是一份检查清单。

它面向的是要在短时间内建立领域地图的研究者与工程实践者：读完能拿走一条从统计语言模型到 LLM 的演化主线、一组关键概念（微调、对齐、多模态、Augmented LLMs、评测），以及一批可回溯的模型与文献坐标。需要说明的边界是，这是一份文献综述，解读来看它本身不产生新实验或新模型，价值在于组织与索引。材料自己也承认，快速发展的技术与定期出现的突破让把握全貌变得相当困难，这意味着任何概览都有时效性，具体结论仍应回到原始论文核对。

A Comprehensive Overview of Large Language Models Humza Naveeda, Asad Ullah Khanb,∗, Shi Qiuc,∗, Muhammad Saqibd,e,∗, Saeed Anwarf,g, Muhammad Usmanf,g, Naveed Akhtarh,j, Nick Barnesi, Ajmal Mianj aThe University of Sydney, Sydney, Australia bUniversity of Engineering and Technology (UET), Lahore, Pakistan cThe Chinese University of Hong Kong (CUHK), HKSAR, China dUniversity of Technology Sydney (UTS), Sydney, Australia eCommonwealth Scientific and Industrial Research Organisation (CSIRO), Sydney, Australia fKing Fahd University of Petroleum and Minerals (KFUPM), Dhahran, Saudi Arabia gSDAIA-KFUPM Joint Research Center for Artificial Intelligence (JRCAI), Dhahran, Saudi Arabia hThe University of Melbourne (UoM), Melbourne, Australia iAustralian National University (ANU), Canberra, Australia jThe University of Western Australia (UWA), Perth, Australia Abstract