百川2：开放的大规模语言模型

这份资料要回答的问题很具体：当最强大的大语言模型大多闭源、或者在英语之外的语言上能力有限时，开放的多语言模型能走到哪一步。材料的出发点也交代得清楚——LLaMA、OPT、Bloom、MPT、Falcon 等开源模型推动了研究，但它们主要面向英语，例如 LLaMA 的预训练数据中 Common Crawl 占 67%，却只保留英文内容，MPT 和 Falcon 同样以英语为主。这直接限制了中文等语言上的开发与应用。百川智能给出的答卷是 Baichuan 2，一套从零训练的大规模多语言模型，并把预训练 checkpoint 全部开放。它值得现在看，不只因为模型本身，还因为它把从 2000 亿到 2.6 万亿 tokens 各个训练阶段的中间 checkpoint 一并释放，这在开源模型里并不多见。

覆盖范围上，Baichuan 2 是两个独立模型：70 亿参数的 Baichuan 2-7B 和 130 亿参数的 Baichuan 2-13B，两者都在 2.6 万亿 tokens 上从零训练。按作者的说法，这是迄今为止最大的训练量，超过 Baichuan 1 的两倍以上。除基座模型外，还发布了针对人类指令优化的对话模型 Baichuan 2-7B-Chat 与 Baichuan 2-13B-Chat。评估面覆盖通用知识、中文、数学、代码与垂直领域，用的基准包括 MMLU、CMMLU、C-Eval、GSM8K、HumanEval，以及医学的 MedQA 和法律的 JEC-QA。方法上没有另起范式，价值主要体现在训练规模与开放程度上。

关键数字集中在与自家上一代的对比。在 MMLU、CMMLU、C-Eval 这类通用基准上，Baichuan 2-7B 比 Baichuan 1-7B 的性能提升接近 30%。在 GSM8K 和 HumanEval 上，Baichuan 2 的成绩接近 Baichuan 1 的两倍，说明数学与代码是这一轮专门优化的方向。另一个值得注意的观察是，即便是 70 亿参数的模型，在超过 2.6 万亿 tokens 之后性能仍在继续提升——这意味着在这个规模上，数据量还没有触到明显的收益上限。

横向对比的结论是：在 MMLU、CMMLU、GSM8K、HumanEval 等公开基准上，Baichuan 2 与同规模的其他开源模型持平或更好。垂直领域更能看出差异，在 MedQA 和 JEC-QA 上它超过了其他开源模型，作者据此认为它适合作为领域专用优化的基础模型。开放性方面，除了全部预训练 checkpoint，还开放了从 2000 亿 tokens 到完整 2.6 万亿 tokens 的多个训练阶段快照，目的是让社区能观察训练动态。

这些结论落到实践上，影响大致有三层。对中文和多语言场景来说，多了一个可用的开源基座，而且覆盖 7B 与 13B 两个常用档位，便于在不同算力条件下选型。训练动态的中间 checkpoint 对研究更有价值——换句话说，别人可以复现或分析性能随 token 数如何变化这类问题，而不只是拿到一个终态模型。医学与法律上的表现说明它可作为领域微调的起点，而不只是通用对话；对话版本的存在则让指令跟随类应用不必从基座重新对齐。

读这份资料的人大致是两类：关心中文或多语言基座选型的工程团队，以及研究大模型训练动态的研究者。能拿走的是明确的模型规格、2.6 万亿 tokens 的训练量、与上一代和同规模开源模型的基准对比，以及中间 checkpoint 的开放策略。需要留意的边界也很清楚：作为技术报告，它给出的是结论性数字，数据配比、清洗规则、安全对齐的具体做法在材料中只有概述；基准成绩由作者自报，比较对象限于「同规模开源模型」这一范围；「迄今最大训练量」也是作者的表述。把这些当作选型与研究的起点，而不是终审结论，会更稳妥。

Baichuan 2: Open Large-scale Language Models Aiyuan Yang, Bin Xiao, Bingning Wang, Borong Zhang, Chao Yin, Chenxu Lv, Da Pan Dian Wang, Dong Yan, Fan Yang, Fei Deng, Feng Wang, Feng Liu, Guangwei Ai Guosheng Dong, Haizhou Zhao, Hang Xu, Haoze Sun, Hongda Zhang, Hui Liu, Jiaming Ji Jian Xie, Juntao Dai, Kun Fang, Lei Su, Liang Song, Lifeng Liu, Liyun Ru, Luyao Ma Mang Wang, Mickel Liu, MingAn Lin, Nuolan Nie, Peidong Guo, Ruiyang Sun Tao Zhang, Tianpeng Li, Tianyu Li, Wei Cheng, Weipeng Chen, Xiangrong Zeng Xiaochuan Wang, Xiaoxi Chen, Xin Men, Xin Yu, Xuehai Pan, Yanjun Shen, Yaodong Yang Yiding Wang, Yiyu Li, Youxin Jiang, Yuchen Gao, Yupeng Zhang, Zenan Zhou, Zhiying Wu Baichuan Inc. Abstract Large language models (LLMs) have demonstrated remarkable performance on a variety of natural language tasks based on just a few examples of natural language