Phi-4 技术报告

14B 参数的模型能不能在推理任务上同几十亿到上千亿参数的模型掰手腕，靠的不是把参数和 token 继续堆大，而是把数据质量做到极致——这正是 phi-4 技术报告要给出的答案。报告开篇就提出一个判断：数据质量的显著改进，有可能媲美甚至超过传统上通过扩大模型与数据集规模、增加算力所获得的收益。对正在权衡「继续堆规模还是重做数据管线」的团队来说，这份 2024 年 12 月发布的技术报告提供的是一份具体到配方层面的样本，而不只是又一张跑分表。

报告把 phi-4 的训练拆成三根支柱。第一根是预训练与中训练阶段的合成数据，合成数据在 phi-4 的训练数据中占主体，生成手段包括 multi-agent prompting、self-revision workflows 和 instruction reversal，目标是构造出能诱发更强推理与解题能力的数据集，弥补传统无监督数据集的短板。第二根是有机数据的筛选，从网页内容、授权书籍和代码仓库中提取「种子」，作为合成数据流水线的起点，同时直接过滤出高质量网页数据用于预训练。第三根是后训练，报告称重做了 SFT 数据集，并基于 pivotal token search 发展出一种构造 DPO 偏好的新方法，配合 rejection sampling 精修输出。值得注意的是，相对 phi-3 的架构改动被明确描述为「极小」，性能提升被归因于数据、训练课程与后训练方案的创新。

跑分上的变化幅度是这份报告最有说服力的部分。与同门的 phi-3 14b 相比，phi-4 在 MMLU 上从 77.9 升到 84.8，GPQA 从 31.2 升到 56.1，MATH 从 44.6 升到 80.4，HumanEval 从 67.8 升到 82.6，MMLUPro 从 51.3 升到 70.4，HumanEval+ 从 69.2 升到 82.8，MGSM 从 53.5 升到 80.6，DROP 从 68.3 升到 75.5，ArenaHard 从 45.8 升到 75.4，LiveBench 从 28.1 升到 47.6。这些数字放在同类小模型与更大模型的对照里看更有意思：GPQA 56.1 高于 GPT-4o 的 50.6，MATH 80.4 高于 GPT-4o 的 74.6，也高于 Llama-3.3 70b instruct 的 66.3；但在 MMLU（84.8 对 88.1）和 HumanEval（82.6 对 90.6）上仍落后于 GPT-4o。报告由此得出结论：phi-4 在 GPQA 和 MATH 上显著超过了它的 teacher 模型。

关于「是否只是蒸馏 GPT-4」这个疑问，报告给出了正面的回应。Phi 家族此前的模型主要是蒸馏一个 teacher 模型（具体指 GPT-4）的能力，而 phi-4 在面向 STEM 的问答能力上大幅超过该 teacher，报告认为这说明其数据生成与后训练技术已经超出蒸馏的范畴。另一条证据来自时间上的隔离：报告在 2024 年 11 月的 AMC-10 与 AMC-12 数学竞赛上做了测试，这些题目出现在全部训练数据收集完成之后，评测按 temperature 0.5、每套题 100 次运行取平均（满分 150），报告称 phi-4 在竞赛数学上的得分远超其体量级别，甚至优于一些非开放权重的模型。为了支撑这类结论，报告还说明了相比前代 Phi 模型改进过的数据去污染流程，用以排除测试集经网页语料泄漏带来的虚高。

这些结论对实践的含义是具体的。如果架构几乎不动、仅靠合成数据的生成方式、课程配比和后训练中的偏好构造就能把 14B 模型的推理类指标推进到大模型区间，那么数据工程就是与算力扩张并行的一条独立杠杆，而不是算力不足时的补丁。换个角度说，报告里真正可复用的资产是那套「从有机数据取种子、用多种生成技术扩增、再用 rejection sampling 与 DPO 收敛」的流水线思路，以及用训练截止之后的新题做验证的做法。同时也要看到，报告自己对评测口径是敏感的：脚注指出表中 Llama-3.3 的 MATH 与 HumanEval 分数低于 Meta 自报的 77 和 88，原因可能是 simple-evals 对格式要求严格而 Llama 模型不擅长遵循，而报告仍选择 simple-evals 是因为它可复现。解读这类跨模型对比时，这一层口径差异不能忽略。

这份报告适合做小模型训练、合成数据流水线和后训练对齐的工程师与研究者细读，尤其是想在 14B 量级上复现「数据质量优先」路线的人；读完能拿走的是一套完整的三段式配方、一批可对照的基准数字，以及一种用新题验证过拟合的思路。它的边界也需要说清：性能数据基本来自官方自评，其中 PhiBench 是内部基准，外部无法复核；SimpleQA 上 phi-4 只有 3.0，低于 phi-3 的 7.6，也远低于 GPT-4o 的 39.4，说明事实性问答并非其强项；去污染的具体方法被放在附录而非正文，架构层面的信息则被明确压缩为「改动极小」。把这些边界和数字一起看，才能判断这套配方在多大程度上能迁移到自己的场景。

Phi-4 Technical Report Marah Abdin Jyoti Aneja Harkirat Behl S´ ebastien Bubeck Ronen Eldan Suriya Gunasekar Michael Harrison Russell J. Hewett Mojan Javaheripi Piero Kauffmann James R. Lee Yin Tat Lee Yuanzhi Li Weishung Liu Caio C. T. Mendes Anh Nguyen Eric Price Gustavo de Rosa Olli Saarikivi Adil Salim Shital Shah Xin Wang Rachel Ward Yue Wu Dingli Yu Cyril Zhang Yi Zhang Microsoft Research Abstract We present phi-4, a 14-billion parameter language model developed with a training recipe that is centrally focused on data quality. Unlike most language models, where pre-training is based pri- marily on organic data sources such as web content or code, phi-4 strategically incorporates synthetic data throughout the training process. While previous models in the Phi family largely distill the