d1：通过强化学习扩展扩散大语言模型的推理能力

强化学习后训练让大语言模型的推理能力提升明显，但材料指出，这些能力此前主要在从左到右的自回归生成范式中得到展示。基于扩散的非自回归范式以粗到细的方式生成文本，近期的扩散大语言模型在语言建模上已能与同规模自回归模型竞争，但它们能否也用上最近的推理进展，材料给出的判断是“仍不清楚”。d1 要回答的正是这个问题：如何把预训练的 masked dLLM 改造成推理模型。值得现在看的地方在于，它不只给出一套训练配方，还给出了把策略梯度强化学习接到 masked dLLM 上的具体算法，材料称这是首次将策略梯度方法集成到 masked dLLM。

d1 是一个两阶段后训练框架。第一阶段用 masked SFT 从现有数据中蒸馏知识，并让模型习得自我改进行为；第二阶段提出 diffu-GRPO，一种无 critic、基于策略梯度的强化学习算法，用在 masked dLLM 上。实验以 LLaDA-8B-Instruct 为基座，在 GSM8K、MATH500、Countdown、Sudoku 四个数学与规划基准上比较不同后训练配方。材料还提到做了算法设计的消融、定性分析，并把 diffu-GRPO 扩展到编码任务。

图 1 给出四组对照：GSM8K 从 78.2 升到 82.1，MATH500 从 36.2 升到 40.2，Countdown 从 20.7 升到 42.2，Sudoku 从 11.7 升到 22.1。前两个是数学任务，提升幅度较小；后两个是规划任务，材料说规划任务上性能“几乎翻倍”，从数字看 Countdown 和 Sudoku 确实翻了一倍左右。d1 不仅超过基座 LLaDA，也超过只用 SFT 和只用 diffu-GRPO 的变体——这意味着两阶段组合比任一单阶段更有效，而不是简单叠加。

把强化学习用到 masked dLLM 上，难点在于 PPO 和 GRPO 这类在自回归模型上成功的方法，要靠计算生成序列的 log-probabilities 来估计和优化策略分布。自回归模型可以按序列分解逐 token 计算，dLLM 的生成是迭代式、非序列的，没有这种自然分解，所以不能直接套用。diffu-GRPO 的做法是提出一种高效的一步 log-probability 估计，并利用随机 prompt masking 作为策略优化的正则项，从而允许每批次做更多梯度更新、减少强化学习训练所需的在线生成次数。材料称这能显著降低计算时间——换句话说，它解决的不只是“能不能用强化学习”，还有“用起来贵不贵”。

这些结果说明，强化学习后训练带来的推理收益不必局限在从左到右的生成范式里；非自回归的扩散式去噪模型同样可以从在线强化学习中获益。对做 dLLM 后训练的团队来说，d1 给出的是一条可操作的路径：先用 masked SFT 注入推理轨迹，再用 diffu

arXiv:2504.12216v2 [cs.CL] 3 Jun 2025 d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning Siyan Zhao∗ UCLA Devaansh Gupta∗ UCLA Qinqing Zheng† Meta AI Aditya Grover† UCLA Abstract Recent large language models (LLMs) have demonstrated strong reasoning capa- bilities that benefits from online reinforcement learning (RL). These capabilities have primarily been demonstrated within the left-to-right autoregressive (AR) generation paradigm. In contrast, non-autoregressive paradigms based on diffu- sion generate text in a coarse-to-fine manner. Although recent diffusion-based large language models (dLLMs) have achieved competitive language modeling performance compared to their AR counterparts, it remains unclear if dLLMs can also leverage recent advances in LLM reasoning. To this end, we propose