强化学习推理语言模型的熵机制

这份资料聚焦一个在 LLM 推理 RL 扩展中反复出现的障碍：policy entropy collapse。作者追问熵为何在训练早期快速下降、熵与下游性能之间是否存在可预测的关系，以及能否通过干预熵来维持探索。材料给出的判断很直接：如果不做熵干预，策略会用熵换性能，而熵耗尽会变成性能天花板。这意味着，继续靠扩大 RL 算力来提升推理能力，不能只看奖励和准确率，还要把熵当作需要管理的资源。

覆盖范围从现象拟合延伸到理论机制，再到干预方法。作者先在大量未做熵干预的 RL run 中观察 policy entropy 与下游性能，拟合出 R=-a exp H+b，其中 a、b 为拟合系数。随后从 softmax 策略和 Policy Gradient 类算法出发推导熵动态，并用实验核对协方差项与熵差。在此基础上提出 Clip-Cov 与 KL-Cov：分别对高协方差 token 做裁剪和 KL 惩罚，再通过实验检验其探索与性能效果。

最醒目的现象是熵崩溃与性能饱和同步出现。图注指出，超过 95% 的熵下降/性能提升发生在 RL 训练早期，之后模型进入平台期，提升很小。拟合方程把这一现象写成 R=-a exp H+b：H 越低，R 越接近由 a、b 决定的上限；当 H=0 时，R=-a+b。作者据此认为，策略性能是从 policy entropy“交易”来的，并受熵耗尽的瓶颈限制，天花板可以预测。

机制层面的解释落在协方差上。推导显示，策略熵的变化由动作概率与 logits 变化的协方差驱动；使用 Policy Gradient 类算法时，该协方差与 advantage 成比例。直观地说，高概率且高 advantage 的动作会降低熵，稀有但高 advantage 的动作会提高熵。实证中，协方差项与熵差“完全匹配”，且协方差项在训练中大多为正，这解释了熵为何单调下降。对应干预是限制高协方差 token 的更新：Clip-Cov 做裁剪，KL-Cov 加 KL 惩罚；实验显示两者鼓励探索、帮助策略逃离熵崩溃并取得更好的下游性能。

这些结论把熵管理从“可选正则”抬成了扩展 RL 算力的必要条件。实践中，与其等熵崩溃后再补救，不如持续监控熵以及高协方差 token，针对它们做裁剪或 KL 惩罚。解读：拟合方程还能用来预判性能上限，帮助判断继续训练是否仍有收益。但 a、b 是拟合系数，上限预测的可靠性取决于拟合质量与具体训练设定，不能当作跨任务常数。

做 LLM 推理 RL 训练、策略优化和探索控制的研究者与工程师，读这份资料能拿走一个可预测的熵崩溃框架、一个协方差机制解释，以及两个轻量干预思路。就可见材料而言，实验设置、模型规模、数据集和具体提升幅度没有展开，代码仓库虽已给出，复现细节仍需回到原文核对。理论推导针对 softmax 策略与 Policy Gradient 类算法，外推到其他策略或算法时要谨慎。因此，更稳妥的用法是把 R=-a exp H+b 当作需要逐设定拟合的经验规律，而不是普适定律。

The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models Ganqu Cui1∗, Yuchen Zhang1,4∗, Jiacheng Chen1∗, Lifan Yuan3, Zhi Wang5, Yuxin Zuo2, Haozhan Li2, Yuchen Fan1, Huayu Chen2, Weize Chen2, Zhiyuan Liu2, Hao Peng3, Lei Bai1, Wanli Ouyang1, Yu Cheng1,6†, Bowen Zhou1,2†, Ning Ding2,1† 1 Shanghai AI Laboratory 2 Tsinghua University 3 UIUC 4 Peking University 5 Nanjing University 6 CUHK Code: https://github.com/PRIME-RL/Entropy-Mechanism-of-RL Abstract This paper aims to overcome a major obstacle in scaling reinforcement learning (RL) for reasoning with large language models (LLMs), namely the collapse of policy entropy. Such phenomenon is consistently observed across vast RL runs without entropy intervention, where the policy entropy dropped sharply at the early training stage, leading to an overly confident policy model.