SuperRL：以监督强化学习提升语言模型推理能力

语言模型被越来越多地用于复杂推理任务，而这类任务上高质量的离线数据其实并不缺：专家标注的解题过程、蒸馏得到的推理轨迹都属于此列。可标准 on-policy 强化学习并不会用它们，因为它只吃自己采样出来的轨迹。SuperRL 要回答的，就是怎样让这两类资源在同一个训练流程里各就其位。说它现在值得看，是因为推理训练对强化学习的依赖在加重，而「自己采不到、手里有却用不上」这种组合，恰恰是实践中经常同时撞上的两个麻烦。

从材料给出的范围看，这是一篇 2025 年 6 月发布的 arXiv 论文，作者署名中包含 Yihao Liu、Lang Cao 等人，机构涉及 Peking University、University of Illinois Urbana-Champaign 与 Microsoft (United States)。方法层面的主张很集中：提出一个统一的训练框架，让模型在强化学习与监督微调之间自适应地交替，而不是固定走其中一条路线。摘要首句把离线数据的来源说得很明确，即专家标注的解，以及蒸馏得到的推理轨迹。需要提前说明的是，材料只到摘要与核心要点的粒度，没有给出具体的实验设置、基准任务或训练细节。

材料列出的前两条要点，指向的是同一个缺口的两面。一面在环境侧：当奖励稀疏时，强化学习很难采样到成功轨迹，采不到成功样本，可用于更新的信号就稀少，学习因此低效。另一面在数据侧：那些代表正确推理路径的离线轨迹，标准 on-policy 强化学习方法并不会使用。换句话说，一边是自己采不到，一边是手里有却用不上，两个问题叠在一起，构成了 SuperRL 的起点。

第三条要点给出的是应对方式：SuperRL 是一个统一的训练框架，在 RL 与 SFT 之间自适应交替。这里的措辞值得留意——材料用的是 alternates 而非 combines，指向的是把两种训练方式安排成轮换关系，而不是在同一个目标里并行叠加；「自适应」则意味着切换由框架自行决定，而不是事先写死的固定节奏。按这个设计，监督微调负责把离线轨迹里的正确推理路径吸收进来，强化学习负责在环境中继续探索，两者互为补充。至于切换依据什么信号判断、交替的粒度多细，材料没有交代。

这意味着离线数据的角色可能被重新理解：它不只是训练开始前的一次性冷启动材料，而是可以在训练过程中持续供给正确路径的信号。相应地，RL 与 SFT 也不必被当成二选一的路线，交替使用本身就是一种可行的组织方式。对正在做推理模型训练的团队来说，如果恰好卡在稀疏奖励导致采样效率低、手上又攒着一批专家解或蒸馏轨迹用不上的处境，这个框架提供了可以直接对照的思路。当然，这只是方向层面的判断，材料并未给出任何效果验证的数据。

这份资料适合关注语言模型推理训练、尤其是强化学习与监督信号如何配合的读者。读完能拿走的是一套问题框架：稀疏奖励下的采样困难与离线轨迹的闲置是同一问题的两面，而「自适应交替」是把两者接起来的一种候选设计。边界也很清楚：目前可见的只有摘要与三条要点，缺少实验数字、对比基线和消融结果，无法据此判断它在具体任务上的增益；被引 4 次同样说明它仍处在较早的传播阶段，不宜当作已经验证成熟的方案来引用。