单样本强化学习提升大模型推理能力

RLVR 的训练数据到底需要多少？这个问题此前最接近的回答来自 LIMR：它提出 learning impact measurement 指标，把训练样本减少六倍仍能保持性能。这份资料把问题推到了极端——如果训练集只有一个样本，RLVR 还能不能起作用？现在值得看，是因为 RLVR 已经是 OpenAI-o1、DeepSeek-R1 这类推理模型背后的关键方法，而数据这一侧的作用相对算法改进一直缺少系统追问，压缩的极限在哪里始终没有答案。

实验主体是在 base 模型 Qwen2.5-Math-1.5B 上做 1-shot RLVR，奖励采用规则化的结果奖励，例如按最终答案是否正确给出二元奖励。评测覆盖 MATH500 与 AIME24、AMC23、Minerva Math、OlympiadBench、AIME25 共六个数学推理基准，并设了几条对照线：包含该样本的 1.2k DeepScaleR 子集（DSR-sub）、7.5k MATH 训练集，以及只给格式奖励的基线，用来把格式纠正带来的分数剥离出去。为了说明结论不是单模型、单算法的偶然，作者还在 Qwen2.5-Math-7B、Llama3.2-3B-Instruct、DeepSeek-R1-Distill-Qwen-1.5B 上，以及 GRPO、PPO 两种算法和不同数学例子下重复了观察。

最核心的一组数字来自 Qwen2.5-Math-1.5B：加入单个样本做 RLVR 后，MATH500 从 36.0% 升到 73.6%，其中 8.6% 属于格式纠正之外的提升；六个基准的平均分从 17.6% 升到 35.7%，非格式增益为 7.0%。这个结果与使用含该样本的 1.2k DeepScaleR 子集基本持平——后者 MATH500 同为 73.6%，平均 35.9%。再进一步，只用两个样本时 MATH500 达到 74.8%、平均 36.6%，略高于 1.2k 子集，也与 7.5k MATH 训练集的平均 36.7% 相当。材料还特别提到，被选中的这两个样本对 base 模型来说相对容易。

训练过程中有几个值得留意的现象：跨类别泛化、自我反思（self-reflection）出现频率上升，以及训练准确率饱和之后测试性能仍在继续提升，作者把最后这一点称为 post-saturation generalization。机制上，作者验证 1-shot RLVR 的效果主要来自 policy gradient loss，并据此把它与 grokking 现象区分开；同时强调促进探索的作用，例如引入系数合适的 entropy loss。材料另外讨论了 format correction、label robustness 和 prompt modification 相关的观察。

这些结果意味着，至少在这类数学任务上，RLVR 更像是在激发 base 模型已有的推理能力，而不是从零注入新能力，这与材料中「base 模型本身已具备可观推理能力」的判断相互印证。换句话说，数据的筛选质量可能比数据规模更值得投入：一个精心挑出的样本，效果可以顶上千级子集。对实践的直接含义是，小样本下的 RLVR 实验成本低、迭代快，做算法对比和消融时不必先背上大数据集的负担。它同时提示，近期 RLVR 的进展需要重新归因——成绩里有多少来自数据规模，有多少来自格式与探索，值得分开核算。

关心 RLVR 数据效率、打算做小样本消融或复现实验的研究者与工程师，可以把这份资料当作一份起点清晰的实证材料：它有可对照的数字、跨模型与跨算法的验证，代码、模型和数据也已开源。读完能拿走的是「训练集可以压缩到一个样本」这一具体结论，以及围绕它的一串待解释现象。边界同样要说清楚：评测以数学推理基准为主，材料只说明另有非数学推理任务的结果放在 Tab. 1

Reinforcement Learning for Reasoning in Large Language Models withOneTraining Example Yiping Wang1† ∗ Qing Yang2 Zhiyuan Zeng1 Liliang Ren3 Liyuan Liu3 Baolin Peng3 Hao Cheng3 Xuehai He4 Kuan Wang5 Jianfeng Gao3 Weizhu Chen3 Shuohang Wang3† Simon Shaolei Du1† Yelong Shen3† 1University of Washington 2University of Southern California 3Microsoft 4University of California, Santa Cruz 5Georgia Institute of Technology Abstract We show that reinforcement learning with verifiable reward using one training example (1-shot RLVR) is effective in incentivizing the mathematical reasoning capabilities of large language models (LLMs). Applying RLVR to the base model Qwen2.5-Math-1.5B, we identify a single example that elevates model performance on MATH500 from 36.0% to 73.6% (8.6% improvement beyond format correc- tion), and improves the average performance across six common mathematical