通向大规模推理模型：强化推理综述

语言长期被视为人类推理的基本工具，大语言模型出现后，一个直接的问题随之而来：能否让这些模型真正「思考」，而不只是做自回归的逐 token 生成？arXiv 论文 2501.09686《Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models》正是围绕这个问题展开的综述。它把近期两条技术脉络——用强化学习训练模型掌握推理过程，以及在推理阶段投入更多计算——放在一起考察，并指向一个被作者称为 Large Reasoning Model 的方向。材料显示该综述于 2025 年 1 月发布，PDF 可公开直接下载，对于需要补齐智能体、大模型、具身等技术子领域盘点的读者，这是一份可以立刻取用的文献。

覆盖范围上，综述从大语言模型的基础背景讲起，再进入驱动大规模推理模型发展的关键技术组件，重点落在三块：自动化数据构建、learning-to-reason 技术、以及 test-time scaling。作者团队来自清华大学、香港科技大学（广州）与 Emory University，全部作者标注为同等贡献。方法上，这是一篇文献综述而非实证研究，它梳理的是已有研究路线之间的逻辑关系：从 chain-of-thought 提示，到 tree-of-thought 等更复杂的提示技术，再到用强化学习训练推理过程，最后到推理阶段的计算扩展。

第一条关键脉络关于「thought」这个概念。综述指出，研究者不再满足于简单的自回归 token 生成，而是引入「thought」——一串代表推理中间步骤的 token。这一步让模型可以模仿树搜索、反思性思考等复杂的人类推理过程。早先的 chain-of-thought 提示无需额外训练就能在测试时引出逐步推理，显著提升预训练模型的推理准确率，tree-of-thought 则是在此基础上的进一步推进。换句话说，把中间步骤显式写出来，本身就构成了一种能力放大器。

第二条脉络关于训练数据从哪来，这也是综述着墨较多的地方。learning to reason 的核心困难是缺少训练数据，人工标注逐步推理轨迹的成本高得难以承受。于是研究转向由 LLM 驱动的搜索算法：借助针对推理问题的外部验证，通过试错搜索自动生成准确的推理轨迹。在此基础上，研究者提出在这些轨迹上训练 Process Reward Models（PRMs），由 PRMs 提供稠密的、逐步的奖励信号，服务于强化学习。综述把「搜索」与「学习」的结合称为一个「reinforced cycle」，并引用 Richard Sutton 的判断，认为这两者是可以无限扩展的方法。这意味着推理能力的扩展可以随着训练期算力的增加而推进。

第三条脉络关于推理阶段。综述提到，PRMs 也可用于引导模型在测试时评估并搜索中间的「thought」，促使模型在推理时生成更审慎的步骤，从而提升准确率，这被称为 test-time scaling law：在测试时为审慎推理花更多 token，可以换来更高准确率。训练期扩展与测试期扩展合在一起，构成了通向大规模推理模型的研究前沿。综述把 OpenAI 的 o1 系列视为这一方向的关键里程碑，认为它印证了上述路径的有效性，也呼应了 OpenAI 把大模型从对话式 AI 推向推理式 AI 的路线设想。开源侧，OpenR、LLaMA-Berry、Journey Learning 等项目正致力于复现 o1 的强推理能力。

这些结论对实践的含义，我的解读是：推理能力的提升不再只依赖把模型做大，而是多了一条可操作的工程路径——构造可验证的推理任务、自动生成轨迹、训练过程奖励模型、再用强化学习把搜索能力内化，同时在推理时允许模型多花 token。这套组合对数据标注的依赖明显低于纯人工路线，也因此更容易被资源有限的开源团队复刻，前述几个开源项目正是这一判断的旁证。综述同时分析了构建大规模推理模型的热门开源项目，并以开放挑战与未来研究方向作结，说明这条路径远未收敛。

读这份资料，能拿走的是一张带注释的技术地图：知道 chain-of-thought、tree-of-thought、PRMs、learning to reason、test-time scaling 各自解决哪一环，以及它们如何串成「搜索加学习」的循环。它适合正在做推理模型、强化学习后训练或智能体方向调研的同行，当作论文盘点的骨架比当作结论来源更合适。边界也需要说清楚：材料给出的只是综述的摘要与引言，没有具体的实验数据、对比表格或量化收益，因此无法据此判断各条路线的相对优劣；文中提到的 o1 里程碑与开源复现项目，也都是转述而非该综述自己的评测结果。若要引用具体数字，仍需回到 PDF 正文逐节核对。

Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models Fengli Xu1 Qianyue Hao1 Zefang Zong1 Jingwei Wang1 Yunke Zhang1 Jingyi Wang1 Xiaochong Lan1 Jiahui Gong1 Tianjian Ouyang1 Fanjin Meng1 Chenyang Shao1 Yuwei Yan2 Qinglong Yang1 Yiwen Song1 Sijian Ren1 Xinyuan Hu3 Yu Li1 Jie Feng1 Chen Gao1 Yong Li1 All authors contributed equally. 1 Tsinghua University, Beijing, China; 2 HKUST (GZ), Guangzhou, China 3 Emory University, Atlanta GA, USA [email protected], [email protected] Abstract Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the