LLM智能体强化学习全景综述

大模型与强化学习的结合，早期大多把模型当作静态的条件生成器，优化目标是让单轮输出更贴合人类偏好或 benchmark 分数。这套做法在对齐和指令遵循上确实有效，但它默认了「一次性回答」的设定，覆盖不到真实交互场景中那种需要连续感知、决策、调用工具、维护记忆的序贯过程。这份综述要处理的正是这个落差：当 LLM 被重新当作智能体看待，强化学习在其中扮演的角色发生了什么变化，围绕这一变化又长出了怎样一片研究地形。它综合了五百多篇近期工作，给出的不是零散方法清单，而是一套把新旧范式区分开的概念框架。

分析的起点是一次形式化对比：传统 LLM RL 被刻画为退化的单步 Markov 决策过程（MDP），而 Agentic RL 对应时间延展的、部分可观测的 Markov 决策过程（POMDP）。在这个基础上，综述搭起双重分类法：一维按核心智能体能力组织，涵盖规划、工具使用、记忆、推理、自我改进与感知；另一维按这些能力在不同任务域中的应用组织。除分类之外，它还汇总了开源环境、基准与框架，做成一份可供查阅的实用汇编。为了把新范式放回脉络中，作者回溯了两条相关研究线——RL 与 LLM 的协同，以及 LLM Agents。

综述对范式转变给出了明确定义：Agentic RL 指的是 LLM 不再被当作静态条件生成器，而是被概念化为嵌入序贯决策循环中的可学习策略，由 RL 赋予其规划、推理、工具使用、记忆维护、自我反思等自主能力，使其有可能在部分可观测的动态环境中表现出长时程的认知与交互行为。这一定义的重心落在「可学习」上：这些能力不是靠提示词或外部脚手架临时拼出来的，而是通过训练进入策略本身。

支撑这一判断的是它对既有工作的梳理。在 RL 训练 LLM 一侧，on-policy 方法（如 PPO、GRPO）与 off-policy 方法（如 actor–critic、Q-learning）被用于提升指令遵循、伦理对齐、代码生成等能力；反过来，LLM 也被用作规划者、奖励设计者、目标生成器或信息处理器，以改善控制环境中的样本效率、泛化与多任务规划。RL 还贯穿数据生成、预训练、后训练与推理等生命周期环节，其中后训练对齐最为活跃，代表是 RLHF 及其 RLAIF、DPO 等扩展。智能体一侧，工具使用（含检索增强生成与 API 调用）被视为中心范式，规划与推理策略构成另一支柱。

综述的中心论点是：RL 是把上述能力从静态的、启发式的模块转变为自适应、鲁棒的智能体行为的关键机制。换句话说，规划、记忆、工具使用这些模块单独存在时只是流程中的固定零件，只有被放进带奖励信号的训练回路，才可能随环境反馈持续调整。这意味着研究议程的重心从「让单轮输出更对齐」移向「训练能在长时程中做决策的策略」；相应地，评测也需要从单轮 benchmark 转向部分可观测、动态环境里的序贯任务。

做 LLM 后训练与强化学习的人、正在搭建智能体系统的人，读这份资料大致能拿走三样东西：一条从单步 MDP 到 POMDP 的概念主线，一套按能力与应用展开的分类坐标，以及一份开源环境、基准和框架的清单。需要说明的是，作为综述，它的贡献在组织与分类，而非提出新方法或新实验；五百多篇工作的覆盖面也决定了每个方向只能纲要式展开，具体方法的取舍仍需回到原始论文核对。这一领域演进很快，框架与基准的有效期尤其短，把这份资料当地图而不是路标更为稳妥。

Published in Transactions on Machine Learning Research (01/2026) The Landscape of Agentic Reinforcement Learning for LLMs: A Survey Guibin Zhang3† Hejia Geng1† Xiaohang Yu8† Zhenfei Yin1∗ Zaibin Zhang9,1 Zelin Tan7,2 Heng Zhou7,2 Zhongzhi Li10 Xiangyuan Xue11,2 Yijiang Li13 Yifan Zhou12 Yang Chen2 Chen Zhang7 Yutao Fan2 Zihu Wang14 Songtao Huang6,2 Piedrahita-Velez, Francisco5 Yue Liao3 Hongru Wang11 Mengyue Yang15 Heng Ji4 Jun Wang6 Shuicheng Yan3 Philip Torr1 Lei Bai2∗ 1University of Oxford 2Shanghai AI Laboratory 3National University of Singapore 4University of Illinois Urbana-Champaign 5Brown University 6University College London 7University of Science and Technology of China 8Imperial College London 9Dalian University of Technology10Chinese Academy of Sciences 11The Chinese University of Hong Kong 12University of Georgia