强化学习综述 Reinforcement Learning: An Overview

强化学习在过去几年被反复提起，但多数讨论停留在某个算法或某次后训练流程上，缺一张把问题、模型和方法族串起来的地图。这份由 Kevin P. Murphy 撰写的综述试图回答的正是这个问题：从序列决策出发，强化学习究竟包含哪些问题设定、哪些解法家族，以及它和大语言模型、多智能体、具身场景之间是什么关系。现在值得看的一个信号是，LLM 与 RL 的交叉被单独列为一章，并且分成「RL for LLMs」与「LLMs for RL」两个方向；这意味着在作者的组织里，两者已不是单向的工具关系，而是互相支撑的两条线。对于需要给智能体、大模型、具身等子领域补齐背景的读者，这类结构完整的综述比零散博客更省时间。

覆盖范围可以从目录看出：第1章先铺序列决策、canonical models 和高层总结，把 MDP、部分可观测 MDP、goal-conditioned MDP、contextual MDP、contextual bandits、belief state MDP 等设定摆在一起，还把 best-arm identification、Bayesian optimization、active learning 乃至 SGD 都当作决策问题来处理。第2到第4章按方法族展开：价值型 RL 讲到 SARSA 的 on-policy TD 与 Q-learning 的 off-policy TD；策略型 RL 覆盖 policy gradient、actor-critic、policy improvement、off-policy 方法与 gradient-free policy optimization，并单列「RL as inference」；基于模型的 RL 则从决策时在线规划、后台离线规划一路讲到 world models 和超越单步模型的预测表征。第5章进入多智能体，按 games、solution concepts、algorithms 三层组织；第7章收拢 regret minimization、探索-利用权衡、distributional RL、hierarchical RL、imitation learning、offline RL 等专题。这种按问题框架挂方法、而非按时间线堆论文的写法，读起来更接近教科书的结构。

几个具体处理值得注意。第1.3.4节把部分可观测性单列，给出三条应对路径：求最优解、使用有限观测历史、采用带状态的循环策略；第1.3.5节把模型不确定性直接对应到探索-利用权衡