大语言模型后训练的数据合成与算法

大语言模型的后训练长期受两件事牵制：高质量偏好数据从哪里来，以及强化学习算法本身是否稳定可靠。这份来自 UC Berkeley EECS 的博士论文把这两个问题放进同一个框架处理，作者是 Tianhao Wu，指导委员会由 Jiantao Jiao 主持，Kannan Ramchandran 与 David Wagner 参与。论文的核心主张是，可扩展的后训练必须同时在数据生成和算法稳健性两条轴上推进，只解决一边不够。作者把数据侧的三段式演进和算法侧的两个方法串成一条相互依赖的线索，这种把数据和算法绑在一起讨论的视角，在当下的后训练研究里并不常见。

覆盖范围上，数据侧从 Nectar 数据集和 Starling 奖励模型出发，用 AI 生成的偏好数据替代人工标注；再往前一步是 Meta-Rewarding，让同一个模型同时扮演 actor、judge 和 meta-judge 三个角色，把监督信号完全内部化。算法侧以 P3O 为核心，把标准的 RLHF 改造成比较式强化学习，并通过 TPO 把偏好优化从输出层扩展到内部推理过程。方法上反复出现的两个技术支点是 Bradley-Terry loss 训练的奖励模型，以及基于偏好的迭代训练。换句话说，论文给出的是一条从外部数据到自博弈、从输出偏好到思维偏好的连续路径。

数据侧最直接的结论是，AI 生成的偏好数据能够达到 state-of-the-art 的对齐效果，这一结论由 Nectar 数据集与 Starling 奖励模型支撑。Meta-Rewarding 则更进一步：模型自己产出候选、自己充当裁判，再设一层元评判来校准裁判本身，监督信号不再依赖外部标注者。作者把这条路径概括为从昂贵的人工标注，到外部 AI 教师，再到自主 self-play 的三段式演进，并称其能在维持甚至超过原有性能的同时消除传统的数据瓶颈。贯穿其中的关键洞见是，比较式反馈，也就是 K-wise 排序和成对判断，比绝对打分更可靠。

算法侧的起点是一个具体的不一致：用 Bradley-Terry loss 训练的奖励模型对奖励的常数平移保持不变，而 PPO 会受这个平移影响，训练因此变得不稳定。作者用 reward equivalence 把这一现象形式化，随后提出 P3O，直接做比较式强化学习，而不是去优化绝对奖励值，从而正确提取比较信号，得到更优的 KL-reward frontier。TPO 把同一套偏好优化思路从输出搬到内部推理，结果显示思考过程对创意写作、健康建议、市场营销等类别的通用指令跟随都有帮助，而不只限于数学任务。这意味着“思考”在这套框架里不再只是推理任务的专属技巧，而是一种可以推广的后训练手段。

这四个工作并非并列，作者明确说明它们互相咬合：Starling 的 K-wise 排序技术影响了 Meta-Rewarding 的裁判设计，Meta-Rewarding 的自博弈原则延伸到 TPO 的思维生成，P3O 则把所有这些方法背后的比较式反馈形式化，四者都依赖迭代训练和基于偏好的优化。对实践者来说，这意味着后训练的数据管线可以逐步降低对人工标注的依赖，但算法层必须专门处理奖励的等价类问题，否则偏好信号会被绝对奖励的偏移吃掉。论文把目标指向无需人工标注、也不受算法不稳定性困扰的自主模型改进，即更自主的 AI 系统。

关心 RLHF 工程实现的人、正在搭建偏好数据管线的人，以及研究自博弈与自我改进的人，都能从中拿到可用的东西：一套把数据合成与算法稳健性绑在一起的问题分解方式，以及 P3O 对 PPO 失效原因给出的那个形式化解释。需要提醒的是，这份材料呈现的是论文摘要层面的论证结构，具体实验设置、基线对比和量化指标并未在其中展开，因此无法据此判断各方法在不同模型规模上的实际增益。作者给出的结论是定性的——“维持或超过性能”“更优的 KL-reward frontier”——要验证这些说法，还得回到论文正文。

LLM Post-Training: Data Synthesis and Algorithms By Tianhao Wu A dissertation submitted in partial satisfaction of the requirements for the degree of Doctor of Philosophy in Engineering - Electrical Engineering and Computer Sciences in the Graduate Division of the University of California, Berkeley Committee in charge: Professor Jiantao Jiao, Chair Professor Kannan Ramchandran Professor David Wagner Fall 2025 LLM Post-Training: Data Synthesis and Algorithms Copyright 2025 by Tianhao Wu