推进语言模型的推理能力并超越文本
OriginalAdvancing Language Models for Reasoning and Beyond Text
However, two fundamental challenges remain: current training paradigms still struggle with complex multi-step and long-context reasoning, and language modeling remains difficult to effectively extend beyond text to other modalities and domains.
- 发布时间
- 2026-05
内容介绍
现代语言模型在自然语言处理上已经取得相当的成功，并越来越多地充当生成式建模的基础。但论文指出仍有两个根本性难题：现有训练范式在复杂多步推理和长上下文推理上依然吃力，而语言建模要有效扩展到文本之外的模态与领域也并不容易。这份 MIT 博士论文把这两个问题放进同一个研究框架里处理，而不是当作两件互不相干的事。对关心推理训练怎么做、语言模型怎么走出文本的人来说，它提供的是一条把两者串起来的线索。
覆盖面是两部分、四项工作。第一部分针对训练范式，提出 RL Tango 与 RLKV 两个方法，指向多步推理与长上下文推理这两个具体瓶颈。第二部分转向连续与高维数据的 tokenization，提出 B2B 与 TexTok，把语言建模搬到新的模态上。论文由 Dina Katabi 指导，Aude Oliva 与 Kaiming He 担任读者。需要说明的是，材料给出的是各方法的设计思路与定位，而非实验设置、基线或性能数字。
RL Tango 是一个协同进化的强化学习框架，让策略模型与评判者（judge）一起训练，通过过程级监督来改进多步推理。这里的“过程级”意味着监督落在推理的中间步骤上，而不只是最终答案；评判者与策略共同演化，则意味着评分标准本身也在随模型一起变化。RLKV 处理的是长上下文：它把强化学习的采样空间从回答扩展到上下文，通过 KV 采样让模型自适应地处理和压缩长输入。换句话说，长输入不再只是被动读入的负担，而成为可以被采样、筛选和压缩的对象。
第二部分的关键词是 tokenization。B2B 是一个以波形为条件的生成框架，把生理时间序列当作一种被 token 化的语言来建模，具体任务是由夜间呼吸信号翻译出睡眠脑电（EEG），在连续信号与离散 token 表示之间搭桥。TexTok 则是语言引导的图像 token 化框架，把文本描述中的语义信息带进 token 化过程，使图像生成所用的表示更高效、更有表现力。两项工作背后有一个共同的判断：要走出文本，先把“怎么切成 token”这件事做对。
合起来看，这条路线把语言模型的进展拆成两个可操作的杠杆：一是训练范式，二是表示方式。前者决定模型能否在推理链条上获得足够细的反馈，后者决定模型能否接纳文本之外的数据形式。解读一下：过程级监督、把采样扩展到上下文空间、用语义引导 token 化，都是可以单独借鉴到其他系统里的设计选择，而不必绑定在某个具体模型上。论文最终把这些工作收束到“更通用的序列建模系统”这一目标之下。
适合读的人是做强化学习训练、长上下文处理以及多模态生成与 tokenization 的研究者和工程师，尤其是同时被“推理能力上不去”和“文本之外接不进来”两件事卡住的人。读完能拿走的是一套问题切分方式和四个方法的设计动机，而不是可以直接复现的实验结论：材料中没有给出数据集、对比基线或任何性能数字，因此各方法的实际收益、适用边界与失效情形都无法从这份摘要判断，需要回到论文正文核对。这也意味着，把它当作一张研究地图而非结果清单来读，更符合材料本身的信息量。
原文摘录
自动提取自 PDFAdvancing Language Models for Reasoning and Beyond Text by Kaiwen Zha B.Eng., Shanghai Jiao Tong University (2020) S.M., Massachusetts Institute of Technology (2022) Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2026 ©2026 Kaiwen Zha. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Kaiwen Zha Department of Electrical Engineering and Computer Science May 15, 2026 Certified by: Dina Katabi Professor of Electrical Engineering and Computer Science Thesis Supervisor