语言模型的泛化：机制、评估与适应

这份博士论文处理的是一个很实际的问题：大模型在精心整理的训练分布上表现很好，一旦测试分布偏离，性能就会下滑。作者把这类现象统一归入 covariate shift（协变量偏移）的框架下，涵盖跨语言性能退化、对格式变化的脆弱性，以及在反事实推理上的失败。论文的核心主张是，稳健泛化的关键在于预训练阶段学到的表示空间质量。这个视角值得关注，因为它把几种看似无关的失败模式放进同一个解释框架，而不是各自当作孤立缺陷来修补。

论文提交于 MIT 电气工程与计算机科学系，导师为 Yoon Kim，答辩委员会还包括 Jacob Andreas 与 Sewon Min。作者 Zhaofeng Wu 在华盛顿大学取得两个学士学位和一个硕士学位，并在 MIT 取得 S.M. 学位。研究覆盖的范围相当宽：语言之间的迁移、模态之间的迁移、代码任务在不同编程语言间的迁移，以及模型在反事实世界模型下的推理表现。方法上以实证评估为主，辅以表示层面的分析，最后落到算法层面的改造。换句话说，它既做诊断，也给出干预手段。

第一个关键概念是「语义枢纽」（semantic hub）。作者认为语言模型在预训练中隐式形成了一种表示策略，把来自不同数据类型、但结构同构的输入，例如不同语言或不同模态，投影到一个共享的、以功能为中心的潜空间里。当这个枢纽运作良好时，后训练阶段获得的能力可以做零样本迁移，覆盖到训练时没见过的输入协变量上。这是论文给出的机制性解释，也是后续所有评估的出发点。

但评估结果说明这种迁移相当脆弱，尤其在输入协变量落入表示空间的低资源区域时。论文报告了三类具体发现：奖励模型在表层格式扰动下会系统性退化；在代码领域，高资源编程语言上学到的任务能力无法令人满意地迁移到低资源语言；通过反事实评估，作者还暴露出一个更根本的限制——当明确要求模型在与其预训练先验相矛盾的反事实世界模型下工作时，模型难以忠实完成许多任务。值得注意的是，这三点都指向同一个方向：能力存在，但绑定在特定的输入表层形式上。

针对这些脆弱性，论文提出了一系列算法层面的适应手段。一类做法是用合成数据填补训练分布中的空隙；另一类是让同构输入的表示相互对齐，既可以借助结构化训练数据隐式实现，也可以用正则化显式约束。这意味着论文的贡献不止于指出问题：它试图把「泛化」从一个只能被动测量的指标，变成可以通过数据构造和表示约束主动施加影响的对象。

对实践者来说，最直接的启示是：在分布内测得的性能不足以预测部署表现，格式变化、语言切换和反事实提问都可能触发性能下降，而这些下降有共同的表示层根源。因此，评估设计应当主动构造协变量偏移，而不是只依赖同分布测试集。另一个启示与奖励模型有关：如果奖励信号对表层格式敏感，基于它做的对齐工作就可能被这种敏感性带偏。解读一下，这篇论文的价值在于提供了一个统一的诊断语言，使得跨语言、跨模态、跨格式的问题可以被放在一起讨论。

这份资料适合研究语言模型泛化机制、做多语言或多模态迁移、以及关心评估方法的研究者与工程师阅读。读完可以拿走的是一套问题框架——把失败模式理解为协变量偏移、把泛化能力追溯到预训练表示空间，以及若干可操作的干预方向。需要说明边界：以上结论来自论文自身的实证评估，覆盖的是作者选定的任务与数据；材料中没有给出具体的量化数字，因此无法判断各项退化幅度的大小，也无法确认这些方法在更大规模模型上是否同样成立。

Generalization in Language Models: Mechanism, Evaluation, and Adaptation by Zhaofeng Wu B.S., University of Washington, 2019 B.A., University of Washington, 2019 M.S., University of Washington, 2021 S.M., Massachusetts Institute of Technology, 2026 Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2026 ©2026 Zhaofeng Wu. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Zhaofeng Wu Department of Electrical Engineering and Computer Science May 15, 2026 Certified by: Yoon Kim