语言模型的推理时学习算法

这份 MIT 博士论文围绕一个核心问题展开：现代语言模型能够通过 in-context learning（ICL）仅凭输入中的示例适应任务，而不更新任何参数；但这种适应何时有效、背后是什么算法、怎样改进，仍缺少系统回答。材料把这三个问题作为论文起点，并把 ICL 的机制、局限与测试时适应方法放在同一条研究线索上。对关心语言模型“为什么能从上下文里学会任务”的读者，它的价值在于不只报告现象，还尝试用模型问题、理论分析和架构改进去解释和提升。这意味着它讨论的是推理阶段的学习能力，而不是预训练数据或参数规模本身。

覆盖范围从评估预训练 LM 的 ICL 能力开始，延伸到组合泛化、反事实任务表现、线性函数与概率形式语言等“model problems”，再进入算法解释和增强方法。方法上，材料提到用少样本示例评估预训练模型，构造需要模型在上下文中学习新数学结构的测试，并用理论证明与电路分析解释 Transformer 的行为。数据来源在给定材料中没有展开为具体基准清单或规模，只能确认论文在语言建模与推理的多样基准上讨论测试时适应。换句话说，这份资料更适合看研究框架和论证路径，而不是查找某一组实验数字。

关键发现之一是关于能力边界：材料指出，预训练 LM 在获得少样本示例时能表现出较强的组合泛化；但在面对它们原本表现良好的任务的反事实变体时，性能会显著下降。这个对照说明 ICL 并不是无条件稳健的适应机制，模型可能依赖示例中的某些规律，而这些规律在反事实版本中被改变。另一个发现来自“model problems”：论文用线性函数和概率形式语言等新数学结构测试 LM 能否在上下文中学习，把 ICL 从常见任务迁移到更可控的算法场景。这里的判断是解读：这些设计意在把“会不会”拆成可分析的机制问题。

在机制解释上，材料给出两条具体线索。其一，论文证明容量足够的 Transformer 可以执行线性回归问题的迭代解和闭式解，并说明这些理论解会表现为可解释的中间变量。其二，论文揭示 LM 会发展出专门电路，对概率语言实现近似的 n-gram 学习算法。基于这些洞察，论文提出两种增强思路：把 n-gram 计算显式加入模型架构，以及在输入数据上做梯度更新实现 test-time training。材料称后者在抽象推理任务上相对标准 few-shot learning 有显著改进，但未给出具体提升幅度。这意味着论文的贡献既是解释性的，也是方法性的。

这些结论的实践含义在于，ICL 的可靠性需要从“示例是否足够”转向“模型在上下文中执行了什么算法”。如果模型依赖近似 n-gram 或可识别的中间计算，那么架构设计可以显式引入相应计算；如果任务需要快速适应，test-time training 提供了一条不依赖参数重训、而是在输入数据上做梯度更新的路径。换个角度说，论文把测试时适应视为可以工程化的对象，而不是只靠提示技巧。对构建推理系统的人来说，这提示要同时评估组合泛化与反事实鲁棒性，并把上下文学习失败当作机制线索。

适合读这份资料的人，是关心 ICL 机制、Transformer 算法解释、测试时适应和推理基准的研究者与工程师；读完可以拿走一个较完整的问题框架：如何评估 ICL、如何用受控任务探测算法、如何把解释转化为架构与训练方法。边界也需要说明：给定材料主要提供摘要与论文前部信息，没有列出具体基准名称、实验规模、提升数值，也没有展开论文自述的局限；因此它不能替代对全文实验细节的核查。若需要复现或比较方法，仍应回到论文正文。

Inference-Time Learning Algorithms of Language Models by Ekin Akyürek B.S. Electrical and Electronics Engineering, Koç University, 2019 B.S. Physics, Koç University, 2019 M.S. Massachusetts Institute of Technology, 2021 Submitted to the Department of Electrical Engineering and Computer Science in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2025 © 2025 Ekin Akyürek. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Ekin Akyürek Department of Electrical Engineering and Computer Science March 24, 2025 Certified by: Jacob Andreas