神经语言模型与人类语言知识

语言是智能的标志之一，解释语言能力因此成为认知理论无法回避的任务；但语言研究在自然尺度上做定量实证有独特困难，很多语言学理论难以在真实语境中检验。这份资料围绕一个方法论问题展开：能否用人工神经网络语言模型（LMs）作为研究工具，在数学精确、可控且可干预的条件下考察语言习得与理解，并把模型的学习结果与人类语言知识对照。现在值得看的地方在于，LMs 已表现出相当复杂的语言行为，同时又是完全可干预的，这为把理论问题转化为可操纵的实验提供了新的可能。

这份资料是 Jennifer Hu 在 MIT 认知科学系完成的博士论文，导师为 Roger P. Levy。从摘要看，它通过三个案例研究展示上述方法，覆盖语言习得和语言理解中的开放问题：一是对语言学习做受控操纵，二是解释 scalar inference（标量推断）的系统变异，三是考察非字面理解任务中模型与人类行为的相似性。分析路径不是提出一个抽象主张就停下，而是把 LMs 当作实验对象：一方面干预学习条件、观察学习结果，另一方面用模型近似人类听者的期望，并与人类在具体理解任务上的表现对照。

第一个案例关心句法泛化从何而来。作者用 LMs 做语言学习的受控操纵，发现句法泛化更多依赖学习者的归纳偏置，而不是训练数据规模。换句话说，在这组实验里，把数据量加大并不是决定句法泛化表现的主要因素，学习器自身的先验约束更关键。这个结论对“规模越大就越接近人类语言能力”的直觉构成了直接挑战。

第二个案例讨论 scalar inference 的系统变异。作者用 LMs 近似人类听者对未说出的替代句的期望，以此解释为什么同类表达会产生不同程度的推断；材料给出的例子是，“The bill was supported overwhelmingly”暗示该法案并没有被一致支持。第三个案例则把模型和人类放在一组非字面理解任务上比较，这些任务被假设需要社会推理，例如从讽刺语句中推断说话者的意图。摘要报告两者在这些任务上表现出相似行为，并据此提出：某些语言知识可能通过领域一般的预测机制出现，而另一些方面可能需要特定的归纳偏置和概念结构。

这些结论的意义主要在方法层面。若句法泛化受归纳偏置约束而非数据规模驱动，那么单纯扩大训练数据未必能让模型获得人类式的句法泛化；对语言习得研究而言，这意味着学习器的先验和概念结构需要被更认真地纳入解释。标量推断的工作说明，LMs 可以作为近似“听者期望”的工具，帮助解释语用推理中的系统差异；非字面理解任务则提供了一个可操作的检验路径，把社会推理假设转成模型与人类的对照任务。由此看，LMs 不只是生成工具，也可作为可控的实验平台，但材料并没有给出具体的应用方案或工程建议。

从内容看，这份资料适合关注语言习得、语言理解、语用推理以及 LMs 与人类语言能力对照的读者，尤其是认知科学、心理语言学和计算语言学背景的研究者。读完可以拿走一个清晰的方法框架：用可干预的 LMs 做受控操纵，用替代句期望解释语用推断，用模型与人类行为对照检验社会推理任务；同时也能看到一个审慎的结论边界：模型的学习结果可以揭示通过统计学习可能出现的行为，但不能直接等同于人类语言知识。需要说明的是，可见材料主要是摘要和致谢，具体实验设计、数据规模、模型细节和效应量都看不到；加上 LMs 与人类在很多方面不同，三个案例覆盖的任务也有限，摘要中的结论多用“可能”“可以揭示”来表述，不宜当作对人类认知的最终证明。

Neural language models and human linguistic knowledge by Jennifer Hu B.A., Harvard University (2018) Submitted to the Department of Brain and Cognitive Sciences in partial fulfillment of the requirements for the degree of Doctor of Philosophy in Cognitive Science at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY May 2023 © 2023 Jennifer Hu. This work is licensed under a CC BY 4.0. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Author. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Department of Brain and Cognitive Sciences May 5, 2023 Certified by . . . . . . . . . . . . . . . . . . . . . .