人类与神经语言模型的语言理解、生成与推理

神经语言模型究竟在多大程度上复现人类的语言加工？如果两者的行为确实存在对齐，这种对齐本身又能告诉我们哪些关于认知的事情？Tiwalayo Eisape 在麻省理工学院大脑与认知科学系的博士论文，把这两个问题拆成理解、生成、推理三条线索分别检验，再合起来回答。作者的核心主张是：语言模型可以充当理解大规模自然语言使用的有效工具。换句话说，这份工作的价值在于把“模型像不像人”拆成可以逐环节检验的问题，而且每一步都要求能够反过来操纵模型，而不只是再报告一组模型分数。

论文覆盖语言加工的三个侧面：研究 1 和研究 2 处理理解，研究 3 处理实时生成，研究 4 处理推理。方法上四条线刻意保持差异：一条是把模型对齐到人类的下一词预测，一条是在模型隐藏状态中定位句法信息并施加干预，一条分析 TypeRacer.com 上 230 万次竞争性打字事件，一条系统比较人类与模型在三段论任务上的表现。数据来源因此横跨行为预测、在线平台上自然发生的打字记录，以及受控的推理题目。作者显然想用互补的方法论证同一件事，避免把结论压在单一范式上。

理解部分的两项研究给出了一组相互支撑的结果。Cloze Distillation 是一种把模型与人类下一词预测对齐的新方法，作者报告它同时改善了语言建模和阅读时间预测，并据此指出模型与人类做出的预测是不同而互补的，两者并非简单的一方模仿另一方。第二项研究提出在模型隐藏状态中识别句法信息的新方法，结果显示模型学会了隐式地表示增量句法状态。更关键的是，这些探针还能用于定向干预：操纵相应表征可以消解、也可以人为诱发暂时性的误解。在作者看来，这构成了对机制的确认，而不只是相关性层面的观察。

生成方面的证据来自一个规模少见的数据集：TypeRacer.com 上 230 万次竞争性打字事件。作者称这是首次在这一生产领域发现上下文可预测性效应，即一个词在上下文中的可预测程度会影响人实时把它打出来的方式。推理方面的对比更耐人寻味：模型在三段论推理上的准确率高于人类，但仍然复现了若干细粒度的类人错误模式，其中包括前提顺序效应。作者特别强调，这些错误模式与逻辑正确率是正交的——模型一边算得比人准，一边犯着和人相似的、与对错无关的毛病。

把四条线放在一起，作者得出的判断是：预测是理解、生成和推理共同的基本机制，人类与模型皆然。模型达成这一点靠的是统计学习，而不是某种专门的认知架构；它们常常超过人类，却又复制人类的系统性偏差。这意味着这种对齐为预测加工的理论提供了支持，也意味着语言模型可以被当作可扩展的认知实验室，用来补充传统实验。论文同时贡献了一批有心理语言学原则的方法，既用于理解模型，也用于控制模型。换个角度说，模型在这里既是研究对象，也是测量工具。

关心语言模型与人类认知如何对照的研究者，以及想用模型做心理语言学实验、又担心结论站不住的人，大概能从这份论文里拿到两样东西：一套把“像人”拆成可操作探针的思路，和一组跨理解、生成、推理的对照结果。需要留意的边界也很清楚：摘要层面给出的是收敛性的总体判断，各项研究的具体模型清单、实验规模和效应量仍需回到正文核对。打字数据全部来自 TypeRacer.com 这一个在线平台，材料没有说明它覆盖的人群特征；推理部分聚焦三段论这一形式，结论能推广到多宽的推理范围，材料本身没有交代。这些不是否定结论，而是提醒读者把它当作方法与框架的入口，而不是终点。

Language Comprehension, Production, and Reasoning in Humans and Neural Language Models by Tiwalayo Eisape B.S. Computer Science, Boston College, 2019 Submitted to the Department of Brain & Cognitive Sciences in partial fulfillment of the requirements for the degree of Doctor of Philosophy IN BRAIN & COGNITIVE SCIENCES at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2025 © 2025 Tiwalayo Eisape. This work is licensed under a CC BY-NC-ND 4.0 license. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Tiwalayo Eisape Department of Brain & Cognitive Sciences August 14, 2025 Certified by: Roger P. Levy Brain & Cognitive Sciences, Thesis Supervisor