评估大语言模型自动评阅高校学生论文的信效度

这份资料在回答一个很实际的问题：大语言模型能否在真实高等教育情境中可靠、有效地自动评阅学生论文。它把问题拆成两层：模型分数与人类评分者的一致性，以及不同模型在评分标准层面是否一致、其评分逻辑是什么。值得现在看的原因在于，论文评分长期受耗时、评分者疲劳与判断不一致困扰，LLM又被视为可能减轻大规模开放题评阅负担的工具；但“分数看起来接近”不等于“判断有效”。这份资料用真实课程论文和五个先进模型来检验这一点。

研究覆盖67篇意大利语学生论文，来自大学心理学课程，按Pertinence、Coherence、Originality、Feasibility四项标准评分。参与比较的模型是Claude 3.5、DeepSeek v2、Gemini 2.5、GPT-4和Mistral 24B。每个模型对全部论文做三次prompt replication，用来观察模型内稳定性；人机一致性用Quadratic Weighted Kappa，模型内跨复制可靠性用Kendall's W，另外还分析模型间一致性。这样的设计不只比较总分，也看标准层面的表现。

关键发现之一是人机一致性持续偏低且不显著（Quadratic Weighted Kappa）。模型内部跨三次提示复制的可靠性同样偏弱，报告中位Kendall's W小于0.30。换句话说，模型既没有稳定贴近人类专家的判断，也没有在重复评分中表现出足够稳定的一致性。正文另提到所有模型具有较高内部一致性，这与摘要给出的弱可靠性结论存在口径上的张力，读原文时需要对照具体统计方式。

第二个发现是系统性的标准偏差：模型倾向于抬高Coherence，对依赖情境的维度处理不一致。模型间一致性分析显示，Coherence和Originality有中等收敛，但Pertinence和Feasibility的一致性几乎可以忽略。DeepSeek v2的例子尤其说明问题：它总体偏差较低，却与人类判断接近零相关。这意味着总体误差小并不等于评分逻辑与人类对齐。

这些结果意味着，当前LLM在需要学科洞察和情境敏感性的开放题评分上，仍难以复现人类判断。作者明确主张，在评价开放式学术作业时人类监督仍然关键，尤其是在解释性维度上。对实践来说，若把LLM引入评分流程，就不能只看总分误差或单次运行结果，而应同时检查人机一致性和标准层面的偏差；更稳妥的定位是辅助与复核，而不是直接把模型分数当作最终成绩。

这份资料适合教育测量、AI教育应用、高校评分与教务管理的研究者阅读，也能给需要设计LLM评分验证方案的人提供一套可操作的检查清单：多模型、多标准、重复提示、人机一致性与模型间一致性并看。读完能拿走的核心不是“哪个模型最好”，而是“怎样判断一个模型是否真的能评”。边界也很清楚：样本是67篇意大利语心理学课程论文，研究范围有限，结论不宜直接外推到其他学科、语言或评分任务；原文对提示设计、评分者构成等细节的交代程度，也需要读者回到原文核对。

Assessing the Reliability and Validity of Large Language Models for Automated Assessment of Student Essays in Higher Education Andrea Gaggioli (1), Giuseppe Casaburi (2), Leonardo Ercolani (3), Francesco Collovà (4), Pietro Torre (5), Fabrizio Davide (5) (1) Research Center in Communication Psychology (PSICOM), Università Cattolica del Sacro Cuore, Milan, Italy (2) Independent Researcher, Salerno, Italy (3) Department of Advanced Computing Sciences, Maastricht University, Maastricht, Netherlands (4) Independent Researcher, Bacoli (Napoli), Italy (5) Direzione Centrale IT, Istat, Roma, Italy Abstract. This study investigates the reliability and validity of five advanced Large Language Models (LLMs)—Claude 3.5, DeepSeek v2, Gemini 2.5, GPT ‑ 4, and Mistral 24B—for automated essay scoring in a real-world higher education context. A total of Italian-language student essays, written as part