用代码结构感知方法推进代码大语言模型

代码大语言模型在补全、修复、代码翻译等任务上进展很快，但一个常被绕过的前提是：多数模型仍把代码当作普通文本序列来处理，编程语言自身的结构模式——语法层次、嵌套关系、API 调用的组织方式——并没有被显式建模。这份加州大学伯克利分校的博士论文（作者 Linyuan Gong，导师 Alvin Cheung）要回答的正是这个问题：如果把代码结构显式地纳入模型的设计、训练与评测，能不能实质性地提升能力，又该用什么方法实现。作者在摘要中给出的立场很明确——显式结构建模能显著增强 LLM 的编码能力。对今天做代码模型的人而言，这意味着除了堆参数和堆数据之外，还有一条围绕“结构”的改进路径值得认真对待（这是解读）。

从覆盖范围看，这份工作横跨三个层面：转译框架、评测基准、预训练策略，对应四项具体成果——ADELT 转译器、SAFIM 基准、AST-T5 与 AST-FIM 两种预训练范式。它的做法是系统性地结合构建系统、构建基准和开展预训练实验，并没有停留在对现象的分析上；同时在任务维度上覆盖了代码的生成、理解与变换三类能力，这使得各部分的结论可以互相印证。评测方面的规模可以量化：SAFIM 一共评测了 15 个 LLM。

第一项成果 ADELT 是一个转译器，其设计要点是把“代码结构转换”与“API 关键词翻译”解耦，让两件事分开处理。材料给出的结果是：ADELT 在没有平行数据的情况下达到了 state-of-the-art 的转译效果。作者用这个结果来论证结构感知的重要性——换句话说，即便缺少成对的翻译语料，只要把结构层面的转换单独处理好，转译质量依然能立住（这是解读）。

第二项成果 SAFIM 是一个面向语法感知 FIM（fill-in-the-middle）任务的基准。基于对 15 个模型的评测，作者挑战了“模型越大效果越好”这一流行假设，指出预训练策略与数据质量比模型规模更重要，并把 SAFIM 定位为后续研究的基础工具。在此之上，论文提出两种结构感知的预训练范式：AST-T5 把抽象语法树（AST）引入 T5 类编码器-解码器模型，在代码修复与转译任务上优于基线；AST-FIM 面向 decoder-only 架构，用 AST 引导的掩码来缓解 FIM 与从左到右（L2R）生成之间的取舍，在 infilling 任务上超过传统方法，同时保留了 L2R 生成能力。

把这些结论放在一起，可以看出一个较为完整的判断：代码结构感知同时作用于模型的生成、理解与变换能力，并非只在某一个任务上带来局部收益。对实践者来说，有两点比较直接的影响。第一，评测代码模型时只看规模与通用榜单可能失真，应当补充语法感知的任务（如 SAFIM 这类 FIM 变体），否则容易高估大模型的结构理解力。第二，在预训练阶段引入结构信号（AST 注入或 AST 引导掩码）是可行的手段，且对 decoder-only 架构同样适用——这对需要同时支持 IDE 内填空与常规续写的产品形态尤其相关，因为 FIM 与 L2R 的取舍正是这类场景的日常难题（这一层联系属于解读）。

这份资料适合已经在大语言模型或代码智能方向工作、想了解“结构感知”这条技术路线全貌的读者，包括做代码模型预训练与后训练的研究者、设计代码补全与转译系统的工程师。读完能获得的是这条研究路线的整体框架：从转译（ADELT）、评测（SAFIM）到预训练（AST-T5、AST-FIM）三个环节各自解决什么问题、彼此如何衔接，以及作者提炼出的“把代码结构集成进 LLM”的路线图。需要说明边界：现有材料是论文摘要层面的内容，结论多以“state-of-the-art”“优于基线”“超过传统方法”这类相对表述给出，没有具体的性能数字、模型规模、数据集构成与消融结果；且这些结论是在转译、语法感知 FIM、代码修复等特定任务上得出的，不宜直接外推为对所有代码任务的普遍结论。要判断方法在自身场景中是否成立，仍需回到论文正文核对实验设置。

Advancing Large Language Models for Code Using Code- Structure-Aware Methods Linyuan Gong Alvin Cheung, Ed. Dawn Song, Ed. Sida Wang, Ed. Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2025-50 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2025/EECS-2025-50.html May 13, 2025 Copyright © 2025, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.