大语言模型的结构化上下文

大语言模型能做什么，很大程度上取决于你给它看什么。这篇论文开篇就给出这个判断：模型的能力与它所获得的上下文相当。它要回答的问题是，既然上下文如此关键，能不能主动去设计和编排上下文，而不是被动地接受“给什么用什么”。换句话说，上下文在这里不再是单纯的输入，而成了可以被工程化的对象。这个角度值得现在看，是因为常见的改进路线多集中在模型规模、训练数据或提示措辞上，而它问的是上下文的组织结构本身。

这是加州大学伯克利分校计算机科学专业的一篇博士论文，作者 Kevin Lin，指导委员会由 Dan Klein 教授与 Joseph E. Gonzalez 副教授共同主持，另有 Alane Suhr 与 Mohit Iyyer 参与。它并不围绕单个实验展开；它围绕“结构化上下文”这一主题提出若干具体技术，并辅以比较研究。方法上，它既给出可操作的技术设计（分解、重写、调优），也通过对比来论证这些设计的价值，属于“提出方法加论证”的组织方式。需要说明的是，手头的摘要材料没有列出数据集、实验设置或量化指标，因此下面讲的是方法与设计思路，而不是具体数字。

第一项技术是 context decomposition，即上下文分解。它的做法是把复杂的上下文拆成更简单的上下文，交给专门化的模型去处理；论文的表述是，专门化模型更有能力处理这种被简化后的上下文。这背后的直觉不难理解：与其让一个模型硬扛全部复杂度，不如把问题切开，让每一块落到更合适的处理者手上。第二项是 context rewriting，即上下文重写，面向的是对话场景——把对话中的话语重新表示成更简单的上下文。论文通过一项比较研究说明，这种重新表示能提升数据标注的效率，同时带来更好的模块化。

第三项是 context tuning，即上下文调优，指的是微调大语言模型，让它更擅长处理输入的上下文。把三项放在一起看，能看出一种递进关系：分解和重写是在使用阶段整理上下文的结构，调优则是把“处理上下文”这件事本身变成训练目标。这意味着论文的立场不是押注某一种技巧，而是把上下文当作一个有结构、可以分层处理的对象来对待。三项技术各自针对不同的困难，合起来构成一条从组织输入到让模型适应输入的线索。

这些结论对实践的意义，可以这样解读：如果上下文的结构确实能像这样被拆解、重写和适配，那么工程中的不少问题就可能从“换一个更大的模型”转向“把任务和上下文切得更合适”。模块化这一点尤其值得留意，分解与重写都指向让不同组件各自负责更窄的上下文，这既便于复用，也便于在出问题时定位是哪一段上下文没处理好。当然，这是从论文的问题设定中推出的判断，材料本身并没有给出部署层面的证据。

对做大模型应用、上下文工程以及多模型编排的读者，这份资料提供的是一套概念框架：三种处理上下文的动作，以及它们各自应对的困难。读完能拿走的，是描述“上下文如何结构化”的词汇和思路，而不是可以直接照搬的配置。边界也需要说清楚：材料中的摘要是概括性的，没有实验设置与数值结果；中文概述只覆盖了分解与重写两项，第三项 context tuning 出现在英文摘要里。要评估这些方法的实际效果，仍需回到论文正文。

Structured Contexts For Large Language Models Kevin Lin Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2024-218 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2024/EECS-2024-218.html December 18, 2024 Copyright © 2024, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.