检索增强生成（RAG）综述相关：Agentic RAG等前沿

长上下文已经是现代大模型的常态配置，材料里提到 128K 的上下文窗口，但自注意力的二次复杂度和保存整个序列 KV cache 所需的显存，让「能读多长」和「读得起多长」变成两件事。这份资料要回答的正是这个落差：能否把长输入压成更短的表示，让生成仍然建立在足够完整的信息之上，同时把推理计算和显存开销降下来。材料把长上下文压缩称为一个关键研究问题，理由很直接——计算和内存成本都随上下文长度增长。对正在做长文档理解、长内容生成或长期记忆与推理的人来说，这个问题的现实感来自账单和延迟，而不只是评测分数。

材料收录的论文提出一个叫 Activation Beacon 的插件式模块，挂在 transformer 类 LLM 上，目标是有实效、高效且灵活地压缩长上下文。方法上有四个设计：直接压缩每一层的 activations，也就是 keys 和 values，而不是用 soft prompt 转发信息；把压缩流程做成渐进式，每个细粒度输入单元依次被压缩；用基于压缩的自回归目标训练，让模型学会在压缩后的上下文条件下生成；训练时每一步随机采样一个压缩比，使模型支持较宽的压缩配置范围。训练数据是 1B 的纯文本语料加 30K 微调样本，最大上下文长度 20K，材料称这一规模可以较快完成训练。实验把该模块应用到 Llama-2 和 Qwen-2 上。

材料对既有做法的不满相当具体：把上下文总结成少量 soft token，会成为封装长上下文复杂信息的瓶颈；「一次性」压缩缺少对细节的细粒度处理；soft token 在生成前必须重新编码，训练和推理效率都不理想；固定数量的 soft token 让压缩比难以按下游任务定制；而靠删除不重要 token 的方法要依赖输入问题判断重要性，在多轮场景里效率受限。Activation Beacon 的应对是引入一个特殊 token，记作 ⟨b⟩，把上下文蒸馏进 beacon token 在各层的 activations。长上下文被切成等大的 chunk，每个 chunk 再按目标压缩比 α 切成细粒度单元，每个单元末尾放一个 beacon token；编码完一个 chunk 后丢弃原始 token 的 activations，只保留并累积 beacon token 的 activations 供后续 chunk 复用。所有 beacon token 共享同一个 token embedding，因此可以通过重复使用任意数量的 beacon token 来达到想要的压缩比。

结果方面，材料给出的数字不多但明确：在长度可能远超训练长度、例如 128K 的各类长上下文任务上——文档理解、few-shot learning、Needle-in-a-Haystack——Activation Beacon 在多种场景下保持了与未压缩基线相当的性能，同时推理时间加速 2 倍，KV cache 的内存成本降低 8 倍。材料特别对比了现有方法在这些任务上「难以处理」的处境，以此衬托这一结果。数据、模型和代码已在 https://github.com/FlagOpen/FlagEmbedding/ 公开。需要说明的是，材料只给出了这几个汇总数字，没有分任务的分项结果，也没有消融实验的细节。

这意味着什么。渐进式分块加 activations 缓存复用，使训练时梯度可以连续传播、推理时不必重新编码、多轮场景下还能增量更新压缩结果——这是材料自己列出的三点好处，可以看作对「为什么不做成一次性压缩」的回答。随机采样压缩比则把压缩率变成一个训练期见过、部署期可调的量；配合共享 embedding，改变压缩比只需要改变 beacon token 的数量。换句话说，这套设计把「压多少」从模型结构问题变成了推理配置问题。对实践的影响是：在显存受限、又要处理超过模型原生窗口的

Long Context Compression with Activation Beacon Peitian Zhang2∗ Zheng Liu1† Shitao Xiao1 Ninglu Shao2 Qiwei Ye1 Zhicheng Dou2 1: Beijing Academy of Artificial Intelligence, 2: Gaoling School of Artificial Intelligence, Renmin University of China {namespace.pt, zhengliu1026}@gmail.com Abstract Long context compression is a critical research problem due to its significance in reducing the high computational and memory costs associated with LLMs. In this paper, we propose Activation Beacon, a plug-in module for transformer-based LLMs that targets effective, efficient, and flexible compression of long contexts. To achieve this, our method introduces the following technical designs. 1) We directly compress the activations (i.e. keys and values at every layer), rather than leveraging soft prompts to relay information (which