Training-Free Long-Context Scaling of Large Language Models
Dual Chunk Attention(DCA)在不继续训练的情况下扩展上下文:把长序列分块,对块内、相邻块与远端块使用不同的 query 位置编码。它保留局部位置精度,以远端距离的粗化换取相对位置落在预训练范围内。Training-Free Long-Context Scaling of Large Language Models,§2–3
RoPE 的点积依赖相对位置。超过预训练长度后,模型会遇到训练中未覆盖的相对距离;问题不能简单归结为单个 token 的旋转角度“过大”。位置插值压缩所有距离,DCA 则按交互区域分别处理,尽量保留近邻关系。
Dual Chunk Attention Design
令序列长度为
| 交互区域 | 条件 | Query 位置 | 相对距离 |
|---|---|---|---|
| 块内 | |||
| 相邻前块 | 块编号相差 1 | ||
| 更早的块 | 块编号相差大于 1 |
以论文示例
- 块内保留精确距离。
与 的映射位置是 2、1,距离仍为 1。 - 相邻块修复边界局部性。
与 若都取模,距离会变成 ;若直接使用远端映射,则为 。相邻块映射让 使用位置 6,恢复距离 1。块开头使用 ,后续 query 饱和到 。 - 远端块保留方向,放弃精确距离。
与 的距离映射为 ,而真实距离为 7。更早块中相同块内位置会获得相同映射,无法区分它们究竟相隔多少块。
三种映射改变的是 attention logits 的位置语义。各区域可以分别计算,但必须按各自 softmax 分母合并输出,不能直接平均三个局部 attention 结果;论文 §3.4 与附录 A.3 说明了与 FlashAttention 的衔接。归一化与实现
例如两个区域在同一指数尺度下的指数和分别为 1、3,局部归一化输出分别为 2、4,则合并输出为
位置映射只约束外推距离,不保证任意长度和任务都保持原有质量,也不减少需要保存的历史 KV。远距离顺序信息被压缩是方法本身的代价,质量收益需要结合论文的语言建模、检索与实际任务评测判断。