Kimi Linear: An Expressive, Efficient Attention Architecture
Kimi Linear 用 Kimi Delta Attention(KDA)维护固定大小的状态,并以 3:1 的比例混合 KDA 与全注意力层。核心取舍是:状态压缩减少长序列的存储与计算,但有限状态中的旧信息会相互干扰,需要控制记忆的保留和更新。论文 §2–4
KDA Design
对核形式的注意力,若相似度可写成
分母非零时,该式保留了核权重的归一化。例如标量特征均为 1,两个 value 为 2、4,则
若特征宽度
DeltaNet 将状态看作关联记忆:用重构损失
这里
例如取
Hybrid Architecture
Kimi Linear 以三层 KDA 配一层全注意力,配合 MLA、NoPE 和 MoE 组件。KDA 承担大部分状态更新,全注意力层提供直接的跨位置交互;因此整个模型的缓存与复杂度不能只按 KDA 单层计算。论文 §4

架构图及原始讨论见 2025 年度 LLM 研究总结。混合比例与状态更新定义解释了设计选择,并不单独证明与全注意力在所有任务上等效。