Skip to content

FlashNext-RL: A System Optimization Study for Long-Horizon Agentic RL of Qwen3.8-Flash-Next ​

QSA Kernel Design ​

QSA 的主 attention 有 24 个 query heads、2 个 KV heads,每个 KV group 对应 12 个 query heads;这里的 12:1 不能与 indexer 的 4 个 query heads 混淆。Context parallelism 还会切分 query heads、复制 KV heads,因此模型头数也不能直接当作每个 rank 的局部形状。§3.2.3,p. 7

算法上,indexer 为每个 query 最多选择 512 个、每个含 4 个 key 的 micro-block。作者指出,序列超过 2,048 tokens、开始执行块选择后,直接运行 dense attention 会计算不同的函数。仅套一个较粗的 block-sparse mask 也不够:真实数据中,128 个连续 query 的访问并集已覆盖 90–94% 的因果 key tiles,能够跳过的 tile 很少。§3.2.6–3.2.7,p. 8

作者评测的 cuDNN DSA kernel 面向 DeepSeek 的 MLA 布局。适配时拼接 [K|V] 与 [Q|0],并对每个 KV group 的 12 个 query heads 补零;结果前向的 64 个 head 槽中有 52 个空槽,反向仅约 95 TFLOP/s。这是本文所测实现与形状的结果,不能推广成所有 cuDNN sparse attention 的限制。§3.2.7,pp. 8–9

GQA-native Triton 将五个连续 query 各自的 12 个 heads 展平成 60 行,放进 64-row MMA tile。它遍历五个 query 所选块的并集,共享 KV gather,再用逐 query 的 membership mask 保留各自选择的块。因此,共享加载不等于让所有 query 使用同一个 attention 集合。§3.2.7,p. 9

作者观察到,五个 query 的块并集约为单个 query 选择量的两倍,gather 流量约降至逐 query 读取的 0.41 倍。这里报告的是 gather 流量比例,不是两两重叠率或 kernel 耗时比例。§3.2.7,p. 9

**用户保留的疑问:**这种高重叠只存在于作者的训练数据,还是具有更广泛的规律?原始问题尚不能由 FlashNext-RL 本身回答:§3.2.7 没有给出跨数据集、跨层的系统性重叠统计。后文的 QUILT、ADIndex 提供相关经验依据,但不保证 QSA 始终获得 0.41。

论文明确按 key 遍历的是 dK/dV backward:以 key tile 为索引构建 CSR,并按固定顺序归约。可将 CSR 理解成反向邻接表,列出每个 key tile 被哪些 query 选择;不能由此推断整个反向都按 key 遍历。§3.2.7,p. 9

每个 key tile 都要重新读取 Q 和输出梯度 dO。作者报告在 64K 序列上,约 130 ms 的反向中,dK/dV 占 97 ms,并将其带宽瓶颈归因于这些重复读取。§3.2.7,p. 9

作者先将 Triton gather 改为 TMA 并使用三级流水线,再为 sm100 编写 CuTe-DSL kernel。下文 S 为 attention scores,P 为 softmax 概率,dS、dP 为对应梯度。最终版采用以下组织:§3.2.7,p. 9

  • **加载与分块:**CSR 每 tile 覆盖 64 个 key,每步处理五个 query 的 12 个 heads,即 60 行;cp.async 经两级环形缓冲直接 gather 到 swizzled MMA tile。64-key 是 kernel 处理粒度,算法选择粒度仍是 4-key micro-block。
  • **Warp 分工:**4 个 gather warps 搬运数据并暂存逐行元数据,4 个 compute warps 计算概率 P 和梯度 dS,另有 1 个 MMA warp 发射矩阵乘。
  • **累加器:**全部放在 tensor memory(TMEM)中,包括双缓冲的 S、dP,以及分别存放梯度矩阵转置 dVT、dKT 的两半,共占 512 列。
  • **布局复用:**MN-major 操作数直接作为已 gather 的 K-major tile 的视图,每行只 gather 一次。这里的 K-major 指 GEMM 归约维布局,不是 attention 的 key 张量名称。

MMA warp 优先发射第 i−1 步的 dV/dK 更新,再发射第 i 步的 S/dP 计算。作者说明这一顺序可以提前一个 phase 释放 gather stage。§3.2.7 未给出 barrier、phase、wait 的具体代码,缓冲区何时确认读取完成并允许覆写的同步协议尚未核查。§3.2.7,p. 9

Evaluation ​

下表来自表 7:单张 B200、单条序列、真实 layer-7 selections。前两列计每层 attention 前向+反向,最后一列只计 dK/dV kernel。§3.2.7、表 7,p. 9

实现16K 前向+反向64K 前向+反向64K dK/dV
cuDNN DSA,MLA kernel+head 补零53.7 ms219.8 ms—
GQA-native Triton33.9 ms164.5 ms97 ms
dK/dV 改为 TMA gather29.0 ms138.5 ms76.2 ms
dK/dV 改为 CuTe-DSL20.7 ms106.4 ms46.7 ms

作者报告 CuTe 相对 Triton TMA 的 dK/dV 加速为 1.63 倍;gather 与 MMA 分别单独运行时测得约 41 ms、40 ms。这两个数值是该实现的分阶段测量结果,不是 B200 的理论硬件下限。表 7 比较的是完整 kernel 版本,未单独测量 cp.async 相对 TMA 的贡献。§3.2.7、表 7,p. 9

整模型吞吐另以非 padding token/s/GPU 报告:3,412 → 3,490 → 3,642,作者标为 TMA 提升 2.4%、CuTe 再提升 4.4%。第一步百分比与所列吞吐值不完全一致,原文未解释。此外,TMA 的 dK/dV 正文写 76.5 ms、表 7 写 76.2 ms,原文也未解释这一差异。§3.2.7,p. 9

相关工作 ​

QUILT ​

QUILT: Rethinking Sparse-Attention Prefill through Shared Query Execution 优化选完 Top-K 后的 sparse attention 执行。§1、图 1 在 GLM-5.3 的 Qasper、GovReport 输入上比较不同层与 query 分组大小下的共享比例,衡量组内所有 query 共同选择的 KV 占 Top-K 的比例。作者观察到较浅层、较小分组通常共享更强,组变大时全组共同部分减少。

为利用不同粒度的共享,QUILT 采用级联处理:先全组交集,再子组交集,最后独有部分;共享 KV 加载、反量化一次,各 query 仍计算自己的 attention。SCSD 用排序、移位和比较拆分集合,并与 attention 流水重叠。§3.1–3.3

尾 tile 不满时可将条目下推到更细一级;最终独有部分还会裁掉低重要性尾部,因此完整方案含近似步骤。评测硬件为 Ascend 910C,不能作为 B200 的性能证据。§3.4、§4.1

ADIndex ​

ADIndex: Layer-Adaptive Sparse Attention Indexing via Group-Level Distillation 减少 indexer 对完整历史的重复扫描。图 1(b) 固定每 query 选择 2,048 项,在 100 条约 128K-token 序列的完整 query 组上统计每层的最大并集大小,组大小为 4、8、16。组大小 16 时,不同层为 4,486–22,688,低于无重叠上界 32,768。这不是平均重叠率。

令 Tℓ,i 为第 ℓ 层 query i 的 Top-K 集合,Gcal,G 为校准集中大小为 G 的有效 query 组。§4.1 式 (4) 统计:

Uℓ,Gmax=maxg∈Gcal,G|⋃i∈gTℓ,i|.

ADIndex 用该统计量估计校准集上的候选容量,逐层选择组大小与 bank 容量,再蒸馏 group indexer:每组扫描一次公共历史生成共享候选 bank,原 indexer 在 bank 加上当前 query 新可见 tokens 后逐 query 重打分,选最终 Top-K。§4.1–4.3

作者还测量共享 bank 对原 indexer 逐 query Top-K 选择的 coverage。图 1(c) 比较蒸馏后共享 bank 相对冻结 mean-pooling 基线的覆盖率增益;它测量实际候选包含了多少原选择,与用于容量估计的最大并集统计是不同指标。图 1(c)、附录 §8.4

记录原理、连接知识、积累实践。