Skip to content

DSA Sparse Attention:Kernel 实现与公开性能 ​

DSA Kernel Design ​

DeepSeek-V3.2 的 DSA 为每个 query 选择 2048 个 KV tokens,所有 query heads 共用这份索引和 MLA latent KV。算法笔记

FlashMLA 的 Hopper(SM90)sparse prefill 在提交 ba89a34 中采用以下实现:

  1. 沿 head 维组织 WGMMA tile。 每个 CTA 处理同一个 query 的 64 个 heads,每轮逻辑计算取 64 个入选 KV tokens;2048 个入选 token 共分成 32 个 KV tiles。tile 的两轴分别是 heads 和入选 KV tokens。分块配置
  2. 按 token 索引异步加载 KV。 Producer warpgroup 读取索引,以 8 个线程协作读取 token 内连续的特征片段,通过 cp.async 搬入 shared memory。入选 token 的原序列地址可以不连续,加载后的 KV tile 供 64 个 heads 复用。加载实现
  3. 双缓冲与 warpgroup 分工。 Producer 使用两份 KV buffer;计算 warpgroups 执行 WGMMA、online softmax 和 PV,与后继 KV 的加载交叠。主循环
  4. 在 kernel 内完成归一化与累加。 Online softmax 跨 KV tiles 更新最大值、归一化分母和输出,最终在全部入选 token 上归一化,不向显存写回完整的 attention scores/probabilities。归一化实现

DSA query 切片与 tokenwise gather

DSA CTA 内的硬件映射与缓冲区复用

图:Hopper sparse prefill 的逻辑 tile 与 CTA 分工(自绘,draw.io 源文件)。(a) 每张 Q 薄片对应一个 query 的 64 个 heads。(b) WG0/WG1 分别对偶数/奇数 KV tile 做 QK 与 softmax,通过 SMEM 交换概率 tile 与最大值,分别累加输出的前/后 256 维;WG2 按特征区域的 ready/free barrier 加载和复用 KV buffer。(b) 的时间轴按源码依赖展开相邻两轮,WGMMA 条表示发射到对应 wait 的异步区间;条宽不代表实测耗时。实现依据:FlashMLA ba89a34。

公开性能数据 ​

以下为 FlashMLA 官方报告的 sparse attention 算子吞吐。

GPU / 路径KV 存储 / MMA 精度吞吐公开测试条件来源
H800 SXM5 prefillBF16 / BF16最高 640 TFLOPSCUDA 12.8;峰值对应的完整 shape 未给出README
H800 SXM5 decodeFP8 latent、BF16 RoPE / BF16410 TFLOPSbatch=128、heads=128、query length=2、Top-k=2048、QK 维度=576、V 维度=512;CUDA 12.8技术说明、README
B200 prefillBF16 / BF16最高 1450 TFLOPSCUDA 12.9;峰值对应的完整 shape 未给出README
B200 decodeFP8 KV / BF16最高 700 TFLOPS峰值对应的完整 shape 和具体 CUDA 版本未给出README

上述来源未报告模型端到端 MFU。

记录原理、连接知识、积累实践。