Skip to content

KuangjuX’s Notes

Main Navigation 首页论文项目基础全部目录学习路线

外观

Sidebar Navigation

开始阅读

知识地图

全部笔记目录

LLM 学习路线

论文

历史 issue 笔记归档与来源清单

个人外部文章、全文归档与分篇笔记

Attention

已下载 PDF 与标签目录

PageWeaver

PageWeaver：在线 Query 分组与共享 KV 的稀疏 Attention

PageWeaver: KV-Guided Query Unions for Sparse Attention：阅读材料

DeepSeek Sparse Attention

DeepSeek Sparse Attention (DSA) 算法流程

DeepSeek-V3.2 与 DSA：年度总结摘记

DoSA

DoSA：用安全上界减少 Indexer 的完整打分

DoSA: Dots Sparse Attention：阅读材料

FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling：阅读材料

IndexCache：跨层复用稀疏索引，以及它为什么能被训练

MiniMax Sparse Attention

MiniMax Sparse Attention：论文算法与代码实现精确对应

MSA 中的 KL 对齐与局部知识蒸馏

MSA 为什么采用 KV-outer Sparse Attention Forward

MSA Indexer 与 DSA Lightning Indexer 的差别

MiniMax Sparse Attention (MSA)

Fast Transformer Decoding: One Write-Head is All You Need

A Survey of Efficient Attention Methods: Hardware-efficient, Sparse, Compact, and Linear Attention

Attention is all you need：历史笔记

FLASHATTENTION: Fast and Memory-Efficient Exact Attention with IO-Awareness：历史笔记

Kimi Linear：状态更新与混合注意力

GPU 编译与性能

已下载 PDF 与标签目录

编译器

寄存器分配

HIDA: A Hierarchical Dataflow Compiler for High-Level Synthesis

Papers

MLIR: Scaling Compiler Infrastructure for Domain Specifific Computation

The Deep Learning Compiler: A Comprehensive Survey

TIRAMISU: A Polyhedral Compiler for Expressing Fast and Portable Code

Rammer: Enabling Holistic Deep Learning Compiler Optimizations with rTasks

Roller: Fast and Efficient Tensor Compilation for Deep Learning

Welder: Scheduling Deep Learning Memory Access via Tile-graph

Cocktailer: Analyzing and Optimizing Dynamic Control Flow in Deep Learning

AStitch: Enabling a New Multi-dimensional Optimization Space for Memory-Intensive ML Training and Inference on Modern SIMT Architectures

Graphene: An IR for Optimized Tensor Computations on GPUs

BOLT: BRIDGING THE GAP BETWEEN AUTO-TUNERS AND HARDWARE-NATIVE PERFORMANCE

Chimera: An Analytical Optimizing Framework for Effective Compute-intensive Operators Fusion

AMOS: Enabling Automatic Mapping for Tensor Computations On Spatial Accelerators with Hardware Abstraction

Tawa：用异步引用自动生成 warp specialization

CuTe Layouts

Categorical Foundations for CuTe Layouts：中文全文译文与原图

全文逐句校对记录与原文疑点

扉页、摘要与目录

第 1 章：引言

第 2 章：布局及其代数

2.1.4 平坦合并

2.2 嵌套元组

2.3 布局

第 3 章：布局的范畴

3.1.5 元组态射上的运算

3.2 Nest 范畴

3.2.6 嵌套元组态射上的运算

第 4 章：计算

附录 A：范畴入门

Event Tensor：用“事件张量”编译动态 Megakernel

Kernel 自动生成

AVO: Agentic Variation Operators for Autonomous Evolutionary Search

CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

Mirage Persistent Kernel：任务图与持久化运行时

Look Ma, No Bubbles!：Llama-1B Megakernel 阅读摘记

推理与 KV Cache

已下载 PDF 与标签目录

Dual Chunk Attention

HiSparse：稀疏注意力的分层 KV Cache 管理

A Survey of LLM Inference Systems

Microsecond-scale Preemption for Concurrent GPU-accelerated DNN Inferences：未完成摘记

分布式训练与 MoE

已下载 PDF 与标签目录

MegaMoE：把 MoE 前向路径压进一个通信计算融合核

PithTrain: A Compact and Agent-Native MoE Training System

PockEngine: Sparse and Efficient Fine-tuning in a Pocket：历史笔记

Seer：同步 RL 的 rollout 切分、调度与分组投机

SonicMoE：梯度重排、异步 IO 与 tile 感知路由

模型架构与推理能力

已下载 PDF 与标签目录

Agent 系统

SkVM: Revisiting Language VM for Skills across Heterogenous LLMs and Harnesses

DeepSeek-V4: 迈向高效百万级上下文智能

Distilling the Knowledge in a Neural Network

计算基础

已下载 PDF 与标签目录

操作系统论文

The Deminkernel Datapath OS Architecture for Microsecond-scale Datacenter Systems

RedLeaf: Isolation and Communication in a Safe Operating System

Unikraft

Unikraft: Fast, Specialized Unikernels the Easy Way：历史来源与本地笔记

Unikraft：模块化 library OS 与专用内核

虚拟化

HyperBench: A Benchmark Suite for Virtualization Capabilities

Security and Performance in the Delegated User-level Virtualization

Honeycomb: Secure and Efficient GPU Executions via Static Validation

Nephele: Extending Virtualization Environments for Cloning Unikernel-based VMs

A Loop Transformation Theory and an Algorithm to Maximize Parallelism：未完成摘记

量化

已下载 PDF 与标签目录

项目

推理与 KV Cache

SGLang

Layers

sglang DualChunk FlashAttention backend

sglang FlashAttention backend

WeLM Sparse Attention 推理学习

DSA 前向路径：Indexer、块选择与分页 Attention

GQA 稀疏 Attention：共享 Selection 与计算形状

HiCache：Indexer-K、Host 内存与页面恢复

Mooncake：GPU-source 传输取消与资源回收

PD 分离与缓存传输

Mooncake：GPU-source 传输取消与资源回收

Light-DuoAttention：CuTeDSL 与 SGLang 实践

TileRT：面向低延迟推理的 tile 运行时

分布式训练与 MoE

PithTrain 代码解读与训练系统学习路线

DeepEP

DeepEP：年度总结中的计算通信重叠摘记

NVSHMEM 与 DeepEP-like Buffer：初始化与内存模型

GPU 编译与性能

FractalTensor

FractalTensor 笔记

InfiniTensor

Infinitensor 源码阅读

nnfusion 源码阅读

ThunderKittens

TK Tile

计算基础

arceos

Arceos irq 分析

smoltcp

ArceOS：从 feature 配置到 unikernel 启动

qemu

bootlinux

QEMU

Virtio

xv6-riscv

xv6-riscv 中的 KPTI 机制

xv6-riscv 设备

xv6-rust

动态内存分配

启动

环境配置

GDB调试

中断

锁

进程与线程

调度

虚拟内存

xv6 文件系统手册和代码阅读笔记

xv6-rust-design

基础

Attention

FlashAttention 笔记

Flash-Decoding for long-context inference

Linear Attention

Multi-head Latent Attention

Sparse Attention

attention-sinks

Attention Sink、Learnable Sink 与 dsink：从输出含义到反向梯度

[译] 用 60 幅图从零构建 FlashAttention-4

推理与 KV Cache

推理的计算、访存与复用成本

分布式训练与 MoE

MoE

MoE：路由、Grouped GEMM、梯度与计算成本

MoE 数学与 SonicMoE：知乎原文归档

序列并行

Ring Attention、Ulysses 与在线归一化

GPU 编译与性能

CUDA

CUDA 内存与同步

GPU 内存池：空间管理与异步生命周期

GPU 执行、编译与排错

GEMM Pipeline 技术

Tensor Core 笔记

代码生成设计提案

Cute

Memory

Memory Coalescing

swizzle

向量化内存访问

wmma

Warp-Level Primitives

GPU 算子

RMSNorm、Softmax 与在线归约

Scatter 算子

[译] tcgen05 入门：从零实现 B200 GEMM

模型架构与推理能力

Transformer

学习路线

LLM Training, Inference & Algorithms — Recommended Reading Path

神经网络

优化方法

Adam 论文前置学习路线

2025 年度 LLM 研究总结：知乎原文归档

计算基础

计算机体系结构

Instruction Level Parallelism(ILP) and Its Exploitation

RISC V

RISC -V Interrupt

RISC V Compressed

RISC -V N 扩展

RISC -V H 扩展

RISC-V IOMMU

SBI

TLB MMU

超标量处理器概览

Cache

编译原理

寄存器分配

编程语言

C++

C++ 对象、生命周期与并发

Rust

迭代器

Rust 智能指针

Rust trait

系统

MIT 6.S081 课程实验

Copy on Write Fork

Lazy Page Allocation

Networking

User Level Threads

MIT 6.824 分布式系统实验

Lab-2A Leader Election

Lab-1 MapReduce

xv6-rust 项目

动态内存分配

启动

环境配置

GDB调试

中断

锁

进程与线程

调度

虚拟内存

xv6 文件系统手册和代码阅读笔记

xv6-rust-design

传输层

Arceos irq 分析

smoltcp

OS

虚拟化和云

FAT文件系统知识概览

文件系统

iouring 阅读笔记

内存管理

模块化内核

多核

The Deminkernel Datapath OS Architecture for Microsecond-scale Datacenter Systems

RedLeaf: Isolation and Communication in a Safe Operating System

xv6-riscv 中的 KPTI 机制

xv6-riscv 设备

Security and Performance in the Delegated User-level Virtualization

Honeycomb: Secure and Efficient GPU Executions via Static Validation

虚拟化

虚拟化硬件加速器调研

Virtualizing I/O

Virtualizing Memory

QEMU/KVM

Unikernel、Unikraft 与 ArceOS：知乎原文归档

Nephele: Extending Virtualization Environments for Cloning Unikernel-based VMs

HyperBench: A Benchmark Suite for Virtualization Capabilities

bootlinux

QEMU

Virtio

教材与技术参考

AI Infra 面试基础：Notion 总结归档

教材阅读

Superscalar

超标量处理器概览

Cache

课程笔记

算法

Divide and Conquer

Introduction

CMU 15-418 并行计算

CUDA

现代多核处理器

并行编程

CMU 15-445 数据库系统

并发控制

深度学习系统

Deep Learning System -- Introduction

神经网络反向传播：理论与数学推导

MIT 6.824 分布式系统

Lab-2A Leader Election

Lab-1 MapReduce

MIT 6.S081 操作系统

Copy on Write Fork

Lazy Page Allocation

Networking

User Level Threads

机器学习编译

张量程序抽象

数学基础

[译] 深度学习所需的矩阵微积分

Adam 优化器前置知识

CuTe Layouts：范畴基础

Categorical Foundations for CuTe Layouts：中文全文译文与原图

全文逐句校对记录与原文疑点

扉页、摘要与目录

第 1 章：引言

第 2 章：布局及其代数

2.1.4 平坦合并

2.2 嵌套元组

2.3 布局

第 3 章：布局的范畴

3.1.5 元组态射上的运算

3.2 Nest 范畴

3.2.6 嵌套元组态射上的运算

第 4 章：计算

附录 A：范畴入门

工具与环境

Docker

riscv-gnu-toolchain

Verilator 学习笔记

Visual Studio Code

量化

FP32、FP16、BF16 与混合精度

FP8 Current Scaling：量化、缩放与精度边界

本页目录

推理与 KV Cache · 基础

基础总览 · 相关论文

阅读入口

推理的计算、访存与复用成本

在 GitHub 上编辑此页

最后更新:

Pager

上一篇[译] 用 60 幅图从零构建 FlashAttention-4

下一篇推理的计算、访存与复用成本

记录原理、连接知识、积累实践。

Copyright © KuangjuX