Skip to content

KuangjuX’s Notes

Main Navigation 首页

大模型与深度学习

GPU 与高性能计算

计算机体系结构

工具与环境

课程项目论文索引学习路线

外观

Sidebar Navigation

开始阅读

知识地图

论文索引

LLM 学习路线

大模型与深度学习

大模型与深度学习

Adam 论文前置学习路线

attention sinks

Attention Sink、Learnable Sink 与 dsink：从输出含义到反向梯度

DeepSeek Sparse Attention

DeepSeek Sparse Attention (DSA) 算法流程

DeepSeek V4

DeepSeek-V4: 迈向高效百万级上下文智能

Event Tensor

Event Tensor：用“事件张量”编译动态 Megakernel

foundations

神经网络

Dual Chunk Attention

FlashAttention 笔记

Flash-Decoding for long-context inference

Linear Attention

Multi-head Latent Attention

Sparse Attention

Transformer

hisparse

HiSparse：稀疏注意力的分层 KV Cache 管理

IndexCache / IndexShare

IndexCache：跨层复用稀疏索引，以及它为什么能被训练

知识蒸馏

Distilling the Knowledge in a Neural Network

MegaMoE

MegaMoE：把 MoE 前向路径压进一个通信计算融合核

MiniMax Sparse Attention

MiniMax Sparse Attention：论文算法与代码实现精确对应

MSA 中的 KL 对齐与局部知识蒸馏

MSA 为什么采用 KV-outer Sparse Attention Forward

MSA Indexer 与 DSA Lightning Indexer 的差别

MiniMax Sparse Attention (MSA)

mqa

Fast Transformer Decoding: One Write-Head is All You Need

PithTrain

PithTrain 代码解读与训练系统学习路线

PithTrain: A Compact and Agent-Native MoE Training System

surveys

Attention

A Survey of Efficient Attention Methods: Hardware-efficient, Sparse, Compact, and Linear Attention

Inference

A Survey of LLM Inference Systems

GPU 与高性能计算

GPU 与高性能计算

CUDA

代码生成设计提案

GEMM Pipeline 技术

Tensor Core 笔记

向量化内存访问

Warp-Level Primitives

cutlass

Cute

memory

Memory Coalescing

swizzle

warp

wmma

layout

Categorical Foundations for CuTe Layouts

llm for kernel

AVO: Agentic Variation Operators for Autonomous Evolutionary Search

CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

Ops

Scatter 算子

编译器

编译器

fundamentals

寄存器分配

HIDA

HIDA: A Hierarchical Dataflow Compiler for High-Level Synthesis

papers

MLIR: Scaling Compiler Infrastructure for Domain Specifific Computation

The Deep Learning Compiler: A Comprehensive Survey

TIRAMISU

TIRAMISU: A Polyhedral Compiler for Expressing Fast and Portable Code

系统

系统

network

传输层

os

虚拟化和云

FAT文件系统知识概览

文件系统

iouring 阅读笔记

内存管理

模块化内核

多核

xv6-riscv 设备

xv6-riscv 中的 KPTI 机制

arceos

Arceos irq 分析

smoltcp

papers

The Deminkernel Datapath OS Architecture for Microsecond-scale Datacenter Systems

RedLeaf: Isolation and Communication in a Safe Operating System

virtualization

虚拟化硬件加速器调研

Virtualizing I/O

Virtualizing Memory

QEMU/KVM

DuVisor

Security and Performance in the Delegated User-level Virtualization

Honeycomb

Honeycomb: Secure and Efficient GPU Executions via Static Validation

Nephele

Nephele: Extending Virtualization Environments for Cloning Unikernel-based VMs

papers

HyperBench: A Benchmark Suite for Virtualization Capabilities

qemu

boot linux

QEMU

Virtio

计算机体系结构

计算机体系结构

TLB MMU

超标量流水线处理(姚永斌)

超标量处理器概览

Cache

CAAQA

Instruction Level Parallelism(ILP) and Its Exploitation

RISC V

RISC -V Interrupt

RISC V Compressed

RISC -V N 扩展

RISC -V H 扩展

RISC-V IOMMU

SBI

编程语言

编程语言

rust

迭代器

Rust 智能指针

Rust trait

数学基础

数学基础

Agent 系统

Agent 系统

SkVM

SkVM: Revisiting Language VM for Skills across Heterogenous LLMs and Harnesses

工具与环境

工具与环境

Docker

riscv-gnu-toolchain

Verilator 学习笔记

Visual Studio Code

课程笔记

课程笔记

algorithm

algorithm

Divide and Conquer

Introduction

cmu 15 418

CMU 15-418

CUDA

现代多核处理器

并行编程

cmu 15 445

CMU 15-445

并发控制

dl system

dl-system

Deep Learning System -- Introduction

mit 6 824

MIT 6.824

Lab-2A Leader Election

Lab-1 MapReduce

mit 6 s081

MIT 6.S081

Copy on Write Fork

Lazy Page Allocation

Networking

User Level Threads

mlc

mlc

张量程序抽象

项目实践

项目实践

nnfusion 源码阅读

FractalTensor

FractalTensor

FractalTensor 笔记

InfiniTensor

InfiniTensor

Infinitensor 源码阅读

sglang

sglang

DSA 前向路径：Indexer、块选择与分页 Attention

GQA 稀疏 Attention：共享 Selection 与计算形状

layers

sglang DualChunk FlashAttention backend

sglang FlashAttention backend

ThunderKittens

ThunderKittens

Memory

TK Tile

xv6 rust

xv6-rust

动态内存分配

启动

环境配置

GDB调试

中断

锁

进程与线程

调度

虚拟内存

xv6 文件系统手册和代码阅读笔记

xv6 rust design

本页目录

Deep Learning System -- Introduction

Why learn deep learning system?

Reason1：更好理解深度学习
Reason2：自己构建深度学习框架，为深度学习库贡献代码

在 GitHub 上编辑此页

最后更新:

Pager

上一篇dl-system

下一篇MIT 6.824

记录原理、连接知识、积累实践。

Copyright © KuangjuX