大模型与深度学习

从神经网络、Transformer 与注意力机制开始，连接训练、推理和具体实现。

从LLM 学习路线开始，或在论文索引中查找原文。

原始附件：LLM Inference Survey 笔记 PDF。

• Adam 论文前置学习路线
• Attention Sink、Learnable Sink 与 dsink
• DeepSeek Sparse Attention (DSA) 算法流程
• DeepSeek-V4: 迈向高效百万级上下文智能
• Event Tensor：用“事件张量”编译动态 Megakernel
• 神经网络
• Dual Chunk Attention
• FlashAttention 笔记
• Flash-Decoding for long-context inference
• Linear Attention
• Multi-head Latent Attention
• Sparse Attention
• Transformer
• HiSparse：稀疏注意力的分层 KV Cache 管理
• IndexCache：跨层复用稀疏索引，以及它为什么能被训练
• Distilling the Knowledge in a Neural Network
• MegaMoE：把 MoE 前向路径压进一个通信计算融合核
• MiniMax Sparse Attention：论文算法与代码实现精确对应
• MSA 中的 KL 对齐与局部知识蒸馏
• MSA 为什么采用 KV-outer Sparse Attention Forward
• MSA Indexer 与 DSA Lightning Indexer 的差别
• MiniMax Sparse Attention (MSA)
• Fast Transformer Decoding: One Write-Head is All You Need
• PithTrain 代码解读与训练系统学习路线
• PithTrain: A Compact and Agent-Native MoE Training System
• A Survey of Efficient Attention Methods: Hardware-efficient, Sparse, Compact, and Linear Attention
• A Survey of LLM Inference Systems

源码与推理实践

• DSA 前向路径：Indexer、块选择与分页 Attention
• GQA 稀疏 Attention：共享 Selection 与计算形状