分布式训练与 MoE · 基础

基础总览 · 相关论文

阅读入口

• MoE 数学与 SonicMoE：知乎原文归档
• MoE：路由、Grouped GEMM、梯度与计算成本
• Ring Attention、Ulysses 与在线归一化

数值格式与 FP8 缩放见量化专题。