拆解大模型几项核心操作背后的数学与 Infra 优化逻辑

Source : mp.weixin.qq.com

本文将拆解大模型中几个核心操作（RMSNorm、Softmax、Causal Mask、Sampling）背后的数学与 Infra 优化逻辑。看完你会发现，Infra 优化，本质上就是在用数学上的等价变换，或者对精度的适度妥协，去换取更高的硬件利用率和极致的推理速度。PS: 当然最核心的操作肯定是矩阵乘法，这个放到下一篇吧《AI Infra入门：从矩阵乘法到FlashAttentionV4》～其他的还有RoPE和残差连接没有提及～