万字详解大模型推理加速核心原理：分形规律与资源计算公式
Source :
mp.weixin.qq.com
大模型推理性能优化比较复杂，千头万绪，涉及推理框架、模型特性、GPU硬件特性、算子优化、网络基础设施、通信协议、SLO等很多方面因素，优化的时候主要用工具分析Timeline，借力开源成果进展以及参考业界的各种论文和做法展开，总有一些东一榔头西一棒子的感觉。当涉及到灵魂拷问的时候，其实挺难回答，比如问：在某某芯片上的推理成本，还能降低到多少？ 但大模型推理加速也有一些内在规律：大模型推理性能的核心挑战源于算力、显存、显存带宽、通信带宽等资源不匹配或短缺。该挑战在宏观分布式架构、中观框架设计、微观算子实现、更细粒度的计算优化等不同层级上均存在。 本文提出分形思考框架，借鉴分形几何的自相似性原理，在全层级遵循 “看清楚 - 避免浪费 - 提升利用率 - 节约资源” 的统一优化逻辑，尝试系统性地应对各种大模型在不同硬件上的推理优化的复杂局面，当普遍认为优化空间不大的时候， 实践看还是能分析和找到优化方向和机会点，不容易遗漏和丢失重点。
